O case da Plataformatec
com o Elixir
2010
Thread-safe hell
2018
Elixir no mundo inteiro
Por que fazer uma
linguagem nova?
2010
2018
Thread-safe hell
Como tomamos essa
decisão?
2010
2018
Thread-safe hell
Como open source
ajudou?
2010
2018
Thread-safe hell
“ Personagens”
dessa história
RODA NA ERLANG VM
OPEN SOURCE
FUNCIONAL
Desenvolvimento, consultoria e treinamento
para empresas digitais
Elixir
Especializada em
José Valim
Co-fundador da Plataformatec
Criador do Elixir
Hugo Baraúna
Co-fundador da Plataformatec
Engenheiro de computação
POR QUE CRIAR UMA
LINGUAGEM NOVA?
2010
Thread-safe hell
Por que thread-safe?
Algo maior
por trás
The free lunch is over
Lei de Moore
“O número de transistors
em um chip dobra
E daí?
Performance free lunch
Por muitos anos, o avanço nas CPUs fazia
nosso software ficar mais rápido sem
Free lunch is over
A partir de ~2003, o clock speed parou
de crescer como antes. Se não fosse assim,
hoje seria normal termos CPUs de 10 GHz.
Agora, as CPUs evoluem
de um modo diferente
Passado
Presente e futuro
Clock speed
Hyperthreading
Execution
optimization
Multicore
Agora, as CPUs evoluem
de um modo diferente
Passado
Presente e futuro
Clock speed
Hyperthreading
Execution
optimization
Multicore
If you want your application to benefit from the
continued exponential throughput advances in new
processors, it will need to be a well-written
concurrent (usually multithreaded) application
- Herb Sutter
“
Concurrency is the next major revolution in how we
write software
- Herb Sutter
“
Lei de Amdahl
Quanto menos concorrente for seu
código, menos velocidade ele
Tirar mais benefício
da evolução de
multicore usando
mais concorrência?
Tirar menos benefício
da evolução de
multicore usando
Tirar mais benefício
da evolução de
multicore usando
mais concorrência!
Tirar menos benefício
da evolução de
multicore usando
2010
Thread-safe hell
Probably, the greatest cost of concurrency is that
concurrency really is hard
- Herb Sutter
“
E se concorrência fosse
fácil?
A BUSCA POR OUTRAS
TECNOLOGIAS
Todo mundo fala
Todo mundo faz
Concorrência
The vast majority of programmers today don’t grok
concurrency, just as the vast majority of
programmers 15 years ago didn’t yet grok objects
- Herb Sutter
“
”
https://news.ycombinator.com/item?id=10096100
2015: 3 anos atrás
https://news.ycombinator.com/item?id=10096100
2015: 3 anos atrás
Quanto do código que você escreve hoje
é concorrente?
O problema é o modelo de
threads e locks?
Seu código
Runtime da
linguagem
Sistema
operacional
CPU
Thread
Thread é uma
abstração de baixo
nível
Seu código
Runtime da
linguagem
Sistema
operacional
CPU
Abstração nova
de concorrência
Precisamos de uma
nova abstração
Tecnologias que chamaram atenção
Funcional
Imutabilidade: quando o estado não muda, pode ser acessado por várias threads sem a necessidade de locks (concorrência)
Clojure Haskell
Por que chamaram
atenção?
Abordagem moderna
Funcionalidades como polimorfismo e meta-programação
Distribuição e tolerância
a falha
Suporte nativo a software rodando em
Funcional
Imutabilidade: quando o estado não muda, pode ser acessado por várias threads sem a necessidade de locks (concorrência)
Clojure Haskell
Por que chamaram
atenção?
Abordagem moderna
Funcionalidades como polimorfismo e meta-programação
Distribuição e tolerância
a falha
Suporte nativo a software rodando em
Funcional
Imutabilidade: quando o estado não muda, pode ser acessado por várias threads sem a necessidade de locks (concorrência)
Clojure Haskell
Por que chamaram
atenção?
Abordagem moderna
Funcionalidades como polimorfismo e meta-programação
Distribuição e tolerância
a falha
Suporte nativo a software rodando em
Funcional
Imutabilidade: quando o estado não muda, pode ser acessado por várias threads sem a necessidade de locks (concorrência)
Abordagem moderna
Funcionalidades como polimorfismo e meta-programação
Distribuição e tolerância
a falha
Suporte nativo a software rodando em múltiplas falhas e alta disponibilidade
Funcional
Imutabilidade: quando o estado não muda, pode ser acessado por várias threads sem a necessidade de locks (concorrência)
Abordagem moderna
Funcionalidades como polimorfismo e meta-programação
Distribuição e tolerância
a falha
Suporte nativo a software rodando em múltiplas falhas e alta disponibilidade
CONCORRÊNCIA
DISTRIBUIÇÃO
TOLERÂNCIA A FALHA
A Erlang VM foi
construída pensando em:
Concorrência, distribuição e tolerância a
falhas são nativas, baseados em primitivas da
30+ anos de desenvolvimento
O DESENVOLVIMENTO
DO ELIXIR
2011
2011
Explorando o desenvolvimento de uma nova linguagem
2011
“Elixir” em abril de 2011
Modelo de “objetos”
Tinha um modelo de objetos baseado em protypes
Lento
Muito lento. Eval em todo lugar
Quebrando compatibilidade com a VM
2011
Explorando o desenvolvimento de uma nova linguagem
Vale da
desilusão
2011
Explorando o desenvolvimento de uma nova linguagem
2011
Explorando o desenvolvimento de uma nova linguagem
Direcionadores
do Elixir
Repensando para onde o design da
linguagem deveria ir
Produtividade
Extensibilidade
2011
Estudando…
2011
Eureka!
2012
A decisão de investimento
e o lançamento do Elixir
2011
2012
Estou brincando em fazer
uma nova linguagem
Hum… conte-me mais
sobre isso…
2011
Estava bem difícil ficar
corrigindo problemas de
concorrência no Rails
2011
E existe esse negócio, o
“free lunch is over”
2011
O futuro é programação
concorrente!
2011
Então decidir tentar fazer
uma nova linguagem
2011
Da hora! E aí?
2011
E daí que acho que a
gente deveria investir meu
tempo full time nisso
2011
Oh really? 🤔
2011
E não tem outra
linguagem que faz o que tu
queres?
2011
A que chega mais perto
do que pensei é Clojure. Ela
roda na JVM.
2011
Acho que seria
bom ter uma opção de
linguagem em uma VM
diferente
2011
E a VM do Erlang é
perfeita pro que imagino
para o futuro
2011
Beleza, vamos nessa!
2011
Fevereiro/2012
2012 - 2013
A incerteza e
2012
Lançamento do Elixir
2012
Lançamento do Elixir
Maio
2013
Dave Thomas anuncia seu livro
sobre Elixir
Ponto de inflexão
Signatário do manifesto
ágil
Fundador da Pragmatic
Programmers
Escreveu o primeiro livro
em inglês sobre Ruby
Jan/12 Feb/12 Mar/12 Apr/12 May/12 Jun/12 Jul/12 Aug/12 Sep/12 Oct/12 Nov/12 Dec/12 Jan/13 Feb/13 Mar/13 Apr/13 May/13 Jun/13 Jul/13 Aug/13
2013 - 2018
2012
Lançamento do Elixir
Maio
2013
Criador do Erlang publica que
ficou animado com Elixir
Dave Thomas anuncia seu livro
sobre Elixir
Maio
2013
It didn’t take long, but
pretty soon my gut feeling
kicked in. This is good shit.
-
Joe Armstrong, creator of Erlang
A week with Elixir
“
”
2013
Dave Thomas anuncia seu livro
sobre Elixir
Junho
2013
O’Reilly anuncia criação de livro
sobre Elixir
Criador do Erlang publica que
ficou animado com Elixir
2013
Criador do Erlang publica que
ficou animado com Elixir
Primeira ElixirConf
O’Reilly anuncia criação de livro
sobre Elixir
2013
2013
O’Reilly anuncia criação de livro
sobre Elixir
2014
Phoenix
Primeira ElixirConf
2014
Phoenix,
web framework
for the new web
Primeira ElixirConf
~2015
Nerves
Phoenix
2014
Software embarcado
com Elixir
2014
Phoenix
2016
GenStage e Flow
Nerves
2014
Data ingestion and
data processing with:
2015
Streaming
Concurrency
Nerves
2016
Nosso primeiro cliente de Elixir!
GenStage e Flow
2015
1º retorno financeiro
para Plataformatec
2016
t 2012 2013 2014 2015 2016 $$ $$ $$ $$ $$ $GenStage e Flow
2016
Elixir sai na Gartner
Nosso primeiro cliente de Elixir!
2016
Elixir sai no mapa de
linguagens da Gartner
2016
IT Market Clock for
GenStage e Flow
2018
Hoje
Nosso primeiro cliente de Elixir!
Como está o
ecossistema de Elixir
hoje?
2016
2016
6.400+ bibliotecas
25+ livros
15+ conferências, 190+ meetups
https://www.meetup.com/topics/elixir-programming/ https://elixirforum.com/t/elixir-events-conferences-in-2018/11245ElixirConf USA
ElixirConf Europe
Elixir Brasil
Etc …
Conferências
Meetups
Vagas de trabalho no mundo inteiro
Empresas usando no mundo inteiro
O poder do open source
Bibliotecas
Meetups
Livros
6400+
190+
25+
15+
Conferências
O Elixir é maior
que a Plataformatec
Começamos a comunidade.
Não somos donos dela.
POR QUE O ELIXIR
TEM CRESCIDO?
Parte 4
Por que o Elixir
tem crescido?
O que tem feito os desenvolvedores e
empresas adotarem Elixir
O futuro é concorrente
Te permite pensar diferente
Ferramental para diferentes
domínios
Concurrency is the next
major revolution in how
we write software
- Herb Sutter
The Free lunch is over, 2005
“
”
O “futuro de 2005” é hoje
A VM do Erlang foi projetada
para concorrência
Switch
Switch
Doing concurrency in Erlang or Elixir versus other
languages is a bit like doing branches
in Git vs Subversion. In subversion it was very
complicated to do - and I never did it. In Git it is a lot
easier and I do it all the time.
- Elixir, The next big language for the web
“
”
Concurrency is about a
great deal more than just
exploiting parallelism
“
RESPONSIVO
DISTRIBUÍDO
RESILIENTE
Usada de modo correto,
concorrência te ajuda a
fazer software:
Concorrência vai além de
Responsive
Elastic
Message Driven Resilient
Elastic
The system stays responsive under varying workload
Message Driven
Reactive Systems rely on asynchronous message-passing to establish a boundary between components that ensures loose coupling, isolation and location
transparency
Responsive
The system responds in a timely manner if at all possible
Resilient
The system stays responsive in the face of failure
Reactive manifesto
O Elixir/OTP suporta
o “reactive manifesto” de
forma nativa
Elastic
Message Driven
Resilient
Elastic
Message Driven
Resilient
Responsive
Responsive systems focus on
providing rapid and consistent
response times
“ This is microseconds, a fraction of a
milisecond, which is crazy fast.”
Elastic
Message Driven
Resilient
Responsive
Responsive systems focus on
providing rapid and consistent
response times
O preemptive multitasking e o
garbage collection por processo do
Elixir/OTP permitem a entrega de um
response time previsível
Elastic
Message Driven
Resilient
Responsive
The system stays responsive in the
face of failure. (…). Failures are
contained within each component,
(…) Recovery of each component is
delegated to another (external)
component (…)
Web
Stats
Supervisor
•
Em Elixir, todo código roda dentro de processos
•
Processos são isolados um dos outros
•
Processos rodam de modo concorrente
•
Supervisor é um processo que supervisiona
Elastic
Message Driven
Resilient
Responsive
The system stays responsive
under varying workload.
•
Phoenix out of the box
•
2 milhões de conexões websocket simultâneas
•
0 timeouts
•
1 segundo para fazer brodcast
Elastic
Message Driven
Resilient
Responsive
Reactive Systems rely
on asynchronous message-passing to establish a boundary
between components that ensures
loose coupling, isolation
and location transparency
No Elixir, message-passing é o modelo
padrão de comunicação entre
processos. É o “actor model”.
Elastic
Message Driven
Resilient
Responsive
Reactive Systems rely
on asynchronous message-passing to establish a boundary
between components that ensures
loose coupling, isolation
and location transparency
“When sending a message, it doesn’t
matter if the recipient process is on
the same node or on another node,
the VM will be able to deliver the
message in both cases”
Concorrência ajuda em development
não apenas em production
Tudo que você faz na sua máquina deveria usar
todos os cores. Bootar sua aplicação, compilar
código, resolver dependências, rodar os testes etc.
Até o seu relógio tem 2 cores. Concorrência não é
mais a exceção.
“
”
Por que o Elixir
tem crescido?
O que tem feito os desenvolvedores e
empresas adotarem Elixir
O futuro é concorrente
Te permite pensar diferente
Ferramental para diferentes
domínios
Aplicações com UI rica e
real-time estão aumentando
a expectativa dos usuários
IoT
traz a necessidade
de monitoramento
real-time de múltiplos
Channels
“Nanoservices” architecture
Sequential
code
Web
DB
Stats
Mailer
Web
DB
Stats
Mailer
Sup
Web
DB
Stats
Mailer
Sup
app2@local
app1@local
app2@10.0.1.2
app1@10.0.1.1
Por que o Elixir
tem crescido?
O que tem feito os desenvolvedores e
empresas adotarem Elixir
O futuro é concorrente
Te permite pensar diferente
Ferramental para diferentes
domínios
O Elixir tem ferramental
para diferentes
domínios técnicos
Web apps/Services, backend
for mobile and IoT devices
Embedded software
Data ingestion and data
processing (“medium data”)
GenStage Flow
Concurrency is the next major revolution in how we
write software
- Herb Sutter
“
Entendi, concorrência é bom para fazer software
reativo, com alta performance, escalável, distribuído,
que não cai etc.
- Alguém
“
Mas minha app é muito simples. Não preciso de tudo
isso. Não preciso de concorrência.
- Alguém
“
Sua app de hoje é muito
Quais serão os requisitos da
app de amanhã?
The free lunch is over
O futuro é concorrente
Quero estar pronto para
construir o software do
futuro
Eu não sei, mas sei que:
{
{
Quais serão os requisitos do software
de amanhã?
Pontos-chave
Como uma empresa decide criar uma
nova linguagem?
Como sair do nada para uma comunidade
mundial?
Você não precisa ser grande para causar
um grande impacto
O FUTURO É CONCORRENTE
“The free lunch is over”. Para se beneficiar da
evolução das CPUs, você precisa escrever software concorrente.
CONCORRÊNCIA DEVERIA SER
USUAL
Criar uma ferramenta que permita que fazer
concorrência seja simples. Que nem o Git fez para branches comparado com SVN.
Como uma empresa
decide criar uma
nova linguagem
ALAVANCAR UMA VM FEITA PARA
CONCORRÊNCIA
A VM do Erlang foi projetada para concorrência e é uma tecnologia madura. Mais pessoas deveriam usá-la.
VISÃO
Construir uma ferramenta que esteja alinhada com uma tendência mundial: “the free lunch is over”
EXECUÇÃO E PERSISTÊNCIA
Demorou 5 anos até termos algum retorno financeiro
Como sair do nada
para uma
comunidade
mundial?
COMUNIDADE OPEN SOURCE
Não seria possível para Plataformatec sozinha desenvolver o ecossistema inteiro
