• Nenhum resultado encontrado

Sai Hadoop, entra Spark

N/A
N/A
Info
Descarregar agora
Protected

Academic year: 2021

Share "Sai Hadoop, entra Spark"

Copied!
63
0
0

Carregando.... (Ver texto completo agora)

Descarregar agora ( 63 páginas )

Texto

(1)

Allan Oliveira | allan@chaordic.com.br

Sai Hadoop, entra Spark

(2)

tópico 1

(3)

Campanha

Redução

de Preço

(4)

Campanha

(5)

O Desafio dos Emails

Personalizados

(6)

+600

milhões

(7)

Usuários

+42

(8)
(9)
(10)

Evolução de uma arquitetura

de emails personalizados

(11)

Evolução da arquitetura

A base de tudo

(12)

Evolução da arquitetura

A base de tudo

(13)

Evolução da arquitetura

A base de tudo

(14)

Evolução da arquitetura

(15)

Evolução da arquitetura

(16)

Evolução da arquitetura

(17)

Evolução da arquitetura

(18)

Evolução da arquitetura

(19)

Evolução da arquitetura

(20)

Evolução da arquitetura

(21)

Evolução da arquitetura

(22)

Evolução da arquitetura

(23)

Evolução da arquitetura

(24)

Evolução da arquitetura

(25)

Evolução da arquitetura

(26)

Evolução da arquitetura

(27)

Evolução da arquitetura

(28)

Evolução da arquitetura

(29)

Evolução da arquitetura

(30)

gasm

(31)

Sparkgasm!

(32)

Sparkgasm!

(33)

Sparkgasm!

(34)

Sparkgasm!

(35)

Sparkgasm!

(36)

Sparkgasm!

Como Spark é mais rápido que Hadoop

1 6.75

11

(37)

As dificuldades ao se

usar o Spark

(38)

Hadoop-client

O presente de grego

para o Spark

(39)
(40)
(41)

operação necessita

(42)
(43)

Ignition-Template

Job Runner: Advanced Cluster Control Job/Setup Organization Examples

Ignition-Core

Cluster Management & Job Execution Multi-Setup Runner Utilitary Functions

Projetos open-source da Chaordic

github.com/chaordic/

ignition-template

(44)

montando um

(45)

Algoritmo

● Escolher a melhor máquina na melhor AZ cujo preço spot não é muito volátil; ● Levantar o cluster;

● Fazer um teste de sanidade no cluster; ● Rodar o Job (1 ou infinitas vezes);

● Quando falhar, refazer teste de sanidade;

(46)

organizando

(47)

Puro I/O Setups Mail Builder Setup Non-realtime Setup Realtime Setup

(48)

Sem efeitos colaterais! Puro I/O Setups Jobs Mail Builder Setup Non-realtime Setup Realtime Setup Mail Builder Job User History Job Entities Update Job Campaign A Job

(49)

Sem efeitos colaterais! Puro I/O Setups Jobs Reusable Libraries Mail Builder Setup Non-realtime Setup Realtime Setup Mail Builder Job User History Job Entities Update Job Campaign A Job

Mail-team library Chaordic library Realtime Setup Ignition-core

(50)

como a

não-saída

é tão importante quanto

(51)

Success!

(Email)

Validated

Rec Products

Validated

Base

Products

Success Product Success Product Failed Product Reason Failed Product Reason Success Product Success Product Success Product Failed Product Reason

(52)

Failure

(Email Reason)

Validated Rec

Products

Reference

Validated

Base Products

Reference

Failed Product Reason Failed Product Reason Failed Product Reason Failed Product Reason Success Product Success Product Failed Product Reason Failed Product Reason Reason: numberOfValidRecommendationsIsLessThanMinimum

(53)
(54)

lidando com dados

(55)
(56)
(57)
(58)

Tratando outliers

(59)

Tratando outliers

(60)

Tratando outliers

rdd.groupByKey()

(61)

Batches near-realtime

com Secor, Kafka e S3

S3

(62)
(63)

Venha aprender junto com a gente!

monkeys.chaordic.com.br

github.com/chaordic

allan@chaordic.com.br

Referências

Descarregar agora ( PDF - 63 páginas - 4.14 MB )

Documentos relacionados

The brazilian ethanol car = A sociotechnical analysis = O carro brasileiro a álcool: uma análise sociotecnica

Thus, this thesis not only offers a sociotechnical reconstruction of the development of the ethanol car in Brazil, but also, by highlighting important elements of innovation

Desenvolvimento sustentável: definições, princípios, políticas

O foco de nossas demandas de renda para redistribuir aos pobres, por conseguinte, deveria recair sobre o valor da contribuição da natureza, o valor original do transumo ao qual valor

Espaços de continuidade como elementos de conexão

Analisamos duas referências internacionais e uma nacional, em todos os casos englobam uma intervenção alargada no tecido urbano promovendo a conexão entre os cidadãos e a

Design e cidadania : defesa da educação estética

A tese explicita e põe em evidência o valor plástico do design que transcende o seu caráter de utensílio articulando-se com o artístico e mostra que é possível ajuizar o

SODA CÁUSTICA 10 % =< conc. < 29 %

Indicações sobre cuidados médicos urgentes e tratamentos especiais necessários - Transportar imediatamente paciente para um Hospital.. - Acompanhamento pelo médico durante

PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS. Programa de Pós-Graduação em Administração MULHERES EXECUTIVAS NO BRASIL:

As executivas relatam ter incorporado algumas características do universo masculino, chegam a dizer até que uma delas (racionalidade) é inerente ao cargo, mas

O português na China : alguns aspetos do seu ensino-aprendizagem e avaliação

Comparando o número das universidades e instituições que oferecem cursos da LP com o dos locais aplicadores dos exames de certificação de PLE na China,

FESTI VAL MIRIM / 1ª RT R E G U L A M E N T O

VIII – Laço Vaca Parada Masculina Mini Mirim; IX – Laço Vaca Parada Masculina Mirim. XIII – Laço Vaca Parada Feminina Mirim. XIV – Intérprete Solista Vocal Feminino Mini Mirim;