• Nenhum resultado encontrado

Processamento de INDUSTRIA 4.0. Big Data. Aula #9 - Transações em escala (BigData??) AVENTUREIROS DO BAIRRO PROIBIDO, FONTE: GOOGLE

N/A
N/A
Info
Descarregar agora
Protected

Academic year: 2021

Share "Processamento de INDUSTRIA 4.0. Big Data. Aula #9 - Transações em escala (BigData??) AVENTUREIROS DO BAIRRO PROIBIDO, FONTE: GOOGLE"

Copied!
24
0
0

Carregando.... (Ver texto completo agora)

Descarregar agora ( 24 páginas )

Texto

(1)

Aula #9 - Transações em escala (BigData??)

ED UA R DO C UNHA DE A LME ID A

INDUSTRIA

4.0

Pr

ocessamento de

Big Data

AVENTUREIROS DO B

(2)

Agenda

- Ideia 1: Comprar maquinas

- Ideia 2: Replicar o banco de dados

- Ideia 3: Cache de resultados

- Ideia 4: Stored Procedures

- Ideia 5: Particionar o banco de dados

- Ideia 6: Desistir do ACID

(3)

Ideia 1: Comprar maquina rápida

SERVIDORA DE APLICAÇÃO

- HDD rápidos

- DRAM

- CPUs

- SSD

SERVIDORA DE BD SERVIDORA WEB USUÁRIOS FIREWALL FIREWALL HTTP API CONSULTA

(+) NÃO MUDA APLICAÇÃO

(+) MELHORIA IMEDIATA

(-) CARO!!!

(4)

Ideia 2: Replicar o Banco de Dados

SERVIDORA DE APLICAÇÃO CLUSTER DE BD SERVIDORA WEB USUÁRIOS FIREWALL FIREWALL HTTP API CONSULTA MASTER REPLICAS

(5)

Ideia 2: Replicar o Banco de Dados

SERVIDORA DE APLICAÇÃO CLUSTER DE BD MASTER REPLICA REPLICA

(6)

Ideia 2: Replicar o Banco de Dados

SERVIDORA DE APLICAÇÃO MASTER REPLICA COMMIT PREPARE 2P-COMMIT: FASE 1

(7)

Ideia 2: Replicar o Banco de Dados

SERVIDORA DE APLICAÇÃO CLUSTER DE BD MASTER REPLICA REPLICA COMMIT PREPARE OK OK 2P-COMMIT: FASE 1

(8)

Ideia 2: Replicar o Banco de Dados

SERVIDORA DE APLICAÇÃO MASTER REPLICA COMMIT PREPARE OK OK COMMIT 2P-COMMIT: FASE 2

(9)

Ideia 2: Replicar o Banco de Dados

SERVIDORA DE APLICAÇÃO CLUSTER DE BD MASTER REPLICA REPLICA COMMIT PREPARE OK OK COMMIT OK OK 2P-COMMIT: FASE 2

(10)

Ideia 2: Replicar o Banco de Dados

SERVIDORA DE APLICAÇÃO MASTER REPLICA COMMIT PREPARE OK OK COMMIT OK OK OK 2P-COMMIT: FASE 2

(11)

Ideia 3: Cache de resultados

(+) REDUZ CARGA NO BD

(+) API RÁPIDA

(-) ROTEAMENTO EXTRA DE MENSAGENS

(-) APLICAÇÃO DEVE SER ALTERADA

SERVIDORA DE APLICAÇÃO SERVIDORA DE BD CONSULTA CACHE? SIM NÃO

(12)

Ideia 4: Stored procedures

SERVIDORA

DE APLICAÇÃO SERVIDORA DE BD CONSULTA

(13)

Ideia 4: Stored procedures

SERVIDORA

DE APLICAÇÃO SERVIDORA DE BD CONSULTA

CREATE OR REPLACE FUNCTION

MY_STORED_PROCEDURE(V_NAME VARCHAR, V_VERSION VARCHAR)

RETURNS VARCHAR AS $$ BEGIN

IF V_VERSION IS NULL THEN RETURN V_NAME;

END IF;

RETURN V_NAME || '/' || V_VERSION; END; $$ LANGUAGE PLPGSQL; try: conn = MySQLdb.connect (… bd …) c1=conn.cursor() c1.callproc(‘My_Stored_Procedure’, …) c1.close()

except (Exception) as error:         print(error)

finally:

        if conn is not None:       conn.close()

(14)

Ideia 4: Stored procedures

SERVIDORA

DE APLICAÇÃO SERVIDORA DE BD CONSULTA

CREATE OR REPLACE FUNCTION

MY_STORED_PROCEDURE(V_NAME VARCHAR, V_VERSION VARCHAR)

RETURNS VARCHAR AS $$ BEGIN

IF V_VERSION IS NULL THEN RETURN V_NAME; END IF; try: conn = MySQLdb.connect (… bd …) c1=conn.cursor() c1.callproc(‘My_Stored_Procedure’, …) c1.close()

(15)

Ideia 5: Particionar o banco de dados

SERVIDORA

DE APLICAÇÃO CLUSTER DE BD CONSULTA

(+) PARALELIZAR TODAS AS OPERAÇÕES

(+) FÁCIL ADICIONAR/REMOVER HW

(-) MAIORIA DOS BDS NÃO FAZEM

(-) JUNÇÕES SÃO CARAS

(16)

Ideia 5: Particionar o banco de dados

cliente.

nome_c dt_compracesta. compra. isbn

André 10/10/17 1234 Cido 11/10/17 1121 Siloé 20/10/17 1234 Siloé 20/10/17 2222 Siloé 20/10/17 2223 Juliana 20/10/17 1234 Juliana 20/10/17 2224 Rosana 22/10/17 2225 Rosana 22/10/17 1234 Rosana 22/10/17 1121 CLUSTER DE BD

(17)

Ideia 5: Particionar o banco de dados

cliente.

nome_c dt_compracesta. compra. isbn

André 11/10/17 1234 Cido 11/10/17 1121 Siloé 20/10/17 1234 Siloé 20/10/17 2222 Siloé 20/10/17 2223 Juliana 20/10/17 1234 Juliana 20/10/17 2224 Rosana 22/10/17 2225 Rosana 22/10/17 1234 Rosana 22/10/17 1121 Rosana 22/10/17 2222 CLUSTER DE BD

P1

P2

P3

P3

P1

P3

(18)

Ideia 5: Particionar o banco de dados

cliente.

nome_c dt_compracesta. compra. isbn

André 11/10/17 1234 Cido 11/10/17 1121 Siloé 20/10/17 1234 Siloé 20/10/17 2222 Siloé 20/10/17 2223 Juliana 20/10/17 1234 Juliana 20/10/17 2224 Rosana 22/10/17 2225 Rosana 22/10/17 1234 Rosana 22/10/17 1121 CLUSTER DE BD

P3

P1

P3

(19)

Ideia 6: Desistir do ACID

SERVIDORA DE APLICAÇÃO SERVIDORA DE BD GET DATA

(+) ESCALABILIDADE

(+) PARALELISMO

(-) PÉSSIMA IDEIA

(-) POSSÍVEL PERDA DE ATUALIZAÇÕES

USUÁRIOS

…

UPDATE DATA MASTER REPLICAS

?

(20)

Ideia 6: Desistir do ACID

SERVIDORA DE APLICAÇÃO SERVIDORA DE BD USUÁRIOS

…

MASTER REPLICAS link desligado

(21)

Ideia 6: Desistir do ACID

SERVIDORA DE APLICAÇÃO SERVIDORA DE BD USUÁRIOS

…

MASTER REPLICAS link desligado MASTER SET saldo=100 SET saldo=300

(22)

Ideia 6: Desistir do ACID

SERVIDORA DE APLICAÇÃO SERVIDORA DE BD USUÁRIOS

…

MASTER REPLICAS link desligado saldo=200 saldo=200 saldo=200 SET saldo=100

(23)

Ideia 6: Desistir do ACID

SERVIDORA DE APLICAÇÃO SERVIDORA DE BD USUÁRIOS

…

MASTER REPLICAS link desligado saldo=300 saldo=100 SET saldo=100

SET saldo=300 MASTER

(24)

INDUSTRIA

4.0

Pr

ocessamento de

Big Data

AVENTUREIROS DO B

Referências

Descarregar agora ( PDF - 24 páginas - 1.00 MB )

Documentos relacionados

Controle social - implantação do portal da transparência em municípios do Estado de Goiás

O Portal da Transparência do Governo Federal (2013) explicita o controle social previsto nas prefeituras e convida o cidadão a exercer o seu papel de fiscal, reafirmando

COPD Assessment Test (CAT) score as a predictor of major depression among subjects with chronic obstructive pulmonary disease and mild hypoxemia: a case–control study

Cite this article as: Silva Júnior et al.: COPD Assessment Test (CAT) score as a predictor of major depression among subjects with chronic obstructive pulmonary disease and

Transplante reno-pancreático: intubação difícil em doentes com diabetes mellitus tipo 1.

Os resultados relativos ao estudo dos preditores de VAD sugerem um fraco poder preditor dos parâmetros avaliados na consulta pré-anestésica, sendo que, apenas na classificação

Dinâmica estacional de uma população de Anopheles darlingi, numa área endêmica de malária no Amazonas

As coletas foram realizadas mensalmente, exceto no momento de uma rápida troca na população de mosquitos, uma vez que as cap- turas eram realizadas cada 2 ou 3

Os transportadores ABC peroxissomais : estrutura e função da ALDP

O fígado de ratinho foi o modelo de estudo escolhido por várias razões: (1) pelo menos três transportadores ABC peroxissomais (ALDP, ALDPR, PMP70) coexistem neste órgão;

Crotalus durissus collilineatus venom induces tnf-α and il-10 production in human peripheral blood mononuclear cells

Crotalus durissus collilineatus Venom

Transportation problems applications

Also statistics about the types and quantities of goods transported around European Union and about the transport modes used for it are presented, especially focusing on

Desenvolvimento de leguminosas herbáceas perenes, semeadas na época das águas no sul do Tocantins

Estes resultados apontam para melhor capacidade de estabelecimento inicial do siratro, apresentando maior velocidade de emergência e percentual de cobertura do solo até os 60