de dados para o pgcluster

(1)

pgGrid: Uma implementaç ão de fragmentaç ão

de dados para o pgCluster

Gustavo Tonini

1 Frank Siqueira (orientador)

1

_{INE - Departamento de Inform ´atica e Estat´ıstica}

Universidade Federal de Santa catarina Curso de bacharelado em Ci ˆencias da

Computac¸ ˜ao

(2)

1 Conceitos

PostgreSQL

PgCluster

2 _{Apresentac¸ ˜ao do pgGrid}

Fragmentac¸ ˜ao

Comandos adicionados

Alterac¸ ˜oes no servidor do PostgreSQL

3 _{Avaliaç ão do prot ótipo}

Caracter´ısticas

Desempenho

Conclus ˜oes

Trabalhos futuros

4 _{Considerac¸ ˜oes finais}

(3)

1 Conceitos

PostgreSQL

PgCluster

2 _{Apresentac¸ ˜ao do pgGrid}

Fragmentac¸ ˜ao

Comandos adicionados

Alterac¸ ˜oes no servidor do PostgreSQL

3 _{Avaliaç ão do prot ótipo}

Caracter´ısticas

Desempenho

Conclus ˜oes

Trabalhos futuros

4 _{Considerac¸ ˜oes finais}

(4)

1 Conceitos

PostgreSQL

PgCluster

2 _{Apresentac¸ ˜ao do pgGrid}

Fragmentac¸ ˜ao

Comandos adicionados

Alterac¸ ˜oes no servidor do PostgreSQL

3 _{Avaliaç ão do prot ótipo}

Caracter´ısticas

Desempenho

Conclus ˜oes

Trabalhos futuros

4 _{Considerac¸ ˜oes finais}

(5)

1 Conceitos

PostgreSQL

PgCluster

2 _{Apresentac¸ ˜ao do pgGrid}

Fragmentac¸ ˜ao

Comandos adicionados

Alterac¸ ˜oes no servidor do PostgreSQL

3 _{Avaliaç ão do prot ótipo}

Caracter´ısticas

Desempenho

Conclus ˜oes

Trabalhos futuros

4 _{Considerac¸ ˜oes finais}

(6)

Conceitos

pgGrid Avaliaç ão do prot ótipo Consideraç ões finais

PostgreSQL

PgCluster

1 Conceitos

PostgreSQL

PgCluster

2 _{Apresentac¸ ˜ao do pgGrid}

Fragmentac¸ ˜ao

Comandos adicionados

Alterac¸ ˜oes no servidor do PostgreSQL

3 _{Avaliaç ão do prot ótipo}

Caracter´ısticas

Desempenho

Conclus ˜oes

Trabalhos futuros

4 _{Considerac¸ ˜oes finais}

(7)

Conceitos

PostgreSQL

PgCluster

PostgreSQL

Sistema gerenciador de banco de

dados objeto-relacional

Implementac¸ ˜ao completa da

ISO/ANSI SQL 1992

Escrito em C

(8)

Conceitos

PostgreSQL

PgCluster

(9)

Conceitos

PostgreSQL

PgCluster

1 Conceitos

PostgreSQL

PgCluster

2 _{Apresentac¸ ˜ao do pgGrid}

Fragmentac¸ ˜ao

Comandos adicionados

Alterac¸ ˜oes no servidor do PostgreSQL

3 _{Avaliaç ão do prot ótipo}

Caracter´ısticas

Desempenho

Conclus ˜oes

Trabalhos futuros

4 _{Considerac¸ ˜oes finais}

(10)

Conceitos

PostgreSQL

PgCluster

PgCluster

Plugin do PostgreSQL para

replicac¸ ˜ao

Caracter´ısticas da replicac¸ ˜ao

Total

Multimaster

S´ıncrona

V ´arios servidores que

cont ˆem os mesmos dados

interoperando

(11)

Conceitos

PostgreSQL

PgCluster

(12)

Conceitos

PostgreSQL

PgCluster

Avaliac¸ ˜ao do PgCluster

Replica cada comando para todos

os s´ıtios do cluster

Problemas da replicac¸ ˜ao total

Sobrecarga da rede

Replicac¸ ˜ao de dados sem

necessidade expl´ıcita

Queda de s´ıtio compromete a

disponibilidade de todo o

cluster

(13)

Conceitos

pgGrid

Avaliaç ão do prot ótipo Consideraç ões finais

Fragmentac¸ ˜ao

Comandos adicionados

Alterac¸ ˜oes no servidor do PostgreSQL

1 Conceitos

PostgreSQL

PgCluster

2 _{Apresentac¸ ˜ao do pgGrid}

Fragmentac¸ ˜ao

Comandos adicionados

Alterac¸ ˜oes no servidor do PostgreSQL

3 _{Avaliaç ão do prot ótipo}

Caracter´ısticas

Desempenho

Conclus ˜oes

Trabalhos futuros

4 _{Considerac¸ ˜oes finais}

(14)

Conceitos

pgGrid

(15)

Conceitos

pgGrid

Abordagem

Adic¸ ˜ao de comandos para

definic¸ ˜ao do cluster e dos

fragmentos

Implementaç ão de fragmentaç ão

vertical, horizontal e h´ıbrida

V ´arios servidores com conjunto

de dados distintos

(16)

Conceitos

pgGrid

(17)

Conceitos

pgGrid

1 Conceitos

PostgreSQL

PgCluster

2 _{Apresentac¸ ˜ao do pgGrid}

Fragmentac¸ ˜ao

Comandos adicionados

Alterac¸ ˜oes no servidor do PostgreSQL

3 _{Avaliaç ão do prot ótipo}

Caracter´ısticas

Desempenho

Conclus ˜oes

Trabalhos futuros

4 _{Considerac¸ ˜oes finais}

(18)

Conceitos

pgGrid

Definic¸ ˜ao de sites

Adiciona um site ao cluster

CREATE SERVER venus.inf.ufsc.br PORT 5432

RECOVERY PORT 8001;

Adiciona uma entrada no cat ´alogo

pg grid site em todos os

sites

(19)

Conceitos

pgGrid

Definic¸ ˜ao de fragmentos

Adiciona um fragmento ao cluster

CREATE FRAGMENT

nome ON relacao (lista de

atributos) WHERE where clause;

lista de atributos define a fragmentac¸ ˜ao vertical

where clause define a fragmentac¸ ˜ao horizontal

Pode-se utilizar qualquer express ˜ao/operador em SQL;

Adiciona uma entrada no cat ´alogo

pg grid fragment em todos

(20)

Conceitos

pgGrid

Exemplo

CREATE FRAGMENT produto fln ON produto WHERE

id cidade origem=1;

(21)

Conceitos

pgGrid

Alocac¸ ˜ao de fragmentos

Aloca um fragmento de dados a um site

PLACE

fragmento ON site;

Adiciona uma entrada no cat ´alogo

pg grid allocation em

todos os sites

(22)

Conceitos

pgGrid

Fragmentac¸ ˜ao Comandos adicionados

1 Conceitos

PostgreSQL

PgCluster

2 _{Apresentac¸ ˜ao do pgGrid}

Fragmentac¸ ˜ao

Comandos adicionados

Alterac¸ ˜oes no servidor do PostgreSQL

3 _{Avaliaç ão do prot ótipo}

Caracter´ısticas

Desempenho

Conclus ˜oes

Trabalhos futuros

4 _{Considerac¸ ˜oes finais}

(23)

Conceitos

pgGrid

Funcionamento interno do executor

Bibliotecas para acesso/manipulac¸ ˜ao de tuplas

Comandos INSERT, UPDATE E DELETE alteram tuplas

Comando SELECT navegam atrav ´es das tuplas atrav ´es

das bibliotecas de armazenamento

(24)

Conceitos

pgGrid

Alterac¸ ˜oes nas bibliotecas de acesso

Cada funç ão de alteraç ão deve consultar os cat álogos e

verificar a necessidade de replicaç ão da operaç ão

A funç ão de consulta deve verificar os cat álogos e

distribuir a consulta

Utiliza func¸ ˜oes do pgCluster para distribuir os dados e as

consultas

2PC* j á implementado. Basta chamar as funç ões que

coordenam cada passo

(25)

Conceitos

pgGrid

(26)

Conceitos pgGrid

Avaliaç ão do prot ótipo

Considerac¸ ˜oes finais

Caracter´ısticas Desempenho Conclus ˜oes Trabalhos futuros

1 Conceitos

PostgreSQL

PgCluster

2 _{Apresentac¸ ˜ao do pgGrid}

Fragmentac¸ ˜ao

Comandos adicionados

Alterac¸ ˜oes no servidor do PostgreSQL

3 _{Avaliaç ão do prot ótipo}

Caracter´ısticas

Desempenho

Conclus ˜oes

Trabalhos futuros

4 _{Considerac¸ ˜oes finais}

(27)

Caracter´ısticas

Desempenho Conclus ˜oes Trabalhos futuros

Comparac¸ ˜ao com outros SGBD

Caracter´ıstica

MySQL

Oracle

DB2

pgGrid

Consultas dist.

Sim

Multi-mestre

Sim

Rep. parcial

N ˜ao

Sim

Rep. s´ıncrona

Sim

Rep. ass´ıncrona

N ˜ao

Fragmentac¸ ˜ao

Sim

Def. de regras de frag.

N ˜ao

Sim

N ˜ao

Sim

Integ. ref. distribu´ıda

N ˜ao

Sim

(28)

1 Conceitos

PostgreSQL

PgCluster

2 _{Apresentac¸ ˜ao do pgGrid}

Fragmentac¸ ˜ao

Comandos adicionados

Alterac¸ ˜oes no servidor do PostgreSQL

3 _{Avaliaç ão do prot ótipo}

Caracter´ısticas

Desempenho

Conclus ˜oes

Trabalhos futuros

4 _{Considerac¸ ˜oes finais}

(29)

Desempenho

Conclus ˜oes Trabalhos futuros

(30)

Desempenho

(31)

Desempenho

Consultas na relac¸ ˜ao fragmentada

Consulta

pgCluster

pgGrid

SELECT * FROM PRODUTO

5.3s

16.5s

SELECT * FROM PRODUTO, CIDADE

WHERE

5.7s

19.3s

PRODUTO.CIDADE ID = CIDADE.ID

**SELECT * FROM PRODUTO**

WHERE

4s

2.3s

(32)

Desempenho

Outras mediç ões para a relaç ão fragmentada

Medic¸ ˜ao

pgCluster

pgGrid

Tempo para atualizac¸ ˜ao

1.8s

0.9s

Carga de trabalho durante a consulta

20%

38%

Pacotes transmitidos durante atualizac¸ ˜ao

16

4 Pacotes de rede transmitidos consulta

0 400020

(33)

1 Conceitos

PostgreSQL

PgCluster

2 _{Apresentac¸ ˜ao do pgGrid}

Fragmentac¸ ˜ao

Comandos adicionados

Alterac¸ ˜oes no servidor do PostgreSQL

3 _{Avaliaç ão do prot ótipo}

Caracter´ısticas

Desempenho

Conclus ˜oes

Trabalhos futuros

4 _{Considerac¸ ˜oes finais}

(34)

Caracter´ısticas Desempenho

Conclus ˜oes

Trabalhos futuros

Conclus ˜oes

Flexibilidade, escalabilidade e transpar ˆencia;

Otimizac¸ ˜ao de consultas precisa ser melhor trabalhada;

Poucas opc¸ ˜oes em BDD atualmente no mercado;

PostgreSQL foi uma boa escolha para a implementac¸ ˜ao;

Viabilidade do trabalho atestada pelas avaliac¸ ˜oes

(35)

1 Conceitos

PostgreSQL

PgCluster

2 _{Apresentac¸ ˜ao do pgGrid}

Fragmentac¸ ˜ao

Comandos adicionados

Alterac¸ ˜oes no servidor do PostgreSQL

3 _{Avaliaç ão do prot ótipo}

Caracter´ısticas

Desempenho

Conclus ˜oes

Trabalhos futuros

4 _{Considerac¸ ˜oes finais}

(36)

Caracter´ısticas Desempenho Conclus ˜oes

Trabalhos futuros

Trabalhos futuros

Testes com cen ´arios mais complexos

Otimizaç ão de consultas (verificar cl áusula where dos

comandos update e delete)

Remoç ão da necessidade de servidores de replicaç ão

(camada adicional do pgCluster)

(37)

Conceitos pgGrid Avaliaç ão do prot ótipo

1 Conceitos

PostgreSQL

PgCluster

2 _{Apresentac¸ ˜ao do pgGrid}

Fragmentac¸ ˜ao

Comandos adicionados

Alterac¸ ˜oes no servidor do PostgreSQL

3 _{Avaliaç ão do prot ótipo}

Caracter´ısticas

Desempenho

Conclus ˜oes

Trabalhos futuros

4 _{Considerac¸ ˜oes finais}

(38)

Reposit ´orio do projeto

http://pgfoundry.org/projects/pggrid/

Download do c ´odigo-fonte

https://svn.inf.ufsc.br/gustavotonini/pgGrid/

Projetos relacionados (replicac¸ ˜ao total)

pgPool (master-slave)

Slony (master-slave)

(39)