Técnicas de Database Refactoring para ambientes 24x7. Matheus de Oliveira

(1)

Matheus de Oliveira

(2)

Matheus de Oliveira

<matheus.oliveira@dextra.com.br>

DBA PostgreSQL – consultorias e suportes 24x7/8x5

(3)

Mais de 15 anos trabalhando de suporte e consultoria PostgreSQL

http://www.dextra.com.br/ “Crafting Software, Transforming Business”

Instrutor dos treinamentos PostgreSQL

Concep¸cão, desenvolvimento e suporte à produ¸cão

(4)

Matheus de Oliveira

<matheus.oliveira@dextra.com.br>

http://www.dextra.com.br/ “Crafting Software, Transforming Business” 10 anos e mais de 10 mil profissionais

capacitados em todo o Brasil. http://www.dextraining.com.br/

(5)

http://www.dextra.com.br/ “Crafting Software, Transforming Business” 10 anos e mais de 10 mil profissionais

capacitados em todo o Brasil. http://www.dextraining.com.br/

“Aprenda com quem faz na pr´atica”

SaaS para an´alise e monitoramento PostgreSQL

http://www.pganalytics.com.br/ “Facilitando a vida do DBA”

(6)

Database

Refactoring

(7)

“A simple change to a database schema that improves its design while retaining both its behavioral and informational semantics – in other words, you can neither add new functionality nor break existing

functionality, nor can you add new data nor change the meaning of existing data.”

Scott Ambler and Pramod Sadalage (2006). Refactoring databases: Evolutionary database design. Addison-Wesley.

(8)

Database Refactoring

• Segue a mesma ideia e princ´ıpios de refatora¸cão de código, só que ´

e considerado um pouco mais dif´ıcil.

• Escrever e evoluir o c´odigo de forma disciplinada:

◦ nem t˜ao importante durante o desenvolvimento inicial (antes de entrar em produ¸c˜ao);

◦ essencial (pra todos?) ap´os ter entrado em produ¸c˜ao.

• Desenvolvedores, DBAs, sysadmins... DevOps... Todos

(9)

Estrat´egia:

(10)

Database Refactoring

(11)

Podemos dividir os tipos de refatora¸c˜ao em 6 categorias:

• _{Estrutural (structural);}

• Qualidade dos dados (data quality);

• Integridade referencial (referential integrity);

• _{Arquitetural (architectural);} • M´etodos/fun¸c˜oes (method);

• Transforma¸c˜ao (non-refactoring transformation).

(12)

Database Refactoring – exemplos

(13)

SELECT ... FROM m e n s a g e n s m

LEFT JOIN u s u a r i o _ l o c a l l

ON l . u s u a r i o _ i d = m . d e _ i d

AND m . d a t a _ h o r a BETWEEN l . d a t a _ i n i

AND l . d a t a _ f i m

(14)

Database Refactoring – exemplos

Em alguns casos, como no exemplo, n˜ao h´a necessidade de

sincroniza¸c˜ao:

• adicionar colunas `a tabelas, desde que essas possam ser NULL ou

tenham um valor DEFAULT definido;

• adicionar novas tabelas, vis˜oes ou fun¸c˜oes ao modelo;

(15)

Mudar a estrutura j´a ´e mais complicado:

(16)

Database Refactoring – sincroniza¸c˜

ao

Para muitos casos, como renomear uma coluna, mover de uma tabela para outra, remover uma tabela, entre outros; é necessário um mecanismo de sincroniza¸cão. Estes podem ser feitos via:

• _{gatilhos (triggers);} • _vis˜_{oes (views);}

(17)

Database Refactoring – dicas

• Tenha diversos ambientes (sandboxes para desenvolvedores,

ambiente de teste de carga, demonstra¸c˜ao, QA, etc.);

• _{Use ambientes de Integra¸}_c˜_{ao Cont´ınua (Continuous Integration);}

• Pequenas modifica¸cões são mais fáceis de aplicar e testar (tente dividir uma grande tarefa e várias menores);

• Automatize tudo;

• Fa¸ca as pazes entre desenvolvedores e DBAs (dica:

pair-programming entre ambos sempre que poss´ıvel)... =) ;

• Teste...

•

_Teste...

•

TESTE...

(18)

Database Refactoring – dicas

• Mantenha o versionamento da base num controle de vers˜oes, e

também a informa¸cão da versão atual na própria base (use

ferramentas como Sqitch, dbdeploy, Flyway, etc... ou fa¸ca a sua);

• _{Use ambientes de Integra¸}_c˜_{ao Cont´ınua (Continuous Integration);}

• Teste...

•

_Teste...

(24)

Database Refactoring – dicas

(25)

• Teste...

•

_Teste...

•

TESTE...

(26)

Zero Downtime

Upgrades

(27)

• Existe um mito que qualquer atualiza¸c˜oes em bancos de dados relacionais ´e extremamente lenta.

• _{E fato que opera¸}´ _c˜_{oes DDL (Data Definition Language) muitas}

vezes bloqueiam opera¸c˜oes DML (Data Manipulation Language),

mas ´e poss´ıvel fazer com que este bloqueio seja extremamente

r´apido na grande maioria dos casos.

(28)

Zero Downtime Upgrades – ALTER TABLE

• Sem d´uvida o comando que gera maiores d´uvidas e dores de

cabe¸ca.

• Para executar um ALTER TABLE o banco de dados necessita de um

bloqueio exclusivo da tabela (em muitos casos bloqueando at´e

consultas), mas existem basicamente dois mecanismos para um ALTER TABLE atualizar o esquema:

◦ com necessidade de reescrita – a tabela é atualizada completamente (in-place ou usando arquivos temporários) + atualiza¸cão de catálogo; ◦ sem necessidade de reescrita – apenas atualiza¸cão de catálogo.

(29)

Adicionar coluna, sem valor DEFAULT:

ALTER TABLE u s u a r i o s

ADD lat NUMERIC;

PostgreSQL : sem reescrita;

Oracle : sem reescrita;

MySQL : com reescrita (mas a partir da versão 5.6 é poss´ıvel reescrita in-place e sem bloqueio de opera¸cões DML – exceto para auto increment);

(30)

Zero Downtime Upgrades – ALTER TABLE

Adicionar coluna, com valor DEFAULT:

ADD a t i v o BOOLEAN DEFAULT t r u e;

PostgreSQL : com reescrita (devido `a necessidade do valor DEFAULT);

Oracle : com reescrita (devido `a necessidade do valor DEFAULT);

(31)

ADD a t i v o BOOLEAN DEFAULT t r u e NOT NULL;

PostgreSQL : com reescrita (devido `a necessidade do valor DEFAULT);

Oracle : sem reescrita (a partir da vers˜ao 11g, anteriormente a reescrita era necess´aria);

MySQL : com reescrita (mesmas considera¸c˜oes do anterior);

Para adi¸cão de colunas com valor DEFAULT (exceto MySQL 5.6+), uma prática comum é adicionar a coluna sem DEFAULT, definir o

DEFAULT em outra opera¸c˜ao e fazer um UPDATE em grupos (batches) e/ou em paralelo para aplicar `as linhas antigas.

(32)

Zero Downtime Upgrades – ALTER TABLE

Remover coluna:

DROP f o n e _ c a s a ;

PostgreSQL : sem reescrita;

Oracle : sem reescrita se usando o comando:

ALTER TABLE usuarios ALTER fone_casa SET UNUSED

;

(33)

Alterar tipo de uma coluna:

ALTER lat TYPE b i g i n t;

PostgreSQL : com reescrita;

Oracle : com reescrita;

MySQL : com reescrita;

(34)

Zero Downtime Upgrades – ALTER TABLE

Alterar limite de uma coluna:

ALTER n o m e TYPE v a r c h a r( 1 0 0 ) ;

PostgreSQL : a partir da vers˜ao 9.2, sem reescrita somente se o limite estiver aumentando (ou remo¸c˜ao de limite);

Oracle : sem reescrita somente se o limite estiver aumentando;

(35)

Cria¸c˜ao de ´ındices.

PostgreSQL : diminui o bloqueio se usado CREATE INDEX CONCURRENTLY ...;

Oracle : diminui o bloqueio se usado CREATE INDEX ... ONLINE;

MySQL : n˜ao bloqueia para ´ındices secund´arios, exceto FULLTEXT (InnoDB 5.1+, demais 5.6+).

(36)

Zero Downtime Upgrades – dicas

• Nunca se preocupe com a posi¸c˜ao das colunas numa tabela,

mapeia as posi¸cões lógicas no seu código/aplica¸cão;

• Nunca utilize o famigerado SELECT * ;

• Tente executar essas migra¸c˜oes em momentos de menor

atividade, mesmo que sejam sem reescrita;

• Execute scripts de migra¸c˜ao parte a parte, algumas vezes um

´

´

(43)

• Nunca se preocupe com a posi¸cão das colunas numa tabela, mapeia as posi¸cões lógicas no seu código/aplica¸cão;

´

• Teste...

•

_Teste...

•

TESTE...

(44)

Obrigado!

D´

uvidas?

Matheus de Oliveira <matheus.oliveira@dextra.com.br> IRC – irc.freenode.net: /join #postgresql,#postgresql-br,#dextra Meu nick: MatheusOl