CIn/UFPE – Integração de Dados e Data Warehouse 

(1)

CIn/UFPE – Integração de Dados e Data Warehouse 

(2)

Ferramentas de ETL

Por:

Ellison Siqueira (erms)

(3)

Ferramentas de ETL

• Fonte dos dados:

 Banco de Dados de Exemplo do MS Acess

 Formato:

• Access (.mdb)

 Nome do Banco

• Northwind

 Descrição da base

• A base contém dados fictícios de uma empresa onde são

registradas informações sobre vendas e estoque de produtos.

• Ferramentas

 DTS (Microsoft) – Data Transformation Services

 Kettle (Pentaho)

(4)

Ferramentas de ETL

• Destino dos Dados:

 DW em MS SQL Server

 Nome do Banco

• DWNorthwind

 Descrição

• Base de dados no modelo estrela. Os assuntos do modelo são Vendas e Estoque

• Objetivos

 Extrair os dados da base Access, aplicar transformações e

carregá-las no banco SQL Server

(5)

Modelo Northwind

(6)

Modelo Estrela Vendas

(7)

Modelo Estrela Estoque

(8)

Modelos SQL

• Este Slide possui um comentário que contém o

Script de criação da base de dados do DW.

(9)

Ferramentas ETL

• Considerações

 A validação de chaves do banco de dados do DW não será desativada

 Assim, o processo primeiro deve ser aplicado as

Dimensões e, depois, aos Fatos

(10)

Ferramentas ETL

Microsoft DTS

(11)

Microsoft DTS

• É disponibilizado através do SQL Server Enterprise Manager

• Exige a “presença” de um servidor SQL Server ativo, mesmo que o Processo de ETL não envolva bases SQL Server

• A Ferramenta aplica o conceito de pacotes.

Atividades do processo de ETL são agrupadas

nestes pacotes.

(12)

Microsoft DTS

(13)

Microsoft DTS

• Criar um novo pacote e inserir as conexões

(14)

Microsoft DTS

• Conexões Acces e SQL Server

(15)

Microsoft DTS

• Criação das transformações

(16)

Microsoft DTS

• Criação das transformações

(17)

Microsoft DTS

• Criação das transformações

(18)

Microsoft DTS

• Auxílio na seleção dos dados na fonte

(19)

Microsoft DTS

• Criação das transformações

• Tipos de Transformações

(20)

Microsoft DTS

• Transformação ActiveX Script

(21)

Microsoft DTS

• Transformação ActiveX Script

(22)

Microsoft DTS

• Transformação ActiveX Script

(23)

Microsoft DTS

• Transformações - Dimensões

 Clientes

 Fornecedores

 Funcionários

 Transportadoras

 Produtos

 Tempo

Obs: Este Slide contém comentários com os comandos

SQL de seleção das fontes e os scripts ActiveX das

dimensões, quando o script for necessário

(24)

Microsoft DTS

• Criação das transformações - salvar Pacote

(25)

Microsoft DTS

• Criação das transformações

 Repetir o mesmo para os Fatos

• Vendas

• Estoque

Este Slide também possui comentários com instruções SQL

e Scripts ActiveX

(26)

Microsoft DTS

• Criação de Pacote para automação do processo

 O pacote deve

• (1) Excluir os dados do DW;

• (2) Exportar os dados das tabelas de dimensão; e,

• (3) Exportar os dados das tabelas de fato

 É necessário

• (1) A criação de uma conexão com a base SQL Server para possibilitar apagar os dados;

• (2) Um script SQL que apegue os dados;

• (3) Em caso de sucesso na eliminação dos registros, chamar o pacote de extração dos dados das dimensões; e,

• (4) Em caso de sucesso na extração dos dados das tabelas de dimensão, chamar o pacote de extração dos dados das

dimensões.

(27)

Microsoft DTS

• Criação de Pacote para automação do processo

Aqui tem um comentário com o SQL para eliminar

os dados das tabelas de

fato e dimensão

(28)

Ferramentas ETL

Kettle

http://kettle.pentaho.org/

(29)

Kettle

• Ferramentas

 Spoon

 Pan

 Chef

 Kitchen

(30)

Kettle

• Welcome to Spoon

(31)

Kettle

• Spoon

(32)

Kettle

• Mais opções ao usuário

(33)

Kettle

• Transformações

Primeiro é necessário criar conexões ODBC para as bases de

dados de entrada e saída

(34)

Kettle

• Assistente para conexão - Access

(35)

Kettle

• Assistente para conexão - Access

(36)

Kettle

• Assistente para conexão – SQL Server

(37)

Kettle

• Assistente para conexão – SQL Server

(38)

Kettle

• Conexões criadas e Transformação salva

(39)

Kettle

• ETL Mini Dimensões

(40)

Kettle

• ETL Dimensões

(41)

Kettle

• Componentes utilizados

 Input -> Input table

 Transform -> Select values

 Output -> Insert/Update

 Scripting -> Java Script Value

 Transform -> Calculator

 Join -> Database Join

(42)

Kettle

• Input Table

• Script SQL para Dimensões

 Cliente

 Fornecedor

 Funcionário

 Transportadora

 Produto

 Tempo Informar a

conexão

Este Slide possui os scripts SQL em

comentários

(43)

Kettle

• Select Values

(44)

Kettle

• Criar Relação entre componentes

(45)

Kettle

• Insert/Update

(46)

Kettle

• Java Script Value

• Script Java Script para

 Nome + Sobrenome

 Status Produto

 Manipula Datas

Este slide contém os scripts

dentro de comentários

(47)

Kettle

• Calculator

(48)

Kettle

• Database Join

Script Join Localização

(49)