Fonte de Dados
OLTP
Área de Estágio Data Warehouse
OLAP
Figura 5 - Modelo da área de extração, transformação e carregamento do DW
27
Citando Caldeira (2012, p. 205), o processo de ETL é entendido como “subsistema deextracção, transformação e limpeza dos dados dos sistemas operacionais no momento da sua disponibilização no data warehouse.” O mesmo autor refere que a implementação de um
sistema de BI, é um dos processos com maior complexidade, e durabilidade, podendo ocupar até 80% do trabalho. Tem como objetivo primordial, a extração dos dados nos sistemas transacionais, transportando-os para a área de estágio, onde ocorrerá a sua transformação e posteriormente o seu carregamento no DW (Caldeira, 2012, p. 39).
A Figura 5 é representativa do processo de um sistema ETL, onde são processadas enormes quantidades de dados, tornando-se por esse motivo, um processo mais crítico na construção de uma DW. Face ao exposto, é fundamental a escolha de ferramentas adequadas para este processo. Ferreira, Miranda, Abelha e Machado (2010, p. 5-6), elencam os seguintes pontos a levar em consideração na seleção da ferramenta:
•
Deve suportar qualquer plataforma;•
Dispor de uma usabilidade simples;•
Ter a eficácia e eficiência de efetuar a leitura dos dados diretamente da fonte de origem, em diferentes formatos;•
A capacidade de extração dos dados nas diversas fontes, efetivar a sua limpeza, transformação, agregação e carregamento no DW;•
Ter suporte para programação em linha de comandos usando programação externa;•
Apoiar a reutilização da lógica de transformação para que o utilizador não necessite de reescrever, várias vezes, a mesma lógica de transformação;•
Apoio a nível do debugging, ou seja, deve oferecer apoio de execução e a limpeza da lógica de transformação. O utilizador deve ser capaz de visualizar os dados antes e depois da transformação;•
Rapidez e flexibilidade.O mercado dispõe de inúmeras ferramentas de ETL com características diferentes, podendo indicar-se a título de exemplo algumas que se destacam pelas suas capacidades de tratamento, manipulação de forma simples e eficaz: o OWB, Data Stage10, SSIS11, as open source como Talend e PDI ou Ketlle12.
A primeira e segunda fase do processo ETL, necessita de uma atenção especial. Os dados extraídos e transformados, precisam de gerar informações confiáveis, caso contrário, as decisões serão baseadas em informações erróneas, podendo assim afetar diretamente a sobrevivência do negócio. Na fase de extração temos que ter a precaução de não alterar os dados na fonte de origem. Segundo Rainardi (2008, p. 173) a fase de transformação dos dados, resume-se à padronização, formatação e agregação dos dados, ou seja, refere-se à compactação dos dados de nível mais elevado, e a realização das limpezas dos dados no
10 Data Stage - IBM Information Server, foi desenvolvida pela Ascential Software, adquirida pela IBM em
2005.É uma das ferramentas ETL mais conhecidas e utilizadas no mercado mundial.
11 SSIS – Interface para integração de dados, estruturado no Visual Studio. 12 SPOON é a ferramenta gráfica, para desenhar e testar todo o processo do PDI.
28
formato de texto, números; há que ter sobretudo atenção especial no formato das datas, de acordo com a natureza do projeto envolvido. Há fontes de dados que não requerem muita transformação dos dados, podendo em determinados casos ser imprescindível proceder a muitas limpezas e manipulação desses dados.Por exemplo, não queremos que um número de telefone seja inválido, ou um endereço de email sem o «@», ou ainda um endereço de Évora com um código postal não correspondente a esse endereço, diversas formas de escrever nome cidade, a título de exemplo «Entre Douro e Minho», «Entre-Douro-Minho», uma coordenada geográfica que não corresponda à localização correta, diversos modos de representar o sexo, por exemplo «Masculino e Feminino», «M ou F», «1 para Masculino, 0 para Feminino».
Constituem os exemplos supracitados tipologias de modificações, a que deveremos estar atentos e que devem ser verificados na fase de transformação, em seguida efetuar-se a sua limpeza, de forma a obtermos dados com boa qualidade, integridade e fiabilidade.
Após a extração, transformação e limpeza dos dados, passamos à fase de carregamento que consiste em colocar os dados no DW. Este processo varia de acordo com a necessidade do projeto. Por exemplo em alguns projetos os dados são carregados e atualizados semanalmente ou diariamente, enquanto que noutros casos são adicionados a cada hora, até em cada transação. Deste modo, o carregamento dos dados depende da necessidade do negócio em ter as informações disponíveis para suporte nas tomadas de decisão. A título de exemplo podemos mencionar o processo ETL de um sistema de BI de um supermercado, que é diferente do sistema SPARES; há uma maior necessidade de carregamento de dados no sistema de BI do supermercado, pela simples razão de que a regra de negócio exige tomar as decisões com maior regularidade, do que no sistema SPARES.
Segundo Rainardi (2008, p. 176) podemos usar as seguintes abordagens para o processo de ETL:
•
A abordagem mais comum é o processo ETL poder consultar as fontes de dados de origens regularmente, e efetuar a extração, transformação e carregamento dos dados;•
Outra abordagem é através dos Triggers, que vão estar associados a um evento. No momento em que o evento ocorrer, o trigger é acionado, sendo responsável pela inserção ou atualização dos dados numa determinada dimensão.É esta abordagem que utilizamos para o sistema SPARES. Na tabela do facto “Comissario”, quando um utilizador inserir um novo registo, o trigger associado para essa função, vai atualizar os novos campos («Código da Data
Inicial,» «Código da Data Final», «Ocupações») adicionando na tabela de
facto, sendo desta forma que será o processo ETL para o sistema SPARES;