Subsistema de Gerenciamento de Dados

O subsistema de gerenciamento de dados envolve a busca por fontes de dados para o atendimento às necessidades levantadas pelos dirigentes universitários e ferramentas para o tratamento e armazenamento desses dados. Dessa forma, criar esse subsistema significa modelar os dados de acordo com as visões de negócios de cada tomador de decisão dentro da

instituição, ou seja, esse repositório deve conter apenas os dados de que os usuários necessitam para a tomada de decisão e no formato de que eles necessitam.

Com base nessa característica, constata-se que o desenvolvimento do subsistema de gerenciamento de dados que atenda às necessidades dos tomadores de decisão e que esteja articulado à missão e aos objetivos da IES é uma tarefa difícil, mas que pode ser dirigida, durante sua elaboração, pelos seguintes tópicos (FONTES, 1998):

a) Quais dados são importantes para o processo decisório?

b) Quais sistemas de informação servirão como fonte de dados para o repositório?

c) Como harmonizar os dados provenientes de diferentes fontes e que constituirão uma única fonte de consulta no repositório de dados?

d) Como armazenar os dados no nível das transações individuais ou resumidas? e) Qual a freqüência de atualização do repositório de dados?

f) Qual o período em que os dados estarão armazenados no repositório de dados?

Sendo assim, o subsistema de gerenciamento de dados utiliza a tecnologia de Data Warehouse (DW) para integrar e disponibilizar dados disponíveis em diversas fontes de dados para fins de exploração (Data Mining) ou análise de dados (OLAP), objetivando, com isso, atender às necessidades de informações dos níveis gerenciais da organização.

Um DW oferece os fundamentos e os recursos para um SGC eficiente, isso é, dados integrados e históricos, servindo à alta administração, que necessita de informações mais resumidas, e as gerências de baixo nível, na quais os dados detalhados ajudam a observar os aspectos mais táticos da organização.

O desenvolvimento de SGC que utiliza a tecnologia DW apresenta-se como uma forma inovadora de utilização dos dados na instituição, visando ao aprimoramento da qualidade das informações disseminadas e permitindo a integração entre os diversos bancos de dados e a sua transformação em informações estratégicas.

O objetivo do DW para uma IES é prover a exploração e análise de informações para o apoio à gestão universitária nos níveis tático e estratégico. Essa tecnologia provê a base para o desenvolvimento de SGC que permite consultas aos diferentes assuntos de uma instituição de forma rápida e simples, garantindo confiabilidade ao processo decisório.

O monitoramento dos dados em um DW constitui-se em um ponto importante dentro de uma IES (INMON, 1997; GONÇALVES et al., 2000). Nesse aspecto, a utilização de ferramentas inteligentes que implementam alguns conceitos e técnicas presentes na inteligência artificial para a tomada automática de decisões torna-se necessária, visando amenizar a sobrecarga que recai sobre o administrador do Data Warehouse.

O DW deve ser monitorado para que seu crescimento não extrapole sua capacidade de armazenamento e processamento, também deve ser verificado se os metadados18 estão sendo atualizados e deve ser observado se os dados não mais relevantes devem continuar ou não a ocupar espaço. Considerando as informações provenientes do monitoramento, pode-se transportar dados não utilizados para outros meios de armazenamento, mantendo o desempenho do DW. A não transferência desses dados acarretaria a necessidade de se adicionar mais e mais unidades de armazenamento, de processamento etc. (MORAES, 1998).

Para efetuar eficientemente o monitoramento e o gerenciamento do fluxo de dados no DW, utilizou-se uma abordagem de agentes inteligentes19 responsáveis pela carga, sintetização, envelhecimento e particionamento dos dados. Na Figura 4.4 é apresentada a arquitetura do sistema de DW utilizando agentes inteligentes.

DW Front-End

Integração

Fontes Internas Fonte Externa

Agente de Escalonamento de Carga Agente de Monitoramento de Dados AMD AEC

Figura 4.4 – Estrutura Interna do subsistema de gerenciamento de dados

Fonte: DO AUTOR

18

Metadado pode ser definido como um diretório que auxilia os analistas de Sistema de Apoio à Decisão a localizarem os componentes do Data Warehouse (INMON, 1997).

19

Um agente é uma entidade que pode perceber o ambiente e, baseado nessa percepção, interagir sobre ele (RUSSEL E NORVIG, 1995).

De acordo com Inmon (1997), existem três níveis de detalhe para armazenamento de dados em um DW que devem ser considerados: dados detalhe corrente, dados levemente resumidos e dados altamente resumidos. Para cada nível de detalhe, um horizonte de tempo é estabelecido, afetando diretamente o volume de dados que residem no DW e o tipo de consulta que pode ser atendida.

A preocupação mais importante em relação aos dados situa-se no nível de detalhe corrente. Isso porque esses dados refletem os acontecimentos mais recentes, que são de maior interesse para a organização, pois fornecem uma visão dos acontecimentos recentes e podem ser utilizados para aplicação de técnicas de data mining. Os dados ficam residindo nesse nível até que um dos três eventos aconteça: os dados sejam sintetizados, sejam arquivados ou sejam deletados (INMON, 1997).

No nível de dados levemente resumidos, geralmente se trabalha com um horizonte de tempo de até cinco anos e os dados são armazenados em séries semanais e mensais. O seguinte nível de dados proposto no projeto de estrutura do DW é o dos dados altamente resumidos, em que os dados são compactos e de fácil acesso.

O fato de os dados serem sintetizados e armazenados em níveis mais baixos de detalhamento não implica a sua exc lusão do nível em que residem. Isso acontece apenas quando o período ultrapassa o horizonte de tempo definido para aquele nível de detalhamento. Nesse caso, dois eventos podem ocorrer - os dados são armazenados em meios alternativos de armazenamento (processo de envelhecimento) ou a informação é excluída do banco de dados. Nessa etapa, utilizou-se um agente autônomo, denominado agente de monitoramento de dados, responsável pela sintetização e envelhecimento dos dados.

O agente de monitoramento de dados terá o objetivo de sintetizar os dados de detalhe corrente para os níveis seguintes, indexando-os por um determinado período de tempo. Quando o período ultrapassa o horizonte de tempo definido para aquele nível de detalhe, o agente de monitoramento de dados deverá efetuar o processo de envelhecimento ou a deleção dos dados.

Uma técnica utilizada para gerenciar o volume de dados do sistema de DW, principalmente nas tabelas de fatos, é o particionamento horizontal de dados. Isso significa dividir a tabela, utilizando algum critério como, por exemplo, a data. A vantagem desse particionamento é que os dados podem ser mais facilmente reestruturados, reorganizados,

recuperados, monitorados e indexados. O agente de monitoramento de dados realiza esse particionamento, emitindo os comandos necessários para o sistema de gerência de banco de dados (SGBD).

No processo de carga, um grande dispêndio de tempo e processamento é demandado; os dados são filtrados, as inconsistências desfeitas. Os dados sofrem uma transformação e dezenas de arquivos indexados vão sendo criados no nível de detalhe corrente.

De acordo com Inmon (1997), existem três métodos de carga do DW: (1) um registro por vez, (2) por meio de uma interface de linguagem ou (3) em massa, com a ajuda de um utilitário. Em geral, a carga de dados por meio de um utilitário é mais rápida.

O agente de escalonamento de carga monitora automaticamente toda a operação de carga dos dados, cancela a operação quando necessário e reinicia após uma falha, sem a perda da integridade dos dados, maximizando o seu desempenho. Para isso, utilizam- se tempos históricos de carga, prioridades, fila etc. O agente de escalonamento de carga também executa a análise dos dados carregados, informando a posição e status dos cronogramas de carga deles e também armazenando informações estatísticas sobre freqüência de acesso a cada arquivo, quem o está acessando etc.

Os agentes comunicam-se via mensagens, de acordo com um protocolo pré-definido. Dessa forma, o processamento dos eventos de carga, sintetização, envelhecimento e particionamento dos dados é automatizado, amenizando a sobrecarga do administrador de Data Warehouse (FREITAS JR. et al., 2001c).

A vantagem de implantação de um DW em uma IES é propiciar aos dirigentes universitários uma significativa economia de tempo e esforço no processo decisório. As decisões continuarão a ser tomadas como de praxe, o que muda é o grau de rapidez que antecede à tomada de decisão. Outros benefícios proporcionados pelo DW são: eliminação de tarefas operacionais como pesquisa e identificação dos dados necessários ao processo decisório e melhor confiabilidade das informações sobre o desempenho dos negócios (DOMENICO, 2001).

Um outro ponto a ser considerado no projeto do subsistema de gerenciamento de dados, diz respeito à segurança das informações. Nele devem estar previstas normas de acesso

e de utilização dos dados, os termos de compromisso assumidos pelos usuários, pessoal de suporte técnico e os esquemas de auditoria do sistema.