No framework de desenho e desenvolvimento proposto pelo projecto DWQ constituem aspectos centrais e inovadores os factores de qualidade e a gestão dos SDW suportada por um repositório central de metadados. Os metadados são providenciados por modelos que capturam todos os aspectos do sistema, na perspectiva conceptual que representa a visão global dos objectos da organização, na perspectiva lógica constituída pelo esquema do DW global e os esquemas das fontes e na perspectiva dos componentes físicos que armazenam os dados das fontes e os dados warehouse (Jarke et al. 1999, Vassilidadis et al 2000d e 2001b).
No domínio específico do problema do refrescamento dos RDW, o framework oferece uma metodologia informal para guiar a definição do processo, assente numa sequência de quatro actividades, inseridas no ciclo de vida de um projecto de SDW: (1) a análise dos requisitos para identificar as vistas, as fontes de dados e os factores de qualidade; (2) o desenho conceptual que providencia uma primeira definição do processo como um cenário planeado de possíveis estratégias; (3) o desenho lógico que transforma os cenários conceptuais numa especificação formal, em termos do algoritmo principal, regras e respectivas semânticas de execução; (4) o desenho físico que implementa o algoritmo principal e as regras e respectivas semânticas. Acresce que o processo deve ser gerido por metadados activos que representam todos os dados resultantes dos três níveis de desenho e o mapeamento entre eles e ainda informações sobre a frequência e o intervalo adequados à sua execução (Bouzeghoub et al. 1997: 9- 13).
Um contributo fundamental dos investigadores do projecto DWQ traduz-se na introdução do conceito de workflow no domínio do problema do refrescamento dos RDW, fazendo a ruptura com as abordagens tradicionais de manutenção das vistas materializadas.
O conceito de workflow diz respeito a uma actividade que envolve a execução coordenada de um conjunto de tarefas e constrangimentos associados, levada a cabo por entidades humanas e ou componentes de software. A sua especificação exige o recurso a linguagens apropriadas para descrever as tarefas e as relações entre elas e todos os aspectos associados que são relevantes para o controlo e coordenação da sua execução, incluindo a calendarização e as entidades envolvidas, como os sistemas e os dados de enquadramento ou o modelo da organização (Casati et al. 1995: 341). A sequência das tarefas deve ser, pois, adequada a essa estrutura do fluxo e suficientemente flexível para permitir um reordenamento quando se alteram aspectos da estrutura (Casati et al. 1996: 439).
Na literatura, estão disponíveis várias perspectivas e uma diversidade de domínios que utilizam o conceito, assim como inúmeras linguagens de especificação (ver Aalst 1997 e Aalst e Hofstede 2002 e 2003). A indústria também tem disponibilizado alguns standards que incluem metamodelos para especificar processos de workflow e linguagens para modelar objectos e processos em vários domínios, adequando-se ao ambiente warehouse o standard da Workflow Management Coalition71, o Open Information Model e o Data Transformations Elements da Metadata Coalition que usa a UML (ver Vassiliadis 2000a: 3.3 e 2001b).
É neste sentido que o refrescamento dos RDW deixa de ser visto como o problema da materialização de vistas e sua manutenção e passa a ser conceptualmente representado como um workflow, cujas rotinas dependem dos produtos disponíveis para a extracção, limpeza e integração de dados e cuja coordenação dos eventos que iniciam as tarefas depende do domínio das aplicações envolvidas e dos requisitos de qualidade. Cada modelo de workflow, designado por cenário, deve ser adaptado aos requisitos de qualidade e constrangimentos específicos de um dado projecto de SDW (Bouzeghoub et al.1999).
De facto, a abordagem de workflow permite decompor o processo de refrescamento em tarefas, ordená-las e organizá-las de acordo com cenários específicos de refrescamento, atendendo à evolução dos requisitos definidos pelos utilizadores, em termos de alterações das vistas e dos requisitos de qualidade, e à evolução dos constrangimentos impostos pelos repositórios de dados envolvidos. As tarefas ocorrem em quatro passos: (1) a preparação, com a tarefa de extracção dos dados alterados em
cada uma das fontes, desde a última extracção (diferencial de alterações) e consequentes tarefas de limpeza e gestão do histórico, que pode ocorrer mais tarde; (2) a integração, com as tarefas de reconciliação das alterações extraídas das múltiplas fontes de dados e posterior carregamento no ODS; (3) a agregação, com as tarefas de recomputação incremental das alterações ao longo da hierarquia das vistas agregadas; (4) a fase de customização, com as tarefas de propagação dos dados sumariados para os data marts (ver Figura
4.
3).Figura 4.3 Workflow genérico para o processo de refrescamento
Para além da metodologia e da introdução do conceito de workflow, os investigadores propõem também as dimensões de qualidade dos dados que devem ser asseguradas e os respectivos de factores de qualidade que associam às decisões de desenho do processo e aos requisitos dos utilizadores (Bouzeghoub et al. 2003: 73-7).72 Providenciam ainda um toolkit genérico baseado num modelo lógico de regras activas que admitem poder ser executadas, independentemente das linguagens de especificação das regras e dos SGBD envolvidos, e com a flexibilidade suficiente para garantir a
72 Ver a proposta de um framework para a análise da idade dos dados (data freshness), um dos atributos
mais importantes na qualidade dos dados, que inclui as métricas e uma taxionomia (Bouzeghoub e Peralta 2004). Limpeza Extracção Gestão do histórico Integração Gestão do histórico Propagação das alterações
Customização Evento antes de customização Evento antes da propagação Evento antes de integração Evento temporal/externo Evento temporal/externo Evento temporal/externo Evento temporal/externo Evento depois de customização Evento antes da propagação Evento antes de integração
evolução de quaisquer cenários de refrescamento (Bouzeghoub et al. 1998 e 2003: 77- 85).