Custos da qualidade dos dados

O reconhecimento da qualidade de um bem (PI) pode ser percepcionado no modo como esse bem responde aos anseios e necessidades dos consumidores (qualidade de projecto), mas também, no modo como o processo produtivo do bem (sistema de produção de informação) respeita os requi- sitos previamente determinados (qualidade de conformidade) [Helfert & Herrmann, 2002] [Mar- ques, 1994]. Uma outra componente (qualidade de serviço) corresponde à capacidade de disponi- bilizar serviços após a entrega dos dados aos consumidores e que considerando as características destes sistemas pode ser entendida como os metadados do SDW. Estas componentes da quali- dade assumem vital importância pela transversalidade verificada na obtenção de um bem capaz de corresponder ao fim destinado. Partindo do pressuposto que a informação pode ser encarada como se de um produto se tratasse, é interessante categorizar os custos associados ao processo de produção do PI de qualidade [Wang et al., 1998]. Conforme referido anteriormente, o sistema de produção do PI está predominantemente concentrado em actividades desenvolvidas na ARD.

Estas actividades são responsáveis por mais de dois terços de todos os recursos dispendidos em SDWs e a importância que ocupam é alvo de merecedora atenção porque têm acção directa na qualidade do bem apresentado para auxiliar o consumidor na tomada de decisão.

Assim, podemos encarar os custos inerentes à qualidade de conformidade em duas vertentes: os custos directos e os indirectos [Moreira, 2001]. Os primeiros respeitam aos custos de prevenção, que se encontram associados às actividades compostas pelos processos de melhoramento da qualidade e prevenção de defeitos, isto é, são os custos suportados pelas organizações de modo a implementar uma arquitectura tecnologicamente capaz da detecção e correcção dos erros que afectam a qualidade dos dados (e.g. programas de melhoramento contínuo dos dados, software de qualidade dos dados, formação, meios de inspecção, recolha e análise dos dados [Marques, 1994] [Moreira, 2001]. Ainda nesta categoria, podemos observar os custos de detecção ou avalia- ção de erros a nível da qualidade nos dados (e.g. inspecção e teste na produção, avaliação das fontes de dados, auditoria, custos de mão de obra, custos de perda de disponibilidade ou desem- penho do sistema) [Cappiello & Francalanci, 2002]. A segunda categoria, os custos indirectos, resultam das rejeições, desclassificações ou reclamações dos consumidores e podem assumir tanto uma repercussão interna, isto é, se antes de chegar ao consumidor final são detectadas as falhas que violam as especificações predeterminadas (e.g. a apreciação dos defeitos, a inspecção a 100%, o trabalho de reparação), como uma repercussão externa, ou seja, são os consumidores finais que constatam falhas nos dados não condizentes com a qualidade desejada (e.g. refazer o trabalho após a entrega dos dados, os custos de imagem, a perda de confiança do consumidor) [Moreira, 2001] [Cappiello & Francalanci, 2002].

A combinação dos custos directos e indirectos gera os custos totais da qualidade. A evolução des- tas duas parcelas é no sentido de, quando uma aumenta, diminui a outra, o que implica a existên- cia de um mínimo na curva da soma que configura a solução óptima (figura 3-8). As organizações que aplicam estes princípios à produção dos bens comuns estão dispostas a transferir os seus esforços de controlo de qualidade para a prevenção de falhas e a imprimir uma maior concentra- ção no processo de concepção e fabrico dos bens. De igual modo, a produção da informação deve captar maiores atenções nas suas etapas de concepção e processo produtivo. A constatação que a produção de informação de elevada qualidade só é possível com matérias-primas (dados) de reconhecido valor tem apontado a necessidade em possuir meios adequados e tendencialmente configurados para a excelência a montante, de modo a obter a qualidade pretendida a jusante a custos admissíveis. Ora, o esforço empregue no alcance de custos globais mais baixos é resultan- te da subida dos custos de prevenção ser compensada pela redução dos custos de detecção de falhas nos dados e pela possibilidade em possuir dados bons logo à primeira [Moreira, 2001].

Figura 3-8 – Custo Total da Qualidade [Marques, 1994].

Em ambientes de DW, o SO corresponde à primeira camada da arquitectura do sistema e por isso, assumem uma importância fulcral na produção dos dados capazes de serem adequados às exi- gências dos consumidores. Por este motivo, não será alheia a intenção das organizações começa- rem a investir em meios tecnológicos capazes de garantir bons dados nas fontes. A melhoria dos dados nas fontes prevê que as iniciativas a implementar sejam coordenadas por uma equipa con- centrada na garantia da qualidade dos dados e na determinação das políticas de melhoria da qua- lidade dos dados mais eficientes e eficazes [Kimball & Caserta, 2004]. Na realidade conforme é observável em [Kimball & Caserta, 2004], quase metade dos problemas ao nível da qualidade dos dados só pode ter um tratamento na origem, porque não existem meios tecnológicos para criar ou recriar dados não introduzidos nas fontes. É igualmente verificável que cerca de dois terços dos problemas evidenciados nos dados são melhor resolvidos nas fontes (figura 3-9).

Os problemas com os dados num SDW assumem uma regra cumulativa, ou seja, os problemas que ocorrem nas camadas inferiores dum SDW mantêm-se nas camadas seguintes e geralmente tomam proporções complexas na deterioração dos dados. A introdução de valores errados nas fontes pode gerar a elaboração e publicação de informações erróneas que inviabilizem a tomada de decisões por parte dos consumidores finais e eventuais consequências no consumo de recur- sos necessários para a resolução dos problemas. Esta realidade constitui o designado “Principio do Funil da Qualidade”, isto é, quanto mais próximo do início do processo de produção, menor será o custo da qualidade [Moreira, 2001]. Em [McKnight, 2003] é confirmada esta perspectiva, pois revela-se mais dispendioso reparar os defeitos nos dados no final da sequência estrutural do sistema do que no ponto de origem da inserção dos dados. Esta questão pode revelar-se crucial em valores dos dados cujo interesse para os ambientes operacionais se mostre reduzido e por isso, a sua recolha possa ser negligenciada. Porém, esses mesmos dados, em processamento analítico e aquisição de conhecimento, podem possuir um interesse vital para a organização. Se considerarmos que os valores desses dados são de difícil obtenção em momentos posteriores, então facilmente apercebemo-nos do aumento dos custos para a sua aquisição. Portanto, sobre este ponto podemos concluir que à medida que o PI progride ao longo do processo produtivo, mais recursos são necessários serem investidos na sua reparação (figura 3-10) [Moreira, 2001].

Figura 3-10 – Princípio do funil da qualidade [Moreira, 2001].

A tendência actual para SDWs real-time, caracterizados por uma janela de oportunidade reduzida, determina uma maior necessidade na antecipação da resolução dos problemas e uma atitude preventiva que evite o aparecimento de defeitos nos dados, nomeadamente, no processo de cap- tura dos dados nas fontes. Deste modo, estaremos a contribuir para a disponibilização da informa- ção requerida pelos consumidores no mais curto espaço de tempo, partindo do pressuposto que o processo de ETL tradicional não é suficientemente lesto e capaz de um tratamento condizente às necessidades dos consumidores e em consequência das organizações.~