A qualidade na perspetiva das estatísticas das contas nacionais

As contas nacionais, e a conta das Administrações Públicas, são estatísticas na medida em que resultam de um processo estatístico que envolve a recolha de informação, a utilização de amostras estatísticas e a estimação de alguma informação. Segundo as nações Unidas, a informação usada no processo de produção das contas nacionais é basicamente proveniente de três fontes de informação principais: registos administrativos, métodos estatísticos e estimações (United Nations, 2003). Os registos administrativos, ou as fontes administrativas, incluem as demonstrações financeiras das entidades públicas e a exploração destes registos constituem um dos principais métodos para elaborar as contas nacionais (Lequiller e Blades, 2006). Para o Eurostat (2012), as fontes de informação administrativa para o sector do governo (General Government Sector) são um elemento central no processo de produção das contas nacionais. No caso da conta das Administrações Públicas é privilegiada a informação sobre a execução do orçamento e as demonstrações financeiras das entidades públicas que integram o sector público.

De acordo com Lequiller e Blades (2006), a conta das Administrações Públicas é a mais precisa das contas nacionais porque se dispõe das contas de todas as unidades institucionais que compõem o sector e não apenas uma amostra estatística. Por essa razão, o método utilizado na recolha de informação nas Administrações Públicas é, segundo os autores, um processo menos estatístico e mais contabilístico. De um modo geral, toda a informação necessária para produzir a conta das Administrações Públicas (contas nacionais) está disponível na informação sobre a execução do orçamento e nas demonstrações financeiras das entidades públicas que gerem esse orçamento. É por esta razão que, no caso de Portugal, os sistemas contabilísticos como o antigo POCP e o atual SNC-AP foram concebidos tendo em conta as necessidades de informação decorrentes do Sistema Europeu de Contas (SEC). A qualidade das estatísticas das contas nacionais está prevista nos respetivos manuais de qualidade estatística, os quais, a exemplo do que acontece com a qualidade da informação em geral e da qualidade da informação financeira, usam também dimensões, características ou componentes de qualidade para avaliar a qualidade das estatísticas. Por exemplo, o Office of

Management and Budget (OMB) dos EUA (OMB, 2002) define a qualidade da informação

estatística como um termo abrangente que compreende a utilidade, a objetividade e a integridade da informação, em que a utilidade está relacionada com o uso da informação pelos utilizadores, e a objetividade assegura que a informação divulgada é apresentada de forma

precisa, clara, completa e imparcial, e envolve a garantia de que a informação é imparcial precisa e confiável. O Statistics Canada (2009), por sua vez, considera que a qualidade é um conceito relativo e não absoluto e é multidimensional. Esta entidade estatística define a qualidade da informação estatística, ou a aptidão para o uso, em termos de seis elementos constitutivos ou dimensões de onde se destaca a relevância e a precisão. Na visão do Statistics

Canada (2009), a relevância é um conceito subjetivo na medida em que depende das

diferentes necessidades dos utilizadores, mas a precisão da informação estatística corresponde ao grau com que a informação estatística corretamente descreve o fenómeno para a qual foi projetada para medir.

A estrutura para a avaliação da qualidade dos dados (Data Quality Assessment Framework - DQAF) do FMI fornece uma estrutura para avaliar a qualidade dos dados, comparando as práticas estatísticas dos países com as melhores práticas estatísticas, incluindo as metodologias internacionalmente aceites (IMF, 2003). Com origem nos princípios fundamentais das estatísticas oficiais das Nações Unidas, a DQAF é o produto de um processo de consultas intensivas com as autoridades estatísticas nacionais e internacionais e com os utilizadores dos dados de dentro e de fora do FMI, incidindo a sua atenção sobre as características relacionadas com a qualidade de gestão dos sistemas estatísticos, dos processos estatísticos básicos e dos produtos estatísticos.

A avaliação da qualidade dos dados tem por base uma estrutura dividida em seis partes começando com uma revisão do quadro jurídico e institucional (pré-requisitos de qualidade) e seguido por uma análise de cinco dimensões da qualidade. Cada uma das dimensões de qualidade integra um conjunto de elementos e cada um destes elementos, por sua vez, comporta um conjunto de indicadores. As dimensões de qualidade usadas pela DQAF são: garantia de integridade, solidez metodológica, precisão e confiabilidade, facilidade de manutenção (serviceability) e acessibilidade. De acordo com a DQAF, a precisão e a confiabilidade significam que os dados de base e as técnicas estatísticas são sólidos e os produtos estatísticos retratam suficientemente a realidade, enquanto a serviceability deve ser entendida no sentido de as estatísticas, com periodicidade e prazo de difusão adequados, serem consistentes e seguirem uma política de revisões previsível. A precisão e fiabilidade dos dados integram cinco elementos (fontes de dados, avaliação dos dados de origem, técnicas estatísticas, avaliação e validação dos dados intermédios e dos outputs estatísticos e estudos de revisão) e a serviceability integra três elementos (periocidade e pontualidade, consistência e políticas e práticas de revisão). O elemento da consistência é acompanhado por

QUALIDADE DAS CONTAS PÚBLICAS: IDENTIDADES BÁSICAS E CONSISTÊNCIA INTERNA

146

três indicadores: as estatísticas são consistentes dentro do conjunto de dados, as estatísticas são consistentes ou reconciliáveis por um período de tempo razoável e as estatísticas são consistentes ou reconciliáveis com os dados obtidos através de outras fontes ou sistemas estatísticos.

O manual de métodos de avaliação de qualidade de dados e ferramentas (Handbook on Data

Quality Assessment Methods and Tools - DatQAM) do Eurostat (2007) visa facilitar a

implementação sistemática de avaliação da qualidade dos dados no Sistema Estatístico da União Europeia (ESS). De acordo com o DatQAM, a produção de estatísticas de elevada qualidade depende da avaliação da qualidade dos dados. Sem uma sistemática avaliação da qualidade dos dados, os departamentos de estatística correm o risco de perder o controlo dos vários processos estatísticos como, por exemplo, a recolha de dados. Ao mesmo tempo, a avaliação da qualidade dos dados é uma condição prévia para informar os utilizadores sobre os possíveis usos dos dados. O DatQAM fornece uma descrição concisa dos métodos de avaliação em uso sobre a qualidade dos dados e disponibiliza recomendações sobre como estes métodos e ferramentas devem ser implementados e como devem ser razoavelmente combinados: um uso eficaz e eficiente dos métodos exige que eles sejam usados como uma combinação entre si. A ideia é a de que deve ponderar-se o custo do método de avaliação em função dos resultados que se podem obter com eles.

Os métodos de avaliação da qualidade dos dados mais importantes identificados pelo DatQAM são: os relatórios de qualidade, os indicadores de qualidade, os processos de medida das variáveis, os inquéritos aos utilizadores, a autoavaliação e a auditoria e certificação. Os indicadores de qualidade são elementos específicos e mensuráveis da prática estatística usada para caracterizar a qualidade das estatísticas e são os mais usados para medir a qualidade das estatísticas. Podem ser agrupados em três tipos: 1) orientação; 2) referência e; 3) componentes de qualidade. O manual identifica as seguintes componentes da qualidade: relevância, precisão, oportunidade e pontualidade, acessibilidade e clareza, comparabilidade e coerência. A cada componente da qualidade está associado um indicador (métrica).

De acordo com o DatQAM, a noção de qualidade dos dados envolve três aspetos que se relacionam entre si: 1) as características do produto estatístico; 2) a perceção do produto estatístico pelos utilizadores, e; 3) algumas características do processo de produção estatística. A qualidade do produto estatístico é assegurada através do processo de produção. Diferentes modelos de produção estatística dão ênfase a diferentes componentes de qualidade. Nenhum

processo de produção maximiza todas as componentes da qualidade ao mesmo tempo. O Manual dá como exemplo o trad-off que poderá existir entre a componente da precisão e a componente da oportunidade do produto estatístico. Esta escolha está também presente nas características qualitativas da informação financeira, o que consolida a ideia de que a avaliação da qualidade está associada à verificação de um conjunto de dimensões, componentes ou características qualitativas, quer se trate da informação em geral, da informação financeira ou das estatísticas produzidas pelos institutos nacionais de estatística. A forma como o produto e o processo estatístico são percebidos pelos utilizadores é muitas vezes, segundo o DatQAM, diferente da forma como são percebidos pelos produtores. Embora a perceção dos produtores de estatísticas seja fortemente dependente da qualidade do produto alcançada, a perceção dos utilizadores depende da sua própria perspetiva e das suas prioridades. Por vezes, os utilizadores vêm o produto estatístico com olhos diferentes do produtor. A introdução da perspetiva do utilizador do produto estatístico na definição da qualidade das estatísticas não é inovadora, uma vez que ela também está presente na avaliação da qualidade da informação onde, como mostrou a literatura, é o consumidor da informação que decide se determinado produto tem, ou não, aptidão para ser usado (fitness for use). Segundo o DatQAM, a qualidade do produto estatístico no ESS (as contas nacionais, por exemplo) é avaliada de acordo com as componentes da qualidade. Estas componentes da qualidade são também conhecidas por critérios de qualidade ou, a exemplo do que acontece na avaliação da qualidade da informação em geral, dimensões da qualidade. As componentes ou dimensões da qualidade do produto estatístico identificadas pelo DatQAM são a relevância, a precisão, a oportunidade e a pontualidade, a comparabilidade, a coerência e a acessibilidade e clareza: 1) a relevância é o grau em que as estatísticas satisfazem as necessidades de informação dos atuais e potenciais utilizadores, no sentido de que as estatísticas e os conceitos usados – definições, classificações, etc. – vão de encontro às necessidades dos utilizadores; 2) a precisão, no sentido estatístico geral, corresponde à proximidade dos cálculos ou das estimativas aos valores exatos ou verdadeiros (que são desconhecidos); 3) a oportunidade (atualidade) e a pontualidade reflete o período de tempo entre a disponibilidade da informação e o acontecimento ou fenómeno que descreve, enquanto a pontualidade diz respeito ao desfasamento temporal entre a data da divulgação dos dados e a data em que estes deveriam ter sido efetivamente entregues; 4) a comparabilidade tem como objetivo medir o impacto das diferenças entre conceitos estatísticos aplicados e ferramentas/procedimentos de medição quando se comparam estatísticas, por exemplo, ao

QUALIDADE DAS CONTAS PÚBLICAS: IDENTIDADES BÁSICAS E CONSISTÊNCIA INTERNA

148

longo do tempo; 5) a coerência das estatísticas é a sua adequação para serem combinadas de modo fiável de maneiras diferentes e para várias utilizações, uma vez que, quando provenientes de diferentes fontes, e em particular, a partir de inquéritos estatísticos de natureza diferente e/ou frequências distintas, as estatísticas podem não ser completamente coerentes na medida em que elas comportam diferentes abordagens, classificações e padrões metodológicos; 6) por fim, a acessibilidade diz respeito às condições físicas em que os utilizadores podem obter dados (maior ou menor facilidade no acesso aos dados) e a clareza refere-se ao ambiente de informação dos dados (se a informação é acompanhada de documentação apropriada e meta-dados, gráficos e informação sobre a limitação na utilização). É, no fundo, o grau em que a informação é clara para o utilizador, ou quando não lhe suscita dúvidas de interpretação.

De acordo com o Australian Bureau of Statistics (ABS), o Quality Measures for Systems of

Economic Accounts (QMSEA) é um projeto que considera as questões relacionadas com um

conjunto abrangente de medidas de qualidade para os sistemas de contas económicas (Australian Bureau of Statistics, 2001). O QMSEA tem como objetivo ajudar os utilizadores na tomada de decisões informadas sobre a utilidade das estatísticas e a avaliar a informação (“inteligência”) fornecida pelo sistema de contas económicas, bem como ajudar os produtores de sistemas de contas económicas a determinar, a atingir e a manter padrões de qualidade. As principais características do QMSEA são as seguintes: 1) é projetado para divulgar informações relevantes sobre os aspetos de qualidade, para que o utilizador da informação possa avaliar o grau em que o sistema de contas económicas pode ser considerado "apto para o efeito"; 2) é projetado principalmente para uso dentro do ABS e por um grupo relativamente pequeno e sofisticado de utilizadores externos (tais como as agências da política económica e investigadores acadêmicos), e; 3) está alinhado com as medidas do DQAF do FMI.

O QMSEA identifica doze aspetos (ou facetas) da qualidade associada ao sistema de contas económicas: acessibilidade, precisão, observância (compliance), consistência, continuidade, frequência, longevidade, lucidez, relevância, revisibilidade, sentido e oportunidade. Destas dimensões da qualidade, destacamos a precisão, a consistência e a relevância. De acordo com o QMSEA, a precisão apresenta o significado habitual em termos estatísticos: expressa a proximidade de uma estimativa em relação ao seu “verdadeiro” ("true") valor. Abrange aspetos como os erros nos dados de origem, erros de tempo, erros na avaliação e erros metodológicos. A consistência expressa o grau em que a estrutura, conceitos e limites de

classificação são completas e internamente consistentes. Finalmente a relevância expressa a capacidade do produto estatístico para atender as necessidades atuais (e provavelmente futuras) dos decisores políticos, das empresas e de outros tomadores de decisão e analistas. O ponto de situação do projeto QMSEA apresentado por Zarb (2001) realçava que a necessidade do projeto QMSEA estava relacionada com a ideia de que os procedimentos de medição da qualidade existentes são parciais e apenas disponibilizam informações completas para avaliar se os sistemas de contas económicas e as suas estatísticas estão em condições para serem usadas. Segundo este autor, a estratégia de desenvolvimento do QMSEA envolve vários passos, designadamente a definição de um conjunto ideal de indicadores de qualidade e o seu refinamento em cooperação com os stakeholders.

De acordo com o Eurostat (2007) têm sido realizados vários esforços de implementação de métodos de avaliação de qualidade de dados e têm sido realizados alguns projetos de desenvolvimento sobre métodos de avaliação, como, por exemplo, a autoavaliação, auditorias e pesquisas de satisfação do utilizador. Os institutos nacionais de estatística também desenvolveram abordagens nacionais. No entanto, conclui o Eurostat (2007), não existe um sistema coerente de avaliação da qualidade de dados no Sistema Estatístico da União Europeia (ESS).

A avaliação da qualidade das estatísticas das contas nacionais não tem sido uma preocupação exclusiva dos manuais de qualidade. Segundo Novak (1975), a natureza das contas nacionais de um modo geral exige a preparação de estimativas a partir de dados inadequados, em que algumas destas estimativas são baseadas em hipóteses simplificadoras, imputações e outros tipos de aproximações. O autor argumenta que:

i) A fiabilidade das contas nacionais, ou a fiabilidade da informação disponibilizada pelas estatísticas das contas nacionais, é determinada pela adequação de uma grande variedade de fontes de informação e métodos de estimação. De um modo geral, aceita-se que a qualidade estatística é tanto maior quanto os valores estimados se aproximarem dos valores reais (dos verdadeiros valores das operações/transações);

ii) Medir a fiabilidade das contas nacionais tem sido considerada uma “tarefa insolúvel” mas a busca de medidas adequadas de confiabilidade ainda continua; iii) A natureza complexa das contas nacionais e das estatísticas básicas usadas na sua

QUALIDADE DAS CONTAS PÚBLICAS: IDENTIDADES BÁSICAS E CONSISTÊNCIA INTERNA

150

mas é possível usar critérios parciais adequados para medir os principais elementos da fiabilidade;

iv) Existem dois critérios importantes para medir a fiabilidade (confiabilidade) das estatísticas das contas nacionais: os critérios da precisão e da consistência;

v) A precisão é definida como a discrepância entre o valor observado de uma variável e o seu valor "verdadeiro". Na prática, trata-se de comparar o valor de um agregado apurado provisoriamente ou preliminarmente nas estatísticas das contas nacionais, como, por exemplo, o PIB, com o valor final do agregado que se admite com sendo o “verdadeiro” valor. A conclusão é a de que, quanto menor for a diferença entre o valor provisório ou preliminar do agregado e o seu valor final, maior será a fiabilidade das estatísticas das contas nacionais. O valor de um agregado das contas nacionais é considerado final porque é definitivo (no sentido de que já não será objeto de mais correções) mas não significa que seja o “verdadeiro” valor do agregado. O verdadeiro valor do agregado, na verdade, nunca é conhecido, pelo que, sendo normalmente um valor aproximado, os resultados dos testes de precisão podem eles próprios ser objeto de erros e enviesamentos;

vi) A consistência mede a discrepância entre dois ou mais valores de uma variável, observados a partir de diferentes fontes de informação ou dados de base, os quais podem estar consideravelmente afastados dos seus "verdadeiros" valores. Os testes de precisão e consistência complementam-se um ao outro como medidas de fiabilidade. A aplicação de testes de consistência pode detetar erros de precisão ou enviesamentos, e a compensação e a eliminação de erros de precisão pode reduzir ou eliminar completamente as discrepâncias entre os valores observados. A consistência pode não provar a precisão e, embora os testes de consistência possam ser adequados para as contas nacionais, os testes de precisão podem ser mais facilmente aplicados aos dados de base (fontes de informação). Uma aplicação direta de testes de consistência aos dados de base às vezes é difícil e o uso direto de testes de precisão às contas nacionais é quase impossível.

Em resumo, Novak (1975) afirma que medir a fiabilidade das estatísticas das contas nacionais é uma tarefa quase impossível, mas que têm havido uma procura intensa de medidas de fiabilidade e que existem dois testes, ou critérios, importantes para o efeito: o critério da precisão e o critério da consistência.

De acordo com Calzaroni e Puggioni (2001) a análise da qualidade das estimativas das contas nacionais tem assumido uma grande importância. Trata-se de uma questão que está a ganhar autonomia no campo da qualidade dos dados (inquéritos estatísticos). A importância desta questão tem sido sublinhada pelo Tribunal de Contas Europeu que tem questionado a necessidade de medir a qualidade estatística do Produto Nacional Bruto (PNB). Segundo os autores, devem ser discutidas duas questões antes de se analisar a qualidade das estimativas das contas nacionais. A primeira abrange a ligação entre a metodologia utilizada para construir as estimativas e a metodologia para analisar a sua qualidade. A segunda questão abrange a implementação de uma base de dados necessária para a construção das estimativas das contas nacionais. Estas questões são de extrema importância na construção de um modelo para definir a metodologia e as técnicas para medir a qualidade dos agregados.

Calzaroni e Puggioni (2001) definem o sistema de contas económicas como um sistema complexo que evoluiu de uma espécie de processo artesanal para um processo mais do tipo industrial (industrial-like). Para os autores o processo de construção das contas nacionais pode ser definido como um “processo de processos” (p. 3), composto pelos seguintes “macro- passos” (p. 3): 1) análise e estandardização de metodologias para estimação dos agregados económicos e as definições usadas a nível nacional e internacional; 2) construção de um sistema integrado de informação, incluindo os dados necessários para implementar a metodologia definida no ponto anterior; 3) verificação do grau de precisão de cada fonte de informação no sistema; 4) verificação do grau de precisão dos agregados das contas nacionais. O grau de precisão resulta da análise integrada de cada fonte de informação no sistema. Relativamente à seleção de fontes de informação os autores defendem, previamente à análise da sua precisão e fiabilidade, que deve existir um processo de escolha das fontes com base em critérios que devem ter em conta a relevância (conformidade com as necessidades de informação), a precisão (cobertura com referência a outros domínios da fonte, bem como inclusão de aspetos do perfil de erro), a adequação (conformidade com as definições do sistema europeu de contas e com o sistema de contas nacionais das Nações Unidas) e a pontualidade (disponibilidade de informação dentro do tempo esperado.

Para Nijmeijer e Hiemstra (2008) a consistência é um aspeto muito importante das estimativas das contas nacionais mas não assegura por si só a sua qualidade. Segundo estes autores as estimativas do produto nacional bruto (PNB) podem estar sobrestimadas, pelo que a qualidade das estimativas das contas nacionais tem sido uma preocupação desde sempre dos estatísticos.

QUALIDADE DAS CONTAS PÚBLICAS: IDENTIDADES BÁSICAS E CONSISTÊNCIA INTERNA

152

Para os autores, a “precisão” e a “confiança” dos dados são inerentes à qualidade das estimativas das contas nacionais, mas os estatísticos fazem notar que as técnicas matemáticas