4 Avaliando
O QUE AVALIAR?
Como um passo crucial na elaboração da estratégia, é desejável que se leve a cabo uma avaliação de fundo da situação actual do sistema nacional de estatísticas.A avaliação tem como objectivo responder a questão “Aonde é que estamos?” através de uma ccaracterização completa do Sistema Nacional de Estatísticas (SNE). Deve conduzir a uma percepção da adequação dos resultados e estatísticos e a organização e gestão do SNE como um todo.
Os resultados devem ser accionáveis para contribuir para o processo de definição de objectivos estratégicos. A avaliação deve, assim, ser realista, objectiva e crítica. Há dois domínios que têm de ser considerados para compreender de que modo está a funcionar o SNE: a) em que grau os seus produtos satisfazem as necessidades dos utilizadores e b) a sua capacidade estatística. Se tiver sido feita uma avaliação prévia, é importante dispor de uma comparação dos resultados para avaliar as melhorias conseguidas.
Relativamente à primeira, seria uma análise das necessidades dos utilizadores para definir a disponibilidade de dados para produzir os indicadores estatísticos solicitados e identificar lacunas ao nível dos dados. A maioria das lacunas é provocada por uma falta de
correspondência entre a procura e a oferta de dados ou entre produtos e resultados (a eficácia do sistema do ponto de vista do utilizador), isto é, lacunas em termos dos dados pretendidos e aquilo que está disponível/lacunas em termos de qualidade de dados disponíveis e do serviço prestado.
A avaliação também irá sublinhar os desempenhos do sistema de estatística (eficiência -capacidade/produtos) e apresentar os principais pontos fortes e fracos internos, assim como as ameaças externas que podem afectar o modo como o mesmo evolui e as oportunidades que devem ser aproveitadas. O sucesso será avaliado relativamente à
situação de partida. Na verdade, para os países que já têm uma ENDE, a fase de apreciação equivale à fase de avaliação da anterior ENDE. Note-se que uma análise aprofundada da capacidade em matéria de estatística é crucial para a concepção de estratégias que
ajudarão a reduzir as lacunas em dados e melhorar os resultados do sistema de estatística. Uma avaliação útil utiliza as boas práticas e os valores de referência em comparação com as normas e quadros internacionais, consoante os casos. Há actualmente várias
ferramentas disponíveis para os países avaliarem o seu SNE. Em 2017, a Parceria PARIS21 fez uma análise das avaliações internacionais e sobre a utilização das mesmas, que vai ser discutida nas secções adiante.
Especificamente, a avaliação deve conduzir a uma compreensão das seguintes dimensões:
•
Avaliação das exigências/necessidades em matéria de dados e da satisfação dos utilizadores
Avaliação do SNE -
Capacidade
- Resultados em termos de estatística
Na prática
Antes da realização de uma avaliação, é extremamente importante decidir quem é o avaliador (p. ex., peritos nacionais, peritos internacionais, comissão nacional), quem será o ponto focal, quem vai participar no processo e qual a ferramenta de avaliação a utilizar no processo. A lista das pessoas que vão participar na avaliação pode incluir produtores de dados (a que níveis e de que agências), autoridades com maior responsabilidade pelo SNE, incluindo ministros, membros do conselho de estatística ou altos funcionários dos ministérios da tutela, actuais utilizadores de dados, utilizadores potenciais, fornecedores de dados, parceiros de desenvolvimento, organizações de investigação, universidades e organizações regionais.
A preparação para a avaliação global obriga a uma análise aprofundada da documentação existente e das conclusões de outras avaliações anteriores. Haverá muito poucos países a iniciarem o planeamento estratégico a partir do zero (alguns países estão a projectar a sua segunda ENDE), e o objectivo será normalmente melhorar o sistema nacional de estatística que existir.
A avaliação deverá começar por uma avaliação dos documentos estratégicos relevantes para identificar os domínios prioritários e os indicadores necessários. Estes documentos irão provavelmente incluir quadros de política de desenvolvimento nacional e as suas avaliações (p. ex., desenvolvimento sustentável, redução da pobreza, estratégias sectoriais e sub-nacionais), assim como documentos de política de desenvolvimento sub-regional e internacional (p. ex., Agenda 2030 para o Desenvolvimento Sustentável, acordos
internacionais e relatórios de país sobre os ODS. Poderá também ser conveniente nesta fase consultar os documentos sobre políticas/programas dos doadores potenciais para o país.
A análise de todos os documentos relevantes, incluindo os relatórios existentes sobre a situação da estatística, dará uma primeira imagem geral do desenvolvimento da estatística no país. Qualquer análise eficaz do SNE deve ser realizada e apropriada pelo próprio
país. Existem várias ferramentas internacionais para ajudar neste processo; este documento proporcionará orientações sobre a forma de as seleccionar.
A Parceria PARIS21 (2017: 15) elaborou directrizes sobre a forma de escolher a ferramenta de avaliação. A equipa responsável pela concepção da ENDE poderá utilizar as seguinte perguntas de orientação para identificar as ferramentas mais adequadas às necessidades do país:
Quem precisa de ser convencido através da avaliação? Quem irá receber os resultados e actuar relativamente aos mesmos?
Quem deve realizar a avaliação? Auto-avaliação com apoio de um perito internacional, ou avaliação independente por um parceiro de desenvolvimento?
conseguidas as melhorias necessárias em matéria de capacidade) confiam e valorizam os resultados?
Há alguma questão ou algum sector que exija atenção especial?
Qual é a urgência da avaliação – algumas avaliações são rápidas, outras demoram vários meses?
Há algum parceiro de desenvolvimento interessado? Quem deve ser consultado para a avaliação?
A preparação para a avaliação global requer uma análise exaustiva da documentação existente e revisão das constatações das avaliações anteriores. Muito poucos são os países que estarão a começara planificação estratégica do zero (alguns países estão a elaborar a ENDE pela segunda vez) e o objectivo será o de melhorar o sistema nacional de estatística existente.
A avaliação começará com a revisãodos documentos das políticas para identificar áreas importantes e indicadores necessários. Estes documentos provavelmente incluirão quadro de políticas de desenvolvimento nacional e as suas revisões (tais como redução da pobreza e estratégias sectoriais), bem como documentos de políticas de desenvolvimento sub-regionais e internacionais (tais como Declaração do Milénio e relatórios dos ODMs). Pode também ser adequado nesta fase ler documentos de políticas nacionais de potenciais doadores.
A análise de todos os documentos relevantes, incluindo relatórios existentes sobre a situação estatística, providenciará uma imagem geral do desenvolvimento estatístico do país. Quaisquer análises proveitosas da ENDE devem ser levadas em consideração e assumidas pelo país.
1. AVALIAÇÃO DA PROCURA/DAS NECESSIDADES EM MATÉRIA DE
DADOS E DA SATISFAÇÃO DOS UTILIZADORES
finalidade e capacidade, literacia e sofisticação destes na utilização de estatísticas. Assim, há que realizar uma análise da procura actual e potencial em matéria de dados. As necessidades dos utilizadores não podem ser devidamente satisfeitas se essas mesmas necessidades não tiverem sido devidamente identificadas, sintetizadas, compreendidas e priorizadas, e se os utilizadores não estiveram plenamente cientes da produção e das práticas de gestão em estatística. Importa sublinhar que os utilizadores têm invariavelmente uma longa lista de necessidades de estatística, e há que envidar todos os esforços para orientá-los para que identifiquem as suas prioridades. O estabelecimento de uma ligação entre as necessidades dos utilizadores e os planos de desenvolvimento nacional e/ou programas nacionais específicos será crucial no momento da tomada de decisões finais relativamente aos resultados de estatística que devem ser priorizados. Além disso, as necessidades e prioridades dos utilizadores estão em constante mudança, e o seguimento destas alterações obriga a que a consulta e o diálogo com os utilizadores sejam uma actividade constante.
As consultas e discussões com os utilizadores devem procurar responder às seguintes perguntas principais:
Quem são os principais utilizadores de estatísticas? De que forma utilizam as estatísticas nas suas próprias operações?
Em que medida estão disponíveis as estatísticas necessárias e de que modo foram os utilizadores condicionados pela falta de estatísticas; o sistema existente contribui para a produção do conjunto de indicadores adequado para monitorizar os
objectivos de desenvolvimento nacionais e cumprir os requisitos internacionais (ODS, por exemplo) e compromissos regionais?
As estatísticas produzidas contribuem para uma melhor prestação de contas e transparência do governo?
Como avaliam os utilizadores, quer pertençam a entidades governamentais ou não, a adequação das estatísticas existentes em termos de relevância, rigor,
consistência, exaustividade, oportunidade, nível de desagregação (geográfica, de género, etc.), apresentação ou legibilidade das publicações, práticas em matéria de revisão dos dados preliminares e acessibilidade a dados, meta-dados e micro-dados?
Qual é a sua relação com os principais produtores de estatística, e de que forma vêem o seu próprio papel no desenvolvimento do SNE?
As estratégias de argumentação em prol da importância das estatísticas actuais são suficientes para sensibilizar o público para a importância dos dados produzidos; o sistema dá formação adequada para ajudar os utilizadores a interpretar os dados, cria indicadores e utiliza da melhor forma as estatísticas; o sistema disponibiliza estudos personalizados ou a pedido?
Quais são as suas necessidades e prioridades actuais ou futuras percepcionadas? As suas necessidades estão ligadas a programas nacionais ou planos de
desenvolvimento específicos?
Na opinião dos utilizadores, qual a melhor forma de as suas necessidades serem satisfeitas no contexto da ENDE?
2. AVALIAÇÃO DO SNE
A Parceria PARIS21 criou o Quadro Capacity Development 4.0 (CD 4.0) para analisar a capacidade dos sistemas de estatística através de um prisma novo. Neste contexto, a capacidade estatística refere-se à capacidade de o sistema nacional de estatística de um país, das suas organizações e das pessoas para recolher, produzir, analisar e divulgar dados de elevada qualidade e fiáveis para satisfazer as necessidades dos utilizadores (Eurostat 2014; Banco Mundial, 2017). O quadro foi criado por uma Equipa de Trabalho constituída em 2017 para analisar a capacidade estatística no contexto do novo
ecossistema de dados. A Equipa de Trabalho envolveu um grupo alargado de
intervenientes, incluindo institutos nacionais de estatística, parceiros de desenvolvimento, organizações multilaterais e bilaterais, e fornecedores do sector privado.
O Quadro CD 4.0 identifica três níveis principais na avaliação da capacidade, e é
geralmente utilizado em vários quadros existentes (p. ex., Denney and Mallet, 2017) As estatísticas oficiais são produzidas pelo SNE, que é constituído por várias instituições ou agências que interagem entre si, e que são por sua vez constituídas por pessoas que
interagem com outras. Por este motivo, a capacidade estatística tem de ser avaliada a três níveis: a) individual (p. ex., trabalhadores em estatística, incluindo potenciais); b)
organizacional (p. ex., o INE); e c) o sistema no seu conjunto, que é constituído por indivíduos e organizações, acrescido das ligações e interacções entre os mesmos.
São cinco os objectivos a considerar neste quadro: recursos, competências e conhecimento, gestão, política e poder (isto é, governação) e incentivos. As competências são necessárias para manejar recursos, enquanto a gestão permite dar-lhes a melhor utilização tendo em vista a concretização de metas e objectivos específicos. A definição de objectivos é uma questão de interacções políticas, que são orientadas por incentivos. Todos os objectivos têm de estar alinhados para assegurar um SNE que funcione.
O Quadro Capacity Development 4.0
Destinatário/Nível Individual Organizacional Sistema
Recursos Antecedentes profissionais Recursos humanos Legislação, princípios e conjuntura institucional
Orçamento Infra-estrutura dos fundos
Infra-estrutura Planos (ENDE, sectorial)
Dados existentes
Competências e conhecimento
Competências técnicas Processos de produção de estatísticas Literacia em matéria de dados
'Know-how' do trabalho Garantia da qualidade e códigos de conduta
Resolução de problemas e pensamento criativo
Inovação Partilha de conhecimentos
Comunicação
Gestão Gestão do tempo e priorização Planeamento estratégico e monitorização e avaliação Mecanismos de coordenação do SNE
Concepção organizacional Coordenação dos ecossistemas de dados
Estratégias de angariação de fundos
Política e poder Trabalho de equipa e colaboração Transparência Relação entre produtores
Competências em comunicação e negociação
Relacionamento com os utilizadores
Política no local de trabalho Relacionamento com as autoridades políticas
Ligação estratégica em rede Relacionamento com os fornecedores de dados
Prestação de contas
Incentivos Expectativas em termos de carreira Remuneração e regalias Interesses das partes interessadas
Rendimento e estatuto social Cultura organizacional Apoio político
Ética profissional e automotivação Reputação Legitimidade
Nesta data, a disponibilidade de indicadores de desempenho para medir as dimensões do CD 4.0 são limitadas. À medida que os ecossistemas de dados se tornam mais complexos, as avaliações do SNE terão gradualmente necessidade de integrar outros indicadores de capacidade, que incluem competências individuais para além das competências técnicas, novas práticas organizacionais e os intervenientes emergentes (p. ex, fornecedores privados, iniciativas em matéria de dados criadas pelos cidadãos). Isso permitirá à
avaliação criar uma abordagem virada para o futuro e identificar domínios a desenvolver no âmbito do SNE.
Resultados em termos de estatística
Os resultados existentes e já planeados do SNE serão avaliados. Tal será complementado por uma avaliação de novos resultados potenciais a produzir em resposta às prioridades que tiverem sido identificadas. Cada um dos resultados principais deve ser comparado com os critérios acordados como, por exemplo, normas e quadros internacionais, metodologias recomendadas, entre outros.
Os quadros de garantia da qualidade dos dados e as normas de divulgação como o Quadro de Avaliação da Qualidade dos Dados (Quality Assessment Framework (DQAF), e o Sistema Geral de Divulgação de Dados (General Data Dissemination System (GDDS)) do Banco Mundial são considerados como padrões de excelência na avaliação dos resultados estatísticos, sendo assim considerados na ENDE na maioria dos países. São muitos os países que subscrevem actualmente o GDDS e, consequentemente, já levaram a cabo muitas das etapas exigidas para a criação de uma abordagem estratégica relativamente ao desenvolvimento da estatística. Os países que ainda não o adoptaram considerá-lo-iam como uma etapa preliminar importante.
Para avaliar os resultados em matéria de estatística, há que considerar as seguintes questões:
Quais as estatísticas que estão disponíveis (inventário da oferta), as suas fontes e rapidez com que são disponibilizadas aos utilizadores (políticas e processos de publicação, divulgação e comunicação);
A qualidade das estatísticas e a forma como são produzidas (produção, processos, métodos e procedimentos, utilização de normas internacionais, constrangimentos e problemas) e tratadas, analisadas e arquivadas (políticas em matéria de TI, bases de dados, anonimização, etc.);
Melhorias nos sistemas e processos de gestão de dados para facilitar uma produção de dados eficiente, isto é, reduzir a duplicação de esforços, preencher lacunas no sistema;
Existem definições claras de todos os dados produzidos? São arquivados de forma a poderem ser acedidos por todos os utilizadores e produtores relevantes ao nível do SNE e fora dele? O sistema produz o conjunto correcto de indicadores para avaliar o desempenho do sector?
Na prática
A equipa de concepção da ENDE, em coordenação estreita com todas as outras unidades (ver PREPARAÇÃO) e com o apoio possível de consultores, fará a Avaliação. A análise prévia da informação existente, a classificação dos resultados das estatísticas e o inventário de todas as unidades do SNE irão facilitar o exercício acima.
A avaliação das necessidades dos utilizadores pode ser feita através de várias abordagens. Como sucede geralmente com a avaliação, é provável que a equipa de concepção consiga tirar partido de processos existentes ou de uma avaliação de referência sobre as
necessidades dos utilizadores (princípios de qualidade relacionados com as estatísticas oficiais) já realizada no passado.
Uma das abordagens consiste em identificar quais os utilizadores interessados em
conjuntos de dados específicos de acordo com os seus domínios preferidos e organizar o contacto com estes utilizadores. A lista elaborada através do processo de PREPARAÇÃO (ver PREPARAÇÃO - Identificação das partes interessadas) é um bom ponto de partida para a identificação dos principais utilizadores dos dados. As instituições seleccionadas de cada um dos principais grupos de utilizadores (ver DEFESA DA IMPORTÂNCIA) devem ser
incluídas na consulta e nas discussões havidas com as mesmas, quer individualmente, quer em pequenos grupos, enquanto outras podem ser convidadas a contribuir por escrito. O processo deve assegurar que os responsáveis pelas políticas e os decisores, assim como o pessoal técnico das instituições que utilizam dados, são consultados.
Uma segunda abordagem relativamente ao envolvimento dos utilizadores que teve sucesso em vários países consiste em organizar um "workshop" no país que reúna compiladores de dados, utilizadores de dados e agências doadoras. Os "workshops" tratam de tópicos
específicos sobre estatísticas que são do interesse dos participantes, para além de
incentivarem o diálogo entre grupos de compiladores e utilizadores. Os "workshops" têm-se revelado úteis na sensibilização dos participantes para a importância das estatísticas,
As opiniões dos vários utilizadores serão tidas em conta e comparadas com o inventário de estatísticas oficiais. Podem igualmente ser obtidas informações através de um questionário ou mediante uma visita concreta e entrevistas às partes interessadas. Esta última
abordagem é geralmente a preferida para evitar taxas de resposta reduzidas na realização dos questionários.
Durante o processo de preparação da ENDE, os comités sectoriais que vão ser criados elaborarão um quadro adequado para a participação dos utilizadores e a identificação das necessidades destes.
Para avaliar a capacidade e os resultados em matéria de estatística, existem inúmeras ferramentas internacionais. Um estudo realizado pela Parceria PARIS21 (2018), em que catorze das perguntas e indicadores mais conhecidos de avaliações internacionais foram categorizados utilizando a classificação referida no Quadro Capacity Development 4.0, constatou que 40% de todas as perguntas incidem nas competências e conhecimento ao nível organizacional, sobretudo nos processos de produção de estatísticas e quadros de garantia de qualidade.
Existem quatro tipos de ferramentas internacionais: A) as que são utilizadas pelas
autoridades nacionais para informar os processos nacionais de planeamento estatístico e estratégico, B) ferramentas para parceiros que queiram 'investir' em estatística para informar a concepção e monitorização dos projectos, C) ferramentas de monitorização internacional do desempenho das estatísticas e D) avaliações da qualidade dos dados / cumprimento dos códigos de prática. (PARIS21, 2017: 7-8)
As ferramentas de tipo A são "geralmente aplicadas sob os auspícios das autoridades nacionais de planeamento ou estatística, mas são geralmente levadas a cabo por peritos internacionais conhecidos ou pares trabalhando em conjunto com as autoridades nacionais (...) São normalmente aplicadas ao longo de um período de várias semanas ou meses e envolvem um número elevado de consultas a partes interessadas nacionais, regionais e internacionais".
As ferramentas de tipo B "são geralmente aplicadas por peritos dos parceiros de desenvolvimento ou contratados pela própria organização dos parceiros de
desenvolvimento (...) O período de diagnóstico prolonga-se por várias semanas e implica consultas às partes interessadas" (PARIS21, 2017: 7)
Essas avaliações destinam-se a identificar os pontos fortes e fracos do sistema de estatística e os constrangimentos em termos de qualidade.
As ferramentas de tipo C não implicam uma visita ao país, mas baseiam-se em informações disponíveis ao público em sítios Web de estatística nacionais" (PARIS21, 2017: 8). Por
último, as ferramentas do tipo D são implementadas para observar as normas das
organizações internacionais, são "normalmente obrigatórias e concebidas para verificar o cumprimento dos códigos de prática e as normas da própria organização".
Além disso, uma análise SWOT (pontos fortes e fracos, oportunidades e ameaças) pode ajudar a compreender a conjuntura geral e sublinhar os pontos fortes e fracos (internos), bem como as oportunidades e ameaças (externas). Tal conduzirá à evolução desejada e ajudará a formar a visão (ver DEFINIÇÃO DE UMA PERSPECTIVA).
Ferramentas:
UNSTATS : National Quality Assurance Frameworks
UN: Tool and compendium of case studies in integrated approach to economic statistics IMF: Data Quality Assessment Framework
IHSN data inventory tools and guidelines
WORLD BANK-UNESCO : Quality Assessment of Education Statistics IMF: General Data Dissemination System
UN Handbook of Statistics _ Annotated model of a Statistics Act Ghana_Country Report on Support to Statistics (CRESS)
Country Report on Support to Statistics (CRESS) - guidance CRESS- general questionnaire
Assessing implementation of fundamental principles - questionnaire Global review of gender statistics - common questionnaire
Common Assessment Framework - improving public organization through self-assessment UNECE_Tools assessment_GSBPM
Template for a Generic National Quality Assurance Framework (NQAF)
UN_Implementing the Fundamental Principles of Official Statistics in the light of the global assessment of the national statistical systems
EC_Europeaid_institutional_assessement_capacity development Statistics Netherlands_ SWOT from international perspective Self-assessment of the status of national accounts
UN_Diagnostic framework for national accounts
Asia Pacific Regional Programme for Economic Statistics (RPES) - Capacity Screening Questionnaire
UNECE-Measuring and Communicating Data Quality
UNSD questionnaire of data requests to be sent to countries
Assessment tool of NSOs capacity to conduct surveys and censuses
Boas Prácticas:
Vietnam Statistical Development Strategy_Assessement Statistical Master Plan for Cambodia : Mid term review Philippines_Policy uses of poverty statistics
Mongolia_Users satisfaction survey with statistical products and services
Source URL: http://nsdsguidelines.paris21.org/pt-pt/node/294
