A CONSTRUÇÃO DE INDICADORES

O vocábulo “indicador” tem raízes no verbo latino indicare, que significa anunciar, divulgar ou fazer sabido publicamente ou para estimar sobre ou colocar um preço. Os

indicadores normalmente são pensados como peças de evidência que forneçam informações sobre questões de interesses amplos.

Por exemplo, um indicador ambiental legendário foi o utilizado nas minas de carvão na Inglaterra, quando os mineradores desciam nas minas subterrâneas com um canário engaiolado; se o canário não sobrevivesse era um indicador de concentração de gases prejudiciais, em níveis incompatíveis à segurança dos mineradores, (RIBEIRO, 2006).

Será importante abordar a questão da avaliação, especialmente, avaliação de políticas públicas. O que é avaliar? Avaliar significa atribuir valor, julgar, apreciar. Significa, portanto escolher um termo de comparação; algo para servir de padrão, medida, referência e comparar com nosso objeto de interesse. Esse valor, medida ou referência é sempre subjetivo e arbitrário, (MAIA, 1995). Já no caso de políticas públicas, avaliar uma política pública é avaliar amplamente toda forma de ação pública, sejam programas, legislações, serviços ou instituições; é emitir um julgamento sobre o valor dessas ações, (ALTMANN, 1981; BORJA, 1997; PFAFF, 1975).

A avaliação pode ser prospectiva e antecipar a ação, concomitante, acompanhando a ação ou após, podendo ser realizada pelos próprios atores (autoavaliação) ou atores externos ao desenvolvimento das ações avaliadas; a avaliação pode ter objetivos distintos: preparar uma tomada de decisão, otimizar a ação durante seu desenvolvimento ou apreciá-la após seu desenvolvimento.

O indicador é uma medida, de ordem quantitativa ou qualitativa, dotada de significado particular e utilizada para organizar e captar as informações relevantes dos elementos que compõem o objeto da observação. É um recurso metodológico que informa empiricamente sobre a evolução do aspecto observado. Os indicadores surgem como uma mediação entre a teoria e as evidências da realidade, gerando instrumentos capazes de identificar algum tipo de fenômeno social, estabelecido a partir de uma reflexão teórica, (FUNDAÇÃO NACIONAL DA QUALIDADE, 2012).

Para Januzzi (2005), indicadores de processo ou fluxo, são indicadores intermediários, que traduzem, em medidas quantitativas, o esforço operacional de alocação de recursos humanos, físicos ou financeiros (indicadores/insumo) para a obtenção de melhorias efetivas de bem estar (indicadores/resultado e indicadores/impacto), como número de consultas pediátricas por mês, merendas escolares distribuídas diariamente por aluno ou ainda homens/hora dedicados a um programa social.

Já os indicadores ambientais devem nos mostrar como está o estado do meio ambiente e o que pode acontecer a curto e longo prazo. Existem inúmeros indicadores ambientais em

torno das pessoas, espécies animais, plantas, qualidade do ar, das águas e do solo, sendo que os indicadores podem dar respostas diferentes em razão que sofre o ambiente.

Finalmente, o objetivo de um indicador é apontar a existência de riscos, potencialidades e tendências no desenvolvimento de um determinado território para que, em conjunto com a comunidade, decisões possam ser tomadas de forma mais racional, (TUNSTALL, 1994; GUIMARÃES, 1998). Indicadores podem ser, portanto um conjunto de sinais que facilitam a avaliação do progresso de uma determinada região, na busca pelo desenvolvimento sustentável, sendo ferramentas crucias no processo de identificação de problemas, reconhecimento dos mesmos, formulação de políticas, sua implementação e avaliação.

A avaliação de processos segue também uma sequência de passos diferente da necessária à avaliação de instituições, uma vez que processos habitualmente possuem requisitos para execução e uma entre as formas mais importantes de avaliação de processos é justamente quanto ao atendimento desses requisitos (avaliação de eficácia). Os processos também são normalmente mensurados quanto à sua eficiência e modernamente ainda em relação à sua adaptabilidade, isto é, sua capacidade de adaptação a requisitos dinâmicos.

A definição dos indicadores tem sido abordada de forma preponderantemente técnica, porém ela é, antes de tudo, uma questão essencialmente política, na medida em que a política fornece os instrumentos para a construção das bases estruturais, segura, para o desenvolvimento sustentável.

Na construção de um sistema de monitoramento e avaliação da governança é importante identificar também indicadores de processo, conforme a Figura 14.

Figura 14: Terminologia de Monitoramento e Avaliação.

Fonte: adaptado de Global Water Partnership Technical Committee (2016).

Na Figura 14 verifica-se a importância de monitorar e de ter indicadores para todas as fases, indicadores de processo, indicadores de resultados e de impacto de um projeto/programa ou um sistema.

Os indicadores também funcionam como ferramentas que conduzem ao comportamento desejado. Por outro lado, devem dar aos indivíduos o direcionamento que precisam para atingir os objetivos da organização ou do sistema. Além disso, os indicadores também podem atender às questões apresentadas no Quadro 6.

Quadro 6: Questões que podem ser atendidas pelos indicadores.

Utilidade

O indicador comunica a intenção do objetivo, demonstra o que a organização espera de sua força de trabalho e, ainda, é útil aos tomadores de decisão?

Sim, fortemente

Responsabilidade O indicador representa fielmente o que se

pretende medir? Sim, fortemente

Confiabilidade metodológica

Os métodos de coleta e processamento do

indicador são confiáveis. Sim

Confiabilidade da fonte

A fonte de dados fornece o indicador com

precisão e exatidão. Sim

Disponibilidade É possível e fácil coletar os dados necessários

para calcular o indicador. Sim

Economicidade Quanto custa obter o indicador? A relação entre os custos de obtenção e os benefícios

Coleta possui baixo custo Simplicidade de

comunicação

O público que irá ver e utilizar o entenderá

facilmente? Sim

Estabilidade

Uma série de medições do indicador permite monitoramento e comparações coerentes, com mínima interferência de variáveis externas.

Sim

Tempestividade

O indicador obtido é decorrente de informações atuais? E mais: o indicador pode ser obtido em tempo para seu uso?

Sim

Sensibilidade

Variações no processo (decorrentes ou não de intervenções intencionais) refletem-se no resultado do indicador.

Sim

Fonte: Ministério do Planejamento, Orçamento e Gestão (2012).

Para que um processo ou sistema necessita de indicadores? A maioria das pessoas responde que uma organização necessita de indicadores para verificar se as metas estabelecidas estão sendo alcançadas (MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO, 2012). Sim, isto é verdade, mas pode-se aprofundar a discussão.

Qualquer ação no campo da gestão somente tem utilidade se servir para ajudar a organização a alcançar os resultados pretendidos. Pensando assim, continua-se com as perguntas.

É necessário o estabelecimento de uma estrutura, ou melhor, um sistema capaz de medir o desempenho de uma instituição ou um processo. Um processo ou um projeto que é medido sistematicamente pode realizar rapidamente intervenções, à medida que ocorrem flutuações de processo.

Com base nas informações geradas pelo Ministério do Planejamento, Orçamento e Gestão (2012), não somente quem participa do processo, mas um público mais amplo pode avaliar o desempenho de equipes, atividades, processos e gestão, para tomar decisões e executar ações que melhorarão o desempenho da organização.

Pode-se, portanto concluir que é com base nas informações transmitidas por indicadores que os dirigentes ou participantes do processo/projeto tomam decisões ou deveriam tomar.

A avaliação de processos segue também uma sequência de passos diferente da necessária à avaliação de instituições, uma vez que processos habitualmente possuem requisitos para execução e uma entre as formas mais importantes de avaliação de processos é justamente quanto ao atendimento desses requisitos (avaliação de eficácia). Processos também são normalmente mensurados quanto à sua eficiência, modernamente ainda em relação à sua adaptabilidade, isto é, sua capacidade de adaptação a requisitos dinâmicos (GUIMARÃES; FEICHAS, 2009).

Para a construção de indicadores, não é recomendável que estes sejam desintegrados, fragmentados, sem nenhuma consideração das necessidades do que ocorre no entorno do programa/projeto, não serem exclusivos, não terem também uma visão completa do processo e serem ineficientes, desiguais e desconectados.

A OCDE aponta alguns critérios básicos como forma de orientar a seleção de indicadores. São eles: 1) a relevância política (facilidade de interpretação, capacidade de apontar tendências e responder às mudanças, estabelecer padrões ou valores comparáveis com as condições ambientais); 2) a confiabilidade analítica (fundamentação técnica e termos científicos); 3) a mensurabilidade (os indicadores devem ser calculados a partir de dados quantificáveis, gratuitamente disponíveis ou disponíveis a um custo razoável; os dados devem ser confiáveis; tanto os dados quanto os indicadores devem ser passíveis de atualização em intervalos regulares).

Em todas as fases de um projeto, programa ou sistema, devem ter indicadores. Para a formulação de indicadores é necessário um conjunto de passos para assegurar os princípios da qualidade. Em síntese os passos estão representados na Figura 15:

Figura 15: Passos para assegurar os princípios da qualidade. Fonte: Martins e Marini (2010).

O importante neste processo de construção de indicadores, é que ele seja parte de um ciclo. O PDCA (do inglês, Plan, Do, Check, Act) significa “Planejar, Fazer, Verificar e Agir” e descreve a forma como as mudanças devem ser efetuadas em uma organização. Não restringe aos passos do planejamento e implementação da mudança, mas inclui a verificação, caso as alterações tenha produzido a melhoria desejada ou esperada, agindo de forma a ajustar, corrigir ou efetuar uma melhoria adicional com base no passo de verificação.

Consequentemente, este ciclo mostra a necessidade da construção de um Sistema de Monitoramento onde os indicadores também fazem parte dele, mas não somente (Figura 16).

Figura 16: As etapas do ciclo PDCA. Fonte: adaptado de Portal Administração (2016).

Para uma avaliação de um sistema ou de um projeto/processo, não necessariamente é utilizado apenas “indicadores” para que o mesmo seja avaliado/monitorado. Podem ser utilizados outros instrumentos e ferramentas para análise, tais como pesquisa de opinião, entrevistas estruturadas, estudos de documentos, dentre outros.

Um estudo do WWF-Brasil e da Fundação Getúlio Vargas recomenda que, para o caso de se avaliar a partir das cinco dimensões de governança propostas no estudo, seja construído uma espécie de termômetro, onde seja verificado em que fase se encontra cada dimensão, se em nível baixo, médio ou avançado. Os exemplos a seguir, as Figuras 17 e 18, ilustram o exercício da avaliação a partir do termômetro realizado para duas dimensões:

Figura 17: Avaliação da dimensão “instrumentos de gestão”. Fonte: Lima et al. (2014).

Figura 18: Avaliação da dimensão estado/sociedade. Fonte: Lima et al. (2014).

O termômetro pode proporcionar uma avaliação mais geral e, ao mesmo tempo, facilitar a construção dos indicadores de governança. Na avaliação de como se encontra o estágio de cada dimensão da governança, se baixo, médio ou avançado, possivelmente será identificado o que é estratégico a ser acompanhado. Ao identificar o que é estratégico, disso poderá ser realizada a construção do indicador de governança.

No estudo do WWF-Brasil (LIMA et al. 2014), contruiram-se alguns indicadores, que seguem as dimensões apresentadas no trabalho, ou seja, para cada dimensão, foram sugeridos

indicadores. Alguns exemplos são apresentados no Quadro 7. Para a dimensão “interação estado/sociedade”, que pode ser considerada uma dimensão/chave para o aperfeiçoamento da gestão das águas no país, esse quadro mostra indicadores construídos apenas em uma oficina e que por este motivo, ainda carecem de um aperfeiçoamento.

Quadro 7: Indicadores da dimensão estado-sociedade.

Outros países e continentes já estão trabalhando na construção de indicadores de governança. Por exemplo, em 2009, o continente asiático e a Austrália se uniram para a elaboração de indicadores de governança para possibilitar a comparação entre todos os países asiáticos e a Austrália (Figura 19).

Figura 19: Índice de governança da água na Ásia. Fonte: Institute Water Policy (2016).

Estes indicadores comparativos estão divididos nas dimensões legal (Figura 20), administrativa (Figura 21) e pública (Figura 22).

Figura 20: Indicadores de governança da água na Ásia, 2009 - Dimensão legal.

Fonte: adaptado de Global Water Partnership Technical Committee (2016).

Figura 21: Indicadores de governança da água na Ásia, 2009- Dimensão administrativa.

Na África também foram construídos e aplicados alguns indicadores de governança (Figura 23).

Figura 23: Indicadores de governança da água na África.

Fonte: adaptado de Global Water Partnership Technical Committee (2016).

Uma breve análise destes indicadores demonstra que estes países valorizam também o monitoramento do processo, em especial os indicadores de governança, como no caso da Ásia, que chegam até em refletir sobre os funcionários, quando tratam de “responsabilizar” legalmente os funcionários públicos.

Figura 22: Indicadores de governança da água na Ásia, 2009 - Dimensão política.

Outro item que também chama a atenção, são os indicadores que no caso da África, tratam da questão representação e neste caso mais especificamente da “questão de gênero”. Os indicadores para o tema da informação aparecem nos dois sistemas de monitoramento.

Esta tese, porém não tem a intenção de propor indicadores, mas discutir a importância deles e a necessidade de construir um sistema de monitoramento para monitorar e avaliar, seja de um projeto, programa ou até mesmo um sistema, onde estes indicadores e outros serão fundamentais para que o sistema seja monitorado.

Os indicadores são importantes em todos os momentos da implementação, seja de uma política, seja de um projeto ou programa. Além disso deve-se ter indicadores de processo (governança), resultados e de impacto, tendo cada um deles funções específicas e importantes, porém registra-se que o indicador de governança é de suma importância, pois a governança é o meio para que as políticas, projetos ou programas possam ter resultados.

O indicador de processo não é construído e posteriormente não é monitorado, possivelmente as políticas, projetos ou programas correm certo grau de risco de não serem implementados. Portanto, é fundamental pensar e elaborar indicadores de processo que, possivelmente, o que certamente é o mais trabalhoso, conforme demonstrado.

Construir indicadores de processo é fundamental para que se possa monitorar o andamento de uma política, de um sistema, de um projeto ou programa. Estes indicadores do processo devem estar conectados com os indicadores de resultados e de impacto.

A lógica do acompanhamento de programas requer a estruturação de um sistema de indicadores que, além de específicos, sensíveis e periódicos, permitam monitorar a implementação processual do programa na lógica insumo-processo-resultado-impacto. Isto é, são necessários indicadores que permitam monitorar o dispêndio realizado por algum tipo de unidade operacional prestadora de serviços ou subprojeto, o uso operacional dos recursos humanos, financeiros e físico, a geração de produtos e a percepção dos efeitos sociais, (JANNUZZI, 2005).

O grande desafio no que diz respeito aos indicadores de governança, será a sua representação, de forma que os mesmos possam ser facilmente entendidos e, ao mesmo tempo, apresentar de uma forma simples qual é o estado da arte da governança das águas no Brasil. Um exemplo interessante a ser seguido é o mapa denominado índice da qualidade da água potável (Figura 24), em inglês Index Of Drinking Water Adequacy (IDWA), que permite a comparação entre países e ajuda em determinar qual dos cinco componentes de acesso à água potável é fraco e exige atenção prioritária. Os cinco componentes são: 1) disponibilidade

de recursos; 2) acesso a fontes de água; 3) uso da água; 4) capacidade de produção dos recursos e 5) qualidade da água.

Figura 24: Mapa denominado Índice da qualidade da água potável. Fonte: Institute of Water Policy (2010).