Propriedades dos indicadores dos programas finalísticos

Considerando as abordagens de diversos autores o Guia Metodológico (2010a) considera as propriedades dos indicadores, expostas no Quadro 22, como parte de dois grupos distintos: as propriedades essenciais e as propriedades complementares.

Quadro 22: Propriedades dos indicadores dos programas finalísticos

Categorias Propriedades Descrição

Essenciais

Validade Capacidade de representar, com a maior proximidade possível, a realidade que se deseja medir e modificar

Confiabilidade Devem ter origem em fontes confiáveis Simplicidade

Devem ser de fácil obtenção, construção, manutenção, comunicação e entendimento pelo público em geral, interno ou externo

Complementares

Sensibilidade Capacidade de refletir tempestivamente as mudanças decorrentes das intervenções realizadas

Desagregabilidade

Capacidade de representação regionalizada de grupos sócio- demográficos, considerando que a dimensão territorial se apresenta como um componente essencial na implementação de políticas públicas

Categorias Propriedades Descrição

Economicidade

Capacidade de ser obtido a custos módicos; a relação entre os custos de obtenção e os benefícios advindos deve ser favorável

Estabilidade Capacidade de estabelecimento de séries históricas estáveis que permitam monitoramentos e comparações

Mensurabilidade

Capacidade de alcance e mensuração quando necessário, na sua versão mais atual, com maior precisão possível e sem ambiguidade

Auditabilidade Qualquer pessoa deve sentir-se apta a verificar a boa aplicação das regras de uso dos indicadores

Extras

Publicidade Devem ser conhecidos e acessíveis a todos os níveis da instituição, bem como à sociedade

Temporalidade

Deve considerar algumas questões temporais: em primeiro lugar o momento em que deve começar a medição; em segundo lugar a disponibilidade de obtenção quando os diferentes resultados começarem a acontecer; e, por fim, a possibilidade de que, por meio dessas medidas, seja possível realizar um acompanhamento periódico do desempenho do Programa

Factibilidade

Deverá permitir dispor de indicadores de medição factível, em momentos adequados e com uma periodicidade que equilibre as necessidades de informação com os recursos técnicos e financeiros.

Fonte: BRASIL (2010a)

As propriedades essenciais: são aquelas que qualquer indicador de Programa deve apresentar, e sempre devem ser consideradas como critérios de escolha, independentemente da fase do ciclo de gestão em que se encontra o Programa (Planejamento, Execução, Avaliação etc.). São elas: validade, confiabilidade e simplicidade (BRASIL, 2010a).

As propriedades complementares: são também muito importantes, mas podem ser alvo de uma análise de trade off dependendo da fase do ciclo de gestão de Programas. São elas: sensibilidade, desagregabilidade, economicidade, estabilidade, mensurabilidade e auditabilidade (BRASIL, 2010a). O trade off decorre do fato que nem sempre é possível atender simultaneamente todas as propriedades, sendo necessário optar por algumas em detrimento de outras.

Além dessas propriedades, é importante que o processo de escolha de indicadores considere os seguintes aspectos: publicidade, temporalidade e factibilidade (BRASIL, 2010).

O TCU considera como necessárias aos indicadores de desempenho as seguintes propriedades expostas no Quadro 23. Ressalta-se que o enfoque do TCU é mais amplo considerando indicadores de desempenho lato sensu (incluindo área meio) e não apenas indicadores de programas finalísticos.

Quadro 23: Propriedades dos indicadores de desempenho

Propriedades Descrição

Validade O ID deve ser a expressão dos produtos essenciais de um processo. O enfoque deve ser nos produtos e nos resultados.

Comparabilidade Deve possibilitar comparações ao longo do tempo e entre diferentes objetos de auditoria

Estabilidade

Deve ter estabilidade conceitual, sua forma de cálculo não deve variar no tempo, bem como devem ser estáveis os procedimentos de coleta de dados para sua apuração. Essas são condições necessárias ao emprego de indicadores para avaliar o desempenho ao longo do tempo.

Homogeneidade

Devem ser consideradas apenas variáveis homogêneas. Por exemplo, ao estabelecer o custo médio por auditoria, devem-se identificar os diversos tipos de auditoria, já que para cada tipo tem-se uma composição de custo diversa

Praticidade Deve ser útil para o monitoramento e a tomada de decisões. Para tanto, deve ser testado, modificado ou excluído quando não atender a essa condição

Independência Deve medir os resultados atribuíveis às ações que se quer monitorar, devendo ser evitados indicadores que possam ser influenciados por fatores externos.

Confiabilidade

A fonte de dados utilizada para o cálculo do indicador deve ser confiável, de tal forma que diferentes avaliadores possam chegar aos mesmos resultados (ISSAI 3000/4, 2004)

Seletividade Deve-se estabelecer um número equilibrado de indicadores que enfoquem os aspectos essenciais do que se quer medir

Compreensão

Deve ser de fácil compreensão e não envolver dificuldades de cálculo ou de uso. Indicadores que medem mais de uma variável e apresentam métricas não intuitivas podem ser usados, e às vezes devem sê-lo, quando têm aceitação e validade (ISSAI 3000/4, 2004).

Completude

Deve representar adequadamente a amplitude e a diversidade de características do fenômeno monitorado, resguardado o princípio da seletividade e da simplicidade (ISSAI 3000/4, 2004).

Economicidade

As informações necessárias ao cálculo do indicador devem ser coletadas e atualizadas a um custo razoável, quando comparado com a utilidade gerencial da informação que ele fornece

Acessibilidade Deve haver facilidade de acesso às informações primárias bem como de registro e manutenção para o cálculo dos indicadores

Tempestividade A apuração do indicador deve estar disponível quando necessária, em tempo para a tomada de decisão

Objetividade

Deve ser inequívoco sobre o que está sendo medido e quais dados estão sendo usados em sua apuração. A objetividade inclui clareza sobre a definição do indicador, de forma a evitar disputa sobre seu significado, especialmente no caso de indicadores multidimensionais (USAID, 1998).

Fonte: BRASIL (2011a)

Da comparação entre as propriedades selecionadas pelo Guia Metodológico, expostas no Quadro 22, e as propriedades selecionadas pelo TCU, expostas no Quadro 23, elaborou-se o Quadro 24 relacionando as propriedades em comum conforme os conceitos citados anteriormente.

Quadro 24: Propriedades dos Indicadores dos programas finalísticos comparadas com as propriedades dos

indicadores de desempenho de gestão do TCU

Propriedades - Guia Metodológico Propriedades – TCU

Validade Validade Confiabilidade Confiabilidade Simplicidade Compreensão Objetividade Completude

Propriedades - Guia Metodológico Propriedades – TCU Sensibilidade Praticidade Economicidade Economicidade Factibilidade Estabilidade Comparabilidade Estabilidade Temporalidade Tempestividade Auditabilidade Acessibilidade Publicidade Mensurabilidade - Desagregabilidade - Seletividade Homogeneidade Independência

Fonte: Elaboração própria

Além das propriedades citadas do Guia Metodológico e na Portaria SEGECEX Nº 33 de 2010, o TCU considera como essenciais a propriedade da utilidade (BRASIL, 2011b).

A propriedade da utilidade consiste na utilização efetiva do indicador em processo de tomada de decisão gerencial que afete o desempenho da UJ. A utilidade de um indicador está diretamente relacionada à sua representatividade em medir o fenômeno-objeto, isto é, computar em uma única expressão as múltiplas variáveis correlacionadas com o fenômeno- objeto. Um indicador é útil quando ele ―traduz‖ para o observador do fenômeno-objeto uma situação relacionada com o seu interesse de análise (BRASIL, 2011b).

Diante do exposto, conclui-se que existem propriedades dos indicadores de programas finalísticos e dos indicadores desempenho de gestão (institucionais) que são comuns entre si. No entanto, conforme visto nas Figuras 16 e 17 os indicadores de programa finalísticos possuem como diferencial o fato de estarem orientado para medir além dos resultados, os impactos. Os indicadores de desempenho da gestão se propõem por sua vez a medir além dos resultados finalísticos, os resultados da área meio.