Indicadores de Programas

Indicadores de

Programas

Programa de Formação de Técnicos Estaduais e Municipais para

Indicadores – como escolher ?

• Primeira medida: analisar a consistência do

Programa, coerência entre objetivos e ações • O objetivo do programa está bem definido

(SMART) ?

• Indicadores são instrumentos

• Medem determinado conceito, fenômeno, problema ou resultado de uma intervenção

• Medidas que quantificam um insumo, resultado, característica, desempenho de um processo,

Funções básicas dos indicadores

• Descritiva: informa uma realidade empírica • Valorativa: juízo de valor à situação em foco,

dimensão avaliativa

• Ex-ante: no diagnóstico situacional, na

definição do problema, no desenho da politica • In curso: monitoramento e avaliação da

execução

Propriedades essenciais dos indicadores

• Validade: representatividade, significante ao que se quer medir e acompanhar

• Confiabilidade: fontes confiáveis,

metodologias transparentes, coleta,

processamento e divulgação de informações • Simplicidade: fácil obtenção, construção,

manutenção, comunicação e entendimento pelo público externo e interno

Propriedades complementares dos

indicadores

• Sensibilidade: refletir mudanças das intervenções

• Desagregabilidade: dimensão territorial • Economicidade: relação custo / beneficio • Estabilidade: séries históricas

• Mensurabilidade: alcance e precisão

• Auditabilidade: condições de verificação e acompanhamento

Taxonomia de Indicadores

• Estratégicos: dimensão estratégica

• de Processo: desempenho do processo • Produtividade e Eficiência

• Qualidade ou Eficácia • Capacidade

• de Projeto: monitoramento da execução de projetos

Natureza dos indicadores

• Econômicos: primeiros a serem

produzidos, teoria geral mais consolidada,

usados nas políticas de desenvolvimento,

fiscal, monetária, cambial, comércio

exterior, etc.

• Sociais: nível de bem estar e qualidade de

vida da população

Complexidade dos indicadores

• Indicadores Analíticos: dimensões sociais específicas, evasão escolar, taxa de

desemprego, etc.

• Indicadores Sintéticos: são os índices, resultam da composição de indicadores analíticos,

integram várias dimensões, muito usados por instituição internacionais: IDH, IDEB, PIB, etc. • Objetividade: objetivos e subjetivos

Indicadores Sintéticos => índices

Vantagens:

• Simplicidade de entendimento.

• Sumarizam questões complexas facilitando a mobilização e priorização de recursos.

• Permitam estabelecimento de ranking entre regiões, estados, países etc. • Facilitam a comparação de performance.

Desvantagens:

• Mitificação do índice em detrimento do conceito original.

• Requer base conceitual e empiricamente consistentes (dimensões em geral têm dinâmicas e tratamentos próprios).

• Subjetividade na definição dos critérios de seleção e ponderação das dimensões envolvidas; podem assim ter a sua validade questionada.

Indicadores sintético versus Sistema de

Indicadores

• Quando os conceitos são complexos não se pode reduzir a gestão de uma política ou programa à simples apreciação de um indicador sintético

• O IDH, por exemplo, resultado da ponderação de três temas distintos (economia, saúde e educação), busca melhor

representar o nível de desenvolvimento socioeconômico de um país; porém, a sua composição mistura um conceito mais sensível às variações conjunturais e de prazo mais curto (PIB per capita) com conceitos estruturais menos sensíveis e de prazo mais longo de evolução (saúde e educação)

• Assim, uma variação anual positiva do IDH decorrente do

aumento do PIB per capita pode, por exemplo, camuflar uma estagnação ou até um retrocesso nas outras dimensões

Indicadores no Fluxo de Implementação

• Insumo (input indicators): ex ante, área meio • Processo (throughput indicators): in curso,

esforço empreendido na utilização de insumos • Produto (output indicators): metas físicas

• Resultado (outcome indicators): benefícios no público alvo

• Impacto (impact indicators): abrangente e multidimensional, estratégia, medio e longo prazo, sociedade como um todo

Indicadores de Avaliação de Desempenho

• Economicidade

– minimização de custos • Eficiência

– produtividade, fazer mais com menos • Eficácia

– grau de alcance das metas • Efetividade

Tipos de Indicadores e fluxo de

implementação

Correlação entre etapas, características e

tipologia

Correlação entre etapas, características e

tipologia

Limitações no uso de indicadores

• São abstrações, representações

simplificadas da realidade

• A evolução da teoria do programa

impacta na evolução dos indicadores

• O indicador não substitui o processo

avaliativo

Sistema Estatístico Nacional - IBGE

• Princípios: relevância, imparcialidade e acesso

universal, ética e profissionalismo, confiabilidade e transparência, prevenção de erros, etc.

• IBGE (1938): Censo Demográfico, PNAD, PME, POF, PMC (comércio), MUNIC, AMS (assist. médico

sanitária), PNSB (saneam. Básico), etc.

• Registros administrativos: registro civil, RAIS, Caged, Censo Escolar, DataSus, etc.

Indicadores no PPA

• Qualidade do indicador (critérios de

escolha)

• Quantidade de indicadores (regra do bom

senso)

• Dimensão territorial (espacialidade)

• Transversalidade (programas horizontais)

• Fontes

Passo 1: avaliar objetivos e metas

• Tentar entender a lógica conceitual do programa (qual teoria está explicando)

• Identificar a coerência interna entre objetivo e meta

• Identificar o problema e sua descrição

• Identificar a metodologia de desenho do programa (Modelo Lógico, Zoop, PES, etc.)

• Realizar entrevistas com a equipe gerencial do programa (se necessário)

Passo 2: Identificar os principais

interessados

• Identificar os interessados, positivos e negativos em relação aos objetivos e metas do programa • Identificar (se possível) os recursos estratégicos

para o programa que estes atores controlam

• Identificar (se possível) o interesse e o valor que esses atores atribuem aos objetivos e metas do programa

Passo 3: Definir os tipos de indicadores

• Indicador Chave: conceito ou dimensão mais relevante, todo programa finalístico deve ter • Indicador Complementar: expressam

dimensões secundárias, ainda que igualmente importantes

• Indicador Específico: mensuram necessidades especificas dos gestores do programa ou

Passo 4: Definir critérios de seleção

Eliminatórios

– devem ser obrigatoriamente atendidos Classificatórios

– estabelecem um ranking de indicadores candidatos (potenciais)

– possibilita análise quantitativa ponderada – ajuda na seleção intuitiva de medidas de

Passo 4: Definir critérios de seleção

• Para operacionalizar a aplicação dos critérios classificatórios se requer uma subdivisão em: • Grau de Atendimento dos Indicadores (0 a 2)

– é o grau de aderência dos indicadores sugeridos aos critérios estabelecidos • Grau de importância (pesos de 3 a 9)

– é uma ponderação dos critérios

classificatórios, varia de programa para programa

Passo 4: Definir critérios de seleção

Critérios (sugestões): • Representatividade • Mensurabilidade • Confiabilidade da fonte • Tempestividade • Facilitação de obtenção • Confiabilidade Metodológica • Desagregabilidade espacial

Passo 4: Definir critérios de seleção

• Objetividade

• Atendimento às necessidades de informação dos interessados

• Economicidade de obtenção • Estabilidade no tempo

• Rastreabilidade

• Desagregabilidade socio demográfica • Disponibilidade

• Sensibilidade à intervenção • Existência de suporte técnico

Passo 5: mapear indicadores candidatos

• Indicadores Simples: valores numéricos, quantidades de um produto ou serviço

• Indicadores Compostos: relação entre duas ou mais variáveis

– Razão: densidade demográfica

– Proporção: coeficiente de mortalidade – Taxa: mortalidade infantil

Passo 5: mapear indicadores candidatos

• (1º) pesquisar no Sistema Estatístico Nacional • (2º) consultar em inventários e banco de dados

de projetos e programas similares

• (3º) consultar técnicos especializados de

instituições de pesquisa & estatística (IBGE, IPEA, CGEE, universidades, etc.)

• (4º) promover oficinas de brainstorming, grupos focais e entrevistas com partes

Passo 6: Realizar análise de trade-off

Análise Quantitativa

– construir a Matriz de Priorização dos Indicadores

Análise Qualitativa

– utilizar critérios subjetivos oriundos de experiências anteriores, opinião

especializada, analogia com outros Programas, indicações de instituições

Passo 6: Realizar análise de trade-off

Matriz de Priorização de Indicadores (MPI)

• Linhas: representam os indicadores candidatos • Colunas:

– interessado no acompanhamento do indicador – tipo do indicador: chave, complementar de

resultado e/ou específico

– natureza: identifica se o critério é eliminatório ou classificatório

– total: apresenta o somatório dos pontos

obtidos pelo indicador candidato, a partir do atendimento ou não dos critérios estabelecidos

Passo 6: Realizar análise de trade-off

• Critérios Eliminatórios: lógica binária, “0” para “não atende” e “1” para “atende”

Passo 6: Realizar análise de trade-off

• Pontuação final de cada indicador

– soma das multiplicações do grau de atendimento

do indicadore ao critério (de 0 a 2) pelo grau de importância (pesos) de cada critério (de 3 a 9) previamente definido (... de cada programa) – multiplica-se esta soma pelo resultado da

Passo 7: validar os indicadores

selecionados

Verificação final de conformidade e pertinência num chek list: • Os indicadores escolhidos são válidos para expressar

resultados?

• Têm relação direta com os objetivos do Programa? • São oriundos de fontes confiáveis?

• São mensuráveis?

• São em quantidade suficiente para expressar as dimensões envolvidas?

• Consideram a dimensão territorial, quando necessária? • Expressam questões transversais, quando existirem?

• As limitações inerentes aos indicadores foram consideradas? • Atendem ao critério de completude dos atributos exigidos para

Passo 8: Cadastrar os indicadores

• Denominação (apresentação pública) • Unidade de medida

• Índice de referência (situação mais recente) • Índices esperados ao longo do PPA

• Índice final do Programa • Fonte

• Periodicidade • Base geográfica

Simulação de Uso

• Programa: “Segurança Pública nas Rodovias Federais”

• Evidências do problema: 20 mil mortes e 400 mil vítimas em 2006 (RENAEST)

• Primeira causa de morte entre 11 e 40 anos • Custo estimado em R$ 20 bilhões/ano

• Causas: excesso de velocidade, uso de alcool, má conservação, criminalidade nas rodovias, baixo efetivo da PRF, sinalização precária, etc.

Simulação de Uso

• Problema: “elevado número de crimes e infrações nas rodovias federais”

• Público-alvo: usuários das rodovias federais (40 milhões de motoristas)

• Objetivo: “aumentar a segurança pública nas rodovias federais, mediante a prevenção e

repressão de ações delituosas e reduzir os acidentes de trânsito”

Simulação de Uso - Passo 2: principais

interessados

• Equipe Gerencial do Programa: responsável pelo desenho, implementação, monitoramento e avaliação do desempenho • MMA: o Ministério do Meio Ambiente possui interesse em

acompanhar a diminuição da incidência de transporte irregular de madeiras e contrabando de animais silvestres

• SEDH: a Secretaria Especial dos Direitos Humanos possui

interesse no monitoramento das ocorrências de exploração de crianças e adolescentes às margens das estradas

• MT: o Ministério do Transportes tem interesse no acompanhamento das condições de uso das estradas

Simulação de Uso - Passo 3: tipos de

indicadores

• O conceito de “segurança” envolve duas dimensões

• (1) “criminalidade” (prevenção e repressão a delitos)

• (2) “infrações” (acidentes, condutas ilegais na direção, etc.)

• Indicador Chave (no mínimo um) e indicadores complementares e específicos (criança &

Simulação de Uso - Passo 4: critérios de

seleção

• Eliminatórios

– proximidade com o objetivo do Programa – capacidade de mensuração anual

Simulação de Uso - Passo 5: mapear

indicadores

Simulação de Uso - Passo 6: realizar análise

de trade off

• Fazer a Matriz de Priorização de Indicadores (a MPI)

• Selecionados (Chave / complem. / especif.) – Razão de mortes por tamanho da frota – taxa de variação de acidentes

– transporte de animais silvestres por ano – crianças & adolescentes vítimas de crimes

Simulação de Uso - Passo 7: validar e Passo

8: cadastrar

• Validação: ver chek list de perguntas • Cadastramento:

– Razão de mortes em rodovias federais em relação ao tamanho da frota

– Índice de Referência: 16 (2006) – Índices esperados: 08 (2011) – Fonte: DPRF e Denatran

Dinâmica de aplicação da metodologia

• Selecionar o programa e entender sua teoria • Realizar entrevistas com principais atores

• Realizar pré-montagem da oficina (lista de indicadores candidatos e critérios potenciais) • Realizar a “Oficina de Indicadores” (01 dia)

– nivelamento metodológico

– aplicação do método “8 passos”

– decisão final cabe ao gerente do programa – até 10 participantes