Avaliação de Impacto
Objetivos e Forma
Laura B. Rawlings
Banco Mundial
Segundo Workshop Internacional sobre
Programas de Transferência
Condicional de Renda
Esquema
Monitoramento vs. Avaliação
Avaliações de impacto
Avaliações qualitativas
Planejamento e avaliação - dicas
Avaliações de Programas de
Transferência Condicional de Renda
(TCR)
Definições
Monitoramento
Medindo o que
acontece
Uma
responsabilidade
fiduciária
Abrangente
Avaliação
Inferindo porque
isto aconteceu
Um investimento
para um maior
conhecimento
Seletiva
Monitoramento vs. Avaliação
Impacto Resultados Produção Elementos Efeitos do programa sobre o bem-estar Acesso, utilização e satisfação com os serviçosBens e serviços gerados Indicadores financeiros e físicos AVALIAÇÃO MONITORAMENTO
Avaliações de Impacto
Avaliam mudanças no bem-estar atribuídas a uma
intervenção em particular (por exemplo, a um
programa em particular).
* Os indicadores mudaram? * Quanto eles mudaram?
* As mudanças devem-se ao programa?
Podem também avaliar
* Os impactos variaram dentre os diferentes grupos, regiões ou ao longo do tempo?
* Como o formato do programa pode ser modificado para aumentar o impacto?
* Quão efetivo é o programa se comparado a intervenções alternativas?
Avaliações de Impacto
Características
* Componente chave de um plano abrangente de monitoramento e avaliação
* Diferente mas complementar ao monitoramento e a outros tipos de avaliação
* Foco quantitativo baseado na análise de dados de
pesquisa (especialmente pesquisas domiciliares) aplicado tanto ao tratamento quanto aos grupos de
comparação/controle
* Foco sobre resultados generalizáveis para a população de interesse, baseado em amostras representativas
Entendendo a Avaliação de
Impacto
Como estariam as vidas dos beneficiários se o programa
não tivesse existido?
Não se podem observar as contraprovas, mas pode-se
fazer uma aproximação através da construção de um grupo de controle ou de comparação apropriado.
Para modelar as contraprovas, estabeleça grupos de
controle/comparação (aqueles que não participam do programa) e compare com o grupo de tratamento
(aqueles que participam). Se a metodologia for sólida, as diferenças podem ser atribuídas ao projeto.
A questão chave é como selecionar ou identificar os não
participantes. A escolha do método determina o formato da avaliação.
Formas de Avaliações de
Impacto
Formato experimental/aleatório
Determina de forma aleatória as comunidades em tratamento e os grupos de controle. Mais rigorosa. Necessita de planejamento durante a criação do projeto.
Formatos Quasi-experimentais
Comparação reflexiva – compara o mesmo grupo antes e depois. Entretanto, a situação dos participantes muda por diversos motivos, é difícil estabelecer a causa
Comparação por pares – métodos estatísticos para a construção de um grupo de comparação. Metodologias podem ser complexas.
Avaliações Qualitativas
Foco sobre a análise social e o entendimento dos
processos, comportamentos e condições como
percebido por aqueles sendo estudados
Gera reflexões críticas nas perspectivas, processos
e contexto dos beneficiários
Fornece uma interpretação mais profunda e
detalhada das descobertas
Técnicas Qualitativas
Entrevistas
com grupos de interesse chave Discussões em grupo
com beneficiários
Observação de participantes
Estudos de caso
Geralmente complementadas por técnicas de Avaliação Rural
Participatória tais como mapeamento, classificação e análise de tendência.
Uso de triangulação - comparação de fontes de dados, métodos de coleta, investigadores e teorias para determinar o grau de
obliqüidade e confiabilidade da informação. Foco sobre a validade da informação.
Combinação de Métodos
Quantitativos e Qualitativos
Combinações ou abordagens de ‘método misto’ são
recomendadas para uma avaliação abrangente.
Abordagens quantitativas e qualitativas podem ser
utilizadas em seqüência
* Método qualitativo pode informar o formato/
conteúdo das pesquisas de avaliação de impacto
* Método qualitativo pode esclarecer os
resultados das avaliações de impacto Æ ajuda a
responder porque, explorar o contexto, desenvolver
paradigmas
* Pode focalizar o trabalho qualitativo sobre os
‘forasteiros’ ou casos extremos
Planejando uma Avaliação
Para determinar a escala e a complexidade da
avaliação, responda as seguintes perguntas o mais
cedo possível:
Objetivos –
Quais são as principais perguntas que necessitamser respondidas?
Metodologia –
Que tipos de avaliação são necessários? Énecessária uma avaliação de impacto?
Cronograma -
Depende da profundidade e da abrangência daavaliação, do formato e da disponibilidade de dados existentes. Deve ter passado tempo suficiente para que
tenham sido produzidos resultados para uma avaliação de impacto
Custo -
tem grande variação: fica em média entre 0,25% e2,0% dos custos do projeto. A coleta de dados é geralmente o custo mais alto.
Financiamento –
geralmente baixo; pode ser financiadopelo projeto, com outros recursos do governo, doações ou
combinações de fontes. Explore recursos de doadores dado o valor público dos resultados.
Capacidade -
a coordenação e a execução são um desafio.Deve haver equilíbrio entre a utilização de assistência técnica internacional e de capacidade local.
Planejando uma Avaliação de
Impacto
Avalie o impacto quando:
• o projeto for inovador • o projeto for replicável
• o projeto for estrategicamente relevante para a redução da pobreza
• a avaliação do projeto for suprir hiatos de conhecimento • o projeto causar impacto político substancial
Ingredientes para o sucesso:
• Apoio político e financeiro • Planejamento antecipado • Conhecimento do contexto
Por Que Avaliar o Impacto
dos Programas de TCR?
Foco
inovador
sobre o desenvolvimento Combina foco sobre alívio da pobreza no curto e no longo prazo
Incentivos pelo lado da demanda vs. subsídios tradicionais pelo lado
da oferta
Foco multisetorial: educação, saúde, nutrição Dimensões de gênero
Replicável –
o modelo expandiu-se nacionalmente e foi replicadointernacionalmente
Estrategicamente relevante para a redução da pobreza –
elementos chave de muitos sistemas de proteção social
Hiato de conhecimento -
Pouco se conhecia sobre efetividade
Impacto político –
formuladores de políticas muito interessados nosQual o foco das avaliações
de programas de TCR?
Adequação da administração do programa Focalização de áreas e famílias pobres
Existência e tamanho dos impactos do bem-estar sobre a
acumulação de capital humano
Educação: matrícula, freqüência, promoção, repetência, nível de
escolaridade
Saúde e nutrição: utilização dos serviços de saúde, consumo;
medidas específicas para a idade (desnutrição infantil, vacinas, diarréia); mortalidade materno-infantil
Efeitos imprevistos
Dinâmicas da comunidade e da família
Percepções do beneficiário/ grupos de interesse Custo-efetividade
Abordagens de Avaliação de
Impacto de Programas de TCR
Avaliações priorizadas na fase de elaboração do programa
permitido para coleta de dados parâmetro; coleta aleatória
Formato experimental de avaliação (formato de controle
aleatório) usado na maioria dos programas de ‘primeira geração’
Honduras PRAF, México PROGRESA e Nicarágua RPS
Considerada a abordagem mais robusta de avaliação porque a
coleta aleatória trata das questões de seleção
Coleta aleatória baseia-se na expansão do programa; uso
oportunista de restrições sobre os recursos
Coleta aleatória feita no nível geográfico
Métodos de pares usados na maioria das avaliações de
‘segunda geração’
O Impacto das Avaliações
de Impacto dos TCRs
As avaliações de impacto forneceram evidências
claras de impactos positivos sobre os resultados do
desenvolvimento humano
Avaliações qualitativas geraram reflexões sobre as
dinâmicas sociais e as percepções dos beneficiários
As evidências de impacto são extremamente
importantes para a sobrevivência do programa ao
longo das mudanças nas administrações políticas
Os resultados foram cruciais para a expansão
Conclusões
Um forte apoio e um planejamento precoce produziram
avaliações rigorosas
A existência de uma avaliação ajudou na focalização dos
objetivos do programa
As avaliações são importantes para a transparência e a confiança
pública
É necessário financiamento internacional de avaliações de
impacto de programas inovadores; conhecimento da efetividade do desenvolvimento é um bem público
As avaliações de impacto são cruciais, mas limitadas Um bom monitoramento é essencial para o sucesso da
administração do programa
O contexto afeta os resultados - os programas de TCR não são
