A Quantificação da Intervenção

A parte mais difícil de qualquer avaliação é como quantificar a intervenção.

A observação de que são necessárias mais avaliações de impacto (Savedoff, Levine e Birdsall, 2006) tem sido encarada com ceticismo ou com a rejeição definitiva. Muitas das principais objeções refletem uma preocupação subjacente em relação ao que não se pode aprender sobre o que funciona em programas sociais de uma forma significativa dentro das restrições do mundo real. Esse impacto é, em geral, realizado nas avaliações.

Considerações relevantes são apontadas pelos autores em relação às avaliações:

. Dizem-nos pouco sobre programas sociais que ainda não se conhece, mas bons estudos podem evitar erros caros, fazendo muito mal.

. Não são necessárias para demonstrar sucesso, entretanto, bons estudos podem identificar sucessos sob circunstâncias adversas onde o sucesso significa fazer menos mal.

. Não são necessárias para saber quais programas trabalhar, mas bons estudos distinguem verdadeiros sucessos de aparentes sucessos.

. Não se podem debater questões importantes, embora métodos atuais possam responder a perguntas que são importantes para as decisões de política social.

. Não podem ser eticamente implementadas, mas as questões éticas podem ser gerenciadas.

. São demasiado onerosas, todavia a ignorância é mais cara do que a avaliação de impacto.

. Produzem resultados muito tarde para serem utilizados pelos tomadores de decisão, mas as avaliações de impacto podem fornecer informações oportunas.

. Não fornecem informações importantes sobre como operam os programas, no entanto as avaliações de impacto complementam outros estudos que não as substituem.

. São muito complexas e não influenciam a formulação de políticas, contudo as conclusões da avaliação de impacto podem ser simples e transparentes.

Reiterando a importância da avaliação de impacto, Savedoff, Levine e Birdsall (2006) destacam que bons estudos evitam erros caros e evitam fazer mal, considerando-se que:

. O risco de desperdiçar recursos em programas ineficazes é particularmente agudo para programas que se espera que sejam ampliados no contexto nacional e o valor das avaliações adequadas na fase inicial é elevado.

. O valor das avaliações de impacto assume particular urgência em programas sociais onde os efeitos indesejáveis são mais acentuados.

Bons estudos podem identificar sucesso mesmo sob circunstâncias adversas. Para aqueles que estão convencidos da eficácia de seus programas, o dinheiro gasto para demonstrar o impacto através de comparações dos participantes e não participantes pode parecer desnecessário. No entanto, sem tais comparações, os benefícios do programa que atenuam as tendências negativas podem ser erroneamente vistos como falhas.

Ademais, avaliações mal feitas podem equivocadamente atribuir impactos positivos para um programa quando os resultados positivos são devido a outros aspectos.

Em suma, a única verdadeira limitação sobre este tipo de avaliação de impacto (Savedoff, Levine e Birdsall, 2006) é quando esta é elaborada sem intervenção credível. Embora, mesmo nestes casos, são geralmente subjacentes às perguntas que precisam ser respondidas através de avaliação de impacto.

É claro que ainda há muito espaço para melhorar os métodos de avaliação, comparar a atribuição aleatória e outras abordagens e reforçar o conhecimento operacional sobre o “como fazer” a avaliação de impacto.

Dentre as principais arguições sobre a avaliação de impacto, Savedoff, Levine e Birdsall (2006) apontam:

. Questões éticas podem ser gerenciadas

Avaliações de impacto que dependem de coleta de dados de grupos de controle às vezes não são consideradas éticas, porque excluem os beneficiários do programa. Mas esta crítica aplica-se somente quando os recursos estão disponíveis para servir a todos, logo que o programa inicia. Na verdade, sempre que os recursos são limitados ou os programas precisam ser expandidos em fases, apenas uma parte dos potenciais beneficiários pode ser alcançada a qualquer momento. Escolher quem participa inicialmente através de loteria não é menos ético (e talvez seja até mais) do que muitos outros métodos.

Mas, ressaltam os autores, uma avaliação de impacto bem desenhada, é capaz de superar essas preocupações.

. A ignorância é mais cara do que as avaliações de impacto

Este argumento é muitas vezes feito, comparando o custo de uma avaliação com o programa que é o seu objeto. Porém a comparação adequada não é o custo do programa, mas o valor do conhecimento que produziria isso, porque algumas avaliações podem gerar conhecimento que influencia a concepção e a adoção de uma classe inteira de intervenções em todo o mundo.

. O custo de uma avaliação de impacto

A estratégia de coleta de dados é muito importante neste tipo de avaliação. Quando bem planejada, a coleta de dados pode ser aplicada a uma amostra de municípios com e sem o programa, fornecendo informações úteis sobre o impacto do programa. Entretanto, isso não significa que a avaliação de impacto rigorosa tem baixo custo. Dependendo da pergunta e do projeto de avaliação associado (Savedoff, Levine e Birdsall, 2006) os estudos podem custar milhões de dólares ao longo de vários anos.

Contudo, o ponto a ser considerado é a forma relevante de avaliar esses custos em relação ao valor do conhecimento que será gerado, ou seja, um valor que pode ser medido ao evitar o desperdício de continuar com um programa que não esteja atendendo aos objetivos previstos, ao invés de atingir mais pessoas com programas comprovadamente eficazes. Este tipo de questionamento surge porque o conhecimento de avaliações de impacto é um bem público; os incentivos para financiar estes estudos não refletem seus benefícios sociais plenamente e, consequentemente, um investimento insuficiente lhes é destinado.

. Avaliações de impacto podem fornecer informações oportunas

Os autores relatam ainda que alguma crítica concentra-se sobre o valor dos estudos de avaliação de impacto, alegando que este tipo de avaliação demora muito tempo para produzir resultados, de tal forma que, quando os resultados estão disponíveis, o conteúdo programático já evoluiu. No entanto, o tempo necessário para produzir resultados depende muito das questões que estão sendo estudadas. Algumas avaliações de impacto rigorosas produzem resultados dentro de alguns meses. Outras demoram mais, porém estão ainda disponíveis a tempo de influenciar as decisões políticas importantes. Os resultados iniciais das avaliações de impacto do México de seu programa de transferência condicional de renda nacional estavam disponíveis a tempo de convencer uma nova administração para preservá-lo.

Também é possível projetar avaliações de impacto que geram feedback útil durante a implementação, como no caso de um estudo plurianual de impacto.

Informações úteis, muitas vezes, podem ser coletadas em prazos mais curtos, a maioria das perguntas sobre o impacto dos programas sociais exigem coletas de dados ao longo de anos. A prova válida da eficácia de um programa muitas vezes não pode ser produzida em

menos tempo.

Decisões baseadas em resultados inválidos são susceptíveis de serem pobres, não importa quão oportunas possam ser. Se um programa ainda não está funcionando, quando estiver concluída a avaliação de impacto, os resultados serão úteis às decisões no futuro. Se o programa termina, os resultados ainda terão valor para aqueles que estão contemplando intervenções semelhantes em outros lugares ou intervenções que se baseiam em princípios semelhantes.

. Avaliações de impacto podem não fornecer informações oportunas às críticas, simplesmente porque confundem seus fins com outros tipos de avaliações e ignoram como é construído o conhecimento sobre programas sociais: em um período de tempo que está ligado, mas se estende para além do ciclo normal de projeto. É por isso que avaliações de impacto devem ser feitas estrategicamente, para responder perguntas de políticas que são susceptíveis de ter duradoura importância e focando programas susceptíveis de gerar informações que podem orientar os legisladores e gestores no futuro.

. O impacto das avaliações complementam outros estudos

Os críticos, às vezes, afirmam que as avaliações de impacto só podem dizer se algo tem um impacto, mas não conseguem identificar por que e como. Mas uma avaliação de impacto bem feita pode fornecer provas sobre o mecanismo através do qual o resultado é conseguido quando a coleta de informações é realizada simultaneamente sobre processos e resultados intermediários. Avaliações de impacto não são um substituto para teorias ou modelos, avaliação de necessidades, acompanhamento e para avaliações operacionais. Todos esses elementos são necessários para complementar a análise de impacto. No entanto, o conhecimento adquirido com avaliações de impacto é um complemento necessário para esses outros tipos de análises. Idealmente diferentes formas de avaliação não devem ser vistas como concorrentes, mas como partes de um círculo vicioso de reforço mútuo.

. Resultados da avaliação de impacto podem ser simples e transparente

A crítica final é que essas avaliações de impacto são muito complexas para os decisores políticos e não influenciam a formulação de políticas. Na verdade, avaliações de impacto boas, especialmente, avaliações aleatórias, são relativamente fáceis de se apresentar aos formuladores de políticas.

No contexto internacional, concluem Gestler et al.(2011), a demanda por resultados se faz presente quando da construção do conhecimento, iluminando o que funciona e o que não funciona, para reduzir a pobreza e melhorar o bem-estar.