1.2 O que é avaliação de impacto?
1.2.1 Diversidade de conceitos e unidade de princípios
Usualmente, a avaliação de impacto é entendida como a forma de medir o efeito de determinado programa a fim de saber em que medida seus objetivos foram atendidos. Essa avaliação é feita algum tempo depois do término de um projeto (ou de uma fase do projeto) com o propósito de avaliar suas influências.
Mesmo entre os autores que distinguem “resultados” de “impactos”, há várias definições de avaliação de impacto, havendo pouco consenso nas referências pesquisadas.
Michael Scriven, por exemplo, no clássico Evaluation Thesaurus, define avaliação de impacto como “uma avaliação focada nos resultados ou retornos do investimento, em vez de no processo, na entrega, ou na avaliação da implementação”6 (1991, p. 190, tradução nossa). Aí, impacto relaciona-se ao foco da avaliação, e pode-se inferir que impactos e resultados (outcomes) são indistintamente entendidos como “efeitos”, ou seja, têm alguma ligação com a intervenção, podendo ocorrer “durante”, “ao final” ou “posteriormente” (Scriven, 1991, p. 250). O exemplo de Scriven ilustra a tendência ao uso intercambiável desses termos, encontrados em outros autores (Weiss, 1998; Stufflebeam; Webster, 1980).
Ezemenari, Rudqvist e Subbarao (1999) concordam com Scriven: para falar em “impactos” é preciso poder relacioná-los à intervenção. Segundo sua definição, “avaliação de
6 “An evaluation focused on outcomes or payoff rather than process, delivery, or implementation evaluation”
impacto consiste em avaliar resultados e, então, o desenvolvimento a curto e médio prazo resultante de uma intervenção”7 (p. 2, tradução nossa).
Mohr (1992) prefere a expressão “análise de impacto” e acredita que haja impacto quando uma intervenção afeta o estado de um objeto ou fenômeno “mais de uma vez”:
Vamos tomar a expressão análise de impacto para significar a determinação da extensão em que um conjunto de atividades humanas dirigidas (X) afeta o estado de alguns objetos ou fenômenos (Y1,…, Yk) – pelo menos algumas vezes –, determinando por que razão os efeitos foram tão pequenos, ou grandes, como acabaram por ser8 (p. 1, tradução nossa).
O autor acredita que, para atribuir um efeito (o estado de algum objeto ou fenômeno) a uma determinada causa (atividade humana dirigida), é necessário que, independentemente do contexto, a relação se mantenha. Ou seja, deve ser possível repetir o experimento ou a intervenção algumas vezes, obtendo o mesmo tipo de resultado, para poder lhe atribuir a condição de impacto.
A possibilidade de relacionar a intervenção a um resultado é uma característica também apontada por Baker (2000) em sua definição de avaliação de impacto. Para ela, a avaliação de impacto não se preocupa apenas em mensurar/interpretar os resultados do programa, mas analisa em que medida eles podem ser atribuídos ao programa e somente a ele. Contudo, a autora não toca na necessidade de replicabilidade:
A intenção da avaliação de impacto é determinar mais amplamente se o programa teve os efeitos desejados nos indivíduos, domicílios e instituições
e se aqueles efeitos podem ser atribuídos à intervenção do programa.
Avaliações de impacto também podem explorar consequências não previstas, positivas ou negativas, nos beneficiários9 (p. 1, grifo nosso).
Nesse sentido, entende-se a avaliação de impacto como em Scriven: a mensuração do efeito de determinada intervenção (um programa educacional, por exemplo) sobre determinado alvo, a fim de saber em que medida se alterou a situação inicial. A diferença entre Baker e Scriven é que aquela busca distinguir a avaliação de impacto da de resultados.
Outro aspecto que gera diferenças na teoria que trata de avaliação de impacto refere-se ao momento em que ela se realiza, pois a terminologia também se relaciona ao uso prévio da avaliação com o objetivo de prever impactos possíveis de um programa antes mesmo de sua implementação:
7 “Impact evaluation consists of assessing outcomes and, thus, the short or medium-term developmental resulting
from an intervention” (Ezemenari; Rudqvist; Subbara, 1999, p. 2).
8 “Let us take the term impact analysis to mean determining the extent to which one set of directed human
activities (X) affected the state of some objects or phenomena (Y1, …, Yk) – at least sometimes – determining
why the effects were as small or large as they turned out to be” (Mohr, 1992, p. 1).
9 “Impact evaluation is intended to determine more broadly whether the program had the desired effects on
individuals, households, and institutions and whether those effects are attributable to the program intervention. Impact evaluations can also explore unintended consequences, whether positive or negative, on beneficiaries.” (Baker, 2000, p. 1).
Ex-ante ou avaliação de impacto: uma avaliação que visa prever a
possibilidade de alcançar os resultados esperados de um programa ou intervenção ou prever seus efeitos inesperados. Esta é feita antes de o programa ou da intervenção ser formalmente aprovado ou começar10 (The Independent Evaluators’ Webring, 2006, tradução nossa).
Na citação, avaliação ex-ante e impact assessment são tomadas como sinônimos, enquanto o uso mais comum do conceito de avaliação de impacto, relativo à medida dos efeitos de determinada iniciativa, comumente a identifica como avaliação ex-post.
Para Cohen e Franco (2008, p. 118), a avaliação de impacto pode acontecer em diferentes momentos, no início do programa ou projeto (ex-ante), durante sua implementação ou no fim (ex-post).
Cabe ressaltar, na citação do The Independent Evaluators’ Webring, o uso indistinto de assessment (normalmente relacionado à avaliação de habilidades ou cognição, ou seja, a características de pessoas) e evaluation (mais comumente relacionado à avaliação de programas, produtos e fenômenos).
Impact assessment é outra expressão usada para designar a avaliação focada em
resultados ligados diretamente a determinada intervenção. Bickman (2005), por exemplo, no verbete que produziu para a Encyclopedia of Evaluation, prefere o uso de impact assessment:
A avaliação de impacto é focada nos resultados ou impactos de um programa, um política, uma organização ou uma tecnologia. Tipicamente, avaliações de impacto tentam fazer inferências causais entre o avaliado e o resultado. [...] Avaliação de impacto também é referida como resultado, impacto ou avaliação somativa11 (Bickman, 2005, p. 194, tradução nossa). Também para a Organização para a Cooperação e Desenvolvimento Econômico (OCDE) impacto é o efeito causado, direta ou indiretamente, por uma intervenção, indicando claramente esse tipo de avaliação para o final do processo de implementação do programa:
O ponto de partida é a definição de impacto do Comitê de Ajuda ao Desenvolvimento (CAD), que é a seguinte: estabelecimento de resultados, positivos e negativos, efeitos de longo prazo, primários ou secundários, produzidos por uma intervenção para o desenvolvimento, direta ou indiretamente, intencional ou involuntária. Essa definição amplia a avaliação de impacto para além de efeitos diretos, para incluir a gama completa de impactos em todos os níveis da cadeia de resultados12 (Organização para a Cooperação Econômica e o Desenvolvimento, 2008, tradução nossa).
10 “Ex-ante evaluation or impact assessment: An assessment which seeks to predict the likelihood of achieving
the intended results of a programme or intervention or to forecast its unintended effects. This is conducted before the programme or intervention is formally adopted or started” (The Independent Evaluators’ Webring, 2006).
11 “Impact assessment is an evaluation focused on the outcomes or impact of a program, policy, organization, or
technology. Impact assessments typically try to make a causal inference that connects the evaluand with an outcome. […] Impact assessment is also referred to as outcome, impact, or summative evaluation” (Bickman, 2005, p. 194).
12 “The starting point is the Development Assistance Committee (DAC) definition of ‘impact’, which is:
‘positive and negative, primary and secondary long-term effects produced by a development intervention, directly or indirectly, intended or unintended”. This definition broadens impact evaluation beyond direct effects to include the full range of impacts at all levels of the results chain” (OCDE, 2008).
Nessa definição, relaciona-se o termo “impacto” ao momento em que se dá a avaliação, sendo comum na literatura o uso da palavra “resultados” (outcomes) associada a efeitos de curto e médio prazo, enquanto a avaliação de impacto é associada aos efeitos de longo prazo, indo, portanto, além da avaliação do que ocorreu após uma intervenção. Esse entendimento de impactos enquanto resultados de longo termo é bastante comum na literatura. A esta altura, pode-se perguntar se há realmente diferença entre avaliações de impacto e avaliações de resultados ou se a questão é apenas semântica, pois a ambas se atribui um efeito de uma determinada intervenção. Parece inegável que há uma questão ideológica no uso terminológico e que o que está em jogo ultrapassa a semântica, pois o termo “impacto” pode ter, a depender do contexto, uma conotação muito mais forte do que o mero uso de “resultado” ou “resultado de longo prazo”.
O Banco Mundial traz uma definição que permite uma diferenciação clara entre avaliações de resultados e de impactos:
Embora haja debate dentro da profissão sobre a definição precisa de avaliação de impacto, o uso do termo pela Nonie13 provém da adoção da definição de impacto do Comitê de Assistência ao Desenvolvimento (CAD) da Organização para a Cooperação Econômica e o Desenvolvimento (OCDE), como “efeitos de longo termo, positivos ou negativos, primários ou secundários, produzidos por uma intervenção em desenvolvimento, direta ou indiretamente, intencional ou não intencional”. Adotar a definição do CAD leva a um foco de duas premissas subjacentes às avaliações de impacto: (a) atribuição: as palavras “efeitos produzidos por” […] implicam uma abordagem para avaliação de impacto que é atribuir impactos a intervenções, em vez de apenas avaliar o que aconteceu. (b) contrafactual: […] o conhecimento sobre os impactos produzidos por uma intervenção requer uma tentativa de aferir o que teria acontecido na ausência da intervenção e a comparação com o que tem ocorrido com a implementação da intervenção14 (Leeuw; Vaessen, 2009, p. 9, tradução nossa).
Nesse sentido, haveria uma diferenciação ligada ao uso de “avaliação de resultados” (entendida como medida do que aconteceu) e “avaliação de impactos”: a atribuição de
13 A Network of Networks on Impact Evaluation (Nonie) é uma rede composta pela Rede de Avaliação da
OCDE, pelo Grupo de Avaliação das Nações Unidas, pelo Grupo de Cooperação para Avaliação e pela Organização Internacional para Cooperação em Avaliação.
14 “Although there is debate within the profession about the precise definition of impact evaluation, Nonie’s use
of the term proceeds from its adoption of the Development Assistance Committee (DAC) of the Organization for Economic Co-operation and Development (OECD) definition of impact, as ‘the positive and negative, primary and secondary long-term effects produced by a development intervention, directly or indirectly, intended or unintended’. Adopting the DAC definition of impact leads to a focus on two underlying premises for impact evaluations: (a) attribution: the words ‘effects produced by’ […] imply an approach to impact evaluation that is about attributing impacts to interventions, rather than just assessing what happened. (b) counterfactual: […] knowledge about the impacts produced by an intervention requires an attempt to gauge what would have occurred in the absence of the intervention and a comparison with what has occurred with the intervention implemented” (Leeuw; Vaessen, 2009, p. 9).
causalidade e a definição de um contrafactual. Principalmente o elemento de contrapartida (contrafactual) parece ser a chave para a distinção entre resultados e impactos, pois é possível avaliar “resultados” (o que aconteceu após a intervenção) sem estabelecer um grupo de comparação, mas este último parece essencial para se falar em impactos.
Tanto Añorga e Valcárcel15 (2000, apud Benítez, 2007) quanto Ferrer16 (2002, apud Benítez, 2007) destacam a complexidade da avaliação de impacto. Para Añorga, a avaliação de impacto é global e implica a necessidade de avaliar todo o processo – não só as metas e objetivos do programa ou da intervenção, mas também o contexto, a evolução e os resultados até chegar aos impactos, por meio de diferentes instrumentos. Estes instrumentos deveriam ser abrangentes e captar a natureza multifatorial dos impactos e dos efeitos que a intervenção, ao interagir com o objeto avaliado e seu entorno, imprime no social. Já para Ferrer essa complexidade se traduz na incorporação, às avaliações de impacto, de outros tipos de avaliação, que a complementem.
Finalmente, vale destacar a diferença entre os conceitos de resultado, efeito e impacto, que em diversos exemplos aqui mencionados foram tratados indistintamente. Neste trabalho, considera-se que abrangem noções distintas, cujo entendimento influi na escolha dos indicadores mais adequados para aferir os resultados obtidos pelo programa.
Cohen e Franco (2008), por exemplo, definem efeitos como resultados, comportamentos ou acontecimentos devidos à influência ou ao uso de algum aspecto do programa ou projeto, enquanto impacto seria a consequência dos efeitos e expressaria “o grau de consecução dos objetivos em relação à população-meta do projeto” (p. 93).
Draibe (2001) faz importante distinção entre resultados (no sentido estrito, como sinônimo de desempenho ou, em inglês, outcomes), efeitos e impactos. Para a autora, resultados seriam os produtos diretos do programa, previstos em suas metas, enquanto os
efeitos seriam outras influências do programa que afetariam o meio social ou institucional a
ele circunscritos. Impactos seriam mudanças de longo termo na realidade sobre a qual o programa intervém e que lhe podem ser atribuídas.
Assim, enquanto Cohen e Franco assumem que o impacto de uma intervenção se dá por uma somatória de efeitos, numa hierarquia na qual os impactos englobariam diferentes efeitos, a distinção proposta por Draibe remete às dimensões de influência do programa
15 ANÕRGA MORALES, J. Y VALCÁRCEL, N. Aproximaciones metodológicas al diseño curricular de
Maestrias y Doctorados: hacia una propuesta avanzada. La Habana, 2000.
16 FERRER MADRAZO, M. T. Modelo para la evaluación de las habilidades pedagógicas profesionales del
(relacionada a seus objetivos, social e institucional), que podem ou não estar concatenadas. Nesse sentido, um programa poderia alcançar os resultados almejados, ter efeitos sobre a população, mas não impactar como esperado.
O Quadro 1.1 reflete a aplicação da lógica de Draibe ao programa Letra e Vida.
Tipos de resultado – Letra e Vida
Resultados propriamente ditos
Impactos Efeitos (desejados/positivos17)
Número de formadores
preparados para aplicar o Programa
Avanço nos resultados dos
alunos cujos professores
participaram do Programa
Mudanças no nível de
informação dos professores sobre a prática construtivista
Número de professores
formados no Programa Melhora dos índices de alfabetização do estado e da proficiência de leitura dos professores alfabetizadores
Formação de grupos de estudo
na escola para
aprofundamento e discussão sobre alfabetização
Resultados dos ex-cursistas em avaliações, provas de concurso etc.
Mudanças na prática
pedagógica desses professores após a participação no curso
Satisfação dos pais com o processo de alfabetização dos filhos
Quadro 1.1 – Discriminação dos tipos de resultados de programas: exemplos
Nesse sentido, a avaliação de efeitos e impactos, sobretudo esta, é muito mais complexa que a avaliação dos resultados, talvez um motivo para que elas sejam raras no Brasil. Na próxima seção, discutem-se as dificuldades inerentes a desse tipo de avaliação.