Dificuldades da realização de avaliações de impacto

Como visto nas definições anteriores e conforme destacado por Sulbrandt (1993), para que se possam avaliar os impactos e efeitos de determinada situação a partir da realização programas, projetos ou ações, há que identificar as mudanças decorrentes deles e sua efetividade. Para isso, é preciso encontrar mecanismos que permitam estabelecer relações de causalidade entre ações do programa e resultados finais específicos, isto é, “estabelecer os efeitos natos de uma intervenção social. Se entender por efeitos natos aqueles que são estritamente imputáveis ou atribuídos ao programa, livres de possíveis efeitos de outros elementos contaminantes que estão presentes na situação” (Sulbrandt, 1993, p. 317).

A avaliação dos efeitos e dos impactos que dependem de uma intervenção é, por sua natureza, extremamente complexa, visto que tem implícitas questões relativas à inferência causal (Schneider, 2007; Ezemenari; Rudqvist; Subbarao, 1999; Sulbrandt, 1993).

A depender do tema e da área da pesquisa, isolar o efeito de uma variável é sabidamente difícil – e às vezes impossível. Quando se trata de avaliar efeitos e impactos de um programa sobre pessoas, cujas ações e reações envolvem uma complexidade de fatores, por exemplo, é difícil eliminar outras explicações que possam justificar parcialmente o resultado da avaliação. Como isolar, por exemplo, o impacto de um curso na prática de um profissional, sem a possibilidade de controlar seus conhecimentos anteriores?

A essas dificuldades, soma-se outra, anterior à própria medição de resultados: a carência de informações disponíveis sobre a implementação do programa, para que se possam controlar outros fatores que possam intervir nos resultados alcançados.

Além disso, muitas vezes, objetivos e metas de avaliação não são bem definidos ou mudam constantemente, dificultando a aferição dos resultados esperados e inesperados por falta de parâmetros confiáveis para balizar essa avaliação. Assim, constantes alterações na agenda política, que frequentemente imprimem mudanças no desenho e na implementação dos programas, dificultam a realização de avaliações de impacto, que requerem metodologias mais complexas e com mais controle sobre as variáveis, a fim de que os resultados obtidos sejam confiáveis.

Na visão de Sulbrandt (1993), os aspectos mais importantes dos programas sociais que dificultam avaliações de impacto são:

a) Os problemas que se pretendem enfrentar mediante as políticas e programas são debilmente estruturados e não podem ser definidos de maneira rigorosa. b) As políticas e os programas desenhados e aprovados pelo governo não perseguem um objetivo único, mas sim objetivos múltiplos, às vezes inconsistentes, e suas metas são definidas de maneira ambígua, da qual emanam não só problemas técnicos, mas também necessidades táticas para assegurar sua aprovação. c) As metas tendem a ser redefinidas no transcurso da implementação. Uma das razões que explica essas modificações e mudanças de metas é o processo de aprendizagem social que uma organização experimenta ao desenvolver um programa. d) A debilidade das tecnologias e informações utilizadas em quase todos os programas sociais permite concluir que as relações causais que vinculam os insumos com os produtos, resultados e impactos não respondem a um conhecimento certo e válido, mas, no melhor dos casos, constituem apenas hipóteses a verificar18 _{(Sulbrandt, 1993, p. 325-326, tradução nossa).}

18 _{“a) Los problemas sociales que se pretenden enfrentar mediante estas políticas y programas son débilmente}

estructurados y no pueden ser definidos de manera rigurosa. b) Las políticas y programas diseñados y aprobados por el gobierno no persiguen un objetivo único sino objetivos múltiples, a veces inconsistentes, y sus metas son

Segundo Sulbrandt (1993) e Rossi e Freeman (1989), esses dificultadores para a realização de uma avaliação de impacto são bastante frequentes, sobretudo se os formuladores do programa não preveem esse tipo de avaliação e, portanto, não se preocupam diretamente com elementos essenciais para sua realização. Além disso, características que hoje assumem as políticas e os programas sociais – falta de continuidade, inconsistência de objetivos e mudanças durante a execução – também dificultam a realização dessas avaliações.

Complementarmente, Ezemenari, Rudqvist e Subbarao (1999) consideram que o problema central da avaliação de impacto é separar os fatores intervenientes, sejam eles observáveis ou não, que também são causa dos resultados obtidos, em concomitância com a intervenção avaliada. Ademais, outros eventos podem estar relacionados aos resultados, mas não ter sido causados pelo projeto avaliado.

Segundo os autores, o problema essencial da avaliação de impacto recai sobre a endogeneidade (endogeneity), situação em que outros fatores afetam simultaneamente a intervenção e os resultados, tornando difícil desvincular o efeito puro da intervenção em análise.

Em educação, parece, pois, que as discussões metodológicas sobre aferição de impacto deveriam centrar-se nas formas de redução e controle da endogeneidade, visto que, por sua natureza e complexidade, sempre haverá outras variáveis concomitantes a considerar.

Um exemplo diz respeito ao tema central deste trabalho: formação continuada de professores. Diversas são as oportunidades de formação continuada que os professores têm durante sua carreira. Há ainda a formação que ocorre no interior da escola, por seus pares. Além disso, a natureza do conhecimento não é estanque, e a cada formação o professor integra mais um ponto a uma rede de conhecimentos que vai construindo ao longo da vida. Aí, a analogia com uma colcha de retalhos é perfeita. Às vezes, um curso ajuda o professor a estabelecer relações para as quais ele atentou numa oportunidade de formação anterior ou até mesmo numa aula que preparou recentemente.

Isso não significa que não seja possível avançar no conhecimento sobre impactos de formação continuada nos professores e alunos, mas antes que é preciso ampliar o

definidas de manera ambigua, lo cual obedece no solo a problemas técnicos sino también a necesidades tácticas para asegurar su aprobación. c) Las metas tienden a ser redefinidas, dentro de cierto rango, en el transcurso de la implementación. Una de las razones que explica estas modificaciones y cambios de metas es el proceso de aprendizaje social que experimenta una organización al desarrollar un programa [...]. d) El carácter blando de las tecnologías utilizadas en la casi totalidad de los programas sociales significa que las supuestas relaciones causales que vinculan los insumos y las actividades con los productos, resultados e impactos no responden a un conocimiento solo hipótesis a verificar” (Sulbrandt, 1993, p. 325-326).

entendimento de avaliação de impacto e, sem dúvida, procurar superar as limitações que se lhe interpõem.

Enquanto que as características exploradas neste texto tornam difícil a execução da avaliação de impacto, tal como definida anteriormente, a lógica de responsabilização social, prestação de contas e gerenciamento demanda, paradoxalmente, o desenvolvimento desse tipo de avaliação, gerando a necessidade de modelos alternativos de análise da efetividade de um programa.

Tais modelos deveriam considerar as informações já existentes, ser factíveis (é ocioso pensar em desenhos complexos e caros que não passem do nível do planejamento por impossibilidade de aplicação) e iluminar o entendimento sobre os resultados das ações realizadas, contribuindo com a gestão pública de serviços educacionais. A busca pela ampliação do conceito de avaliação de impacto começará na próxima seção, com a tentativa de ampliação do conceito de causalidade.