Em 1996, em exposição no Seminário Avaliação de Políticas e de Programas Sociais, organizado pelo Instituto de Estudos Especiais da PUC-SP, Marta Arretche ressaltava a fraca tradição brasileira na avaliação de impacto (efetividade) de políticas públicas, identificando essa tendência como uma supressão do “exercício de um importante direito democrático: o controle sobre as ações do governo” (Arretche, 2009, p. 37).
Mesmo com o aumento do número de avaliações de programas realizados, pode-se dizer que, no Brasil, ainda está por se estabelecer a cultura do entendimento da avaliação como uma das etapas da política e da gestão administrativa.
À ideia de avaliar programas subjaz a avaliação dos profissionais envolvidos e, portanto, produz resistências, abertas ou veladas, falsos entendimentos sobre os propósitos da avaliação para fins de accountability ou ainda aplicações equivocadas do conceito, visando apenas à dimensão de gestão.
Lobo (2009) acrescenta que a cultura de gestão pública brasileira tende a inibir as práticas avaliativas:
[...] a ameaça sentida, e não necessariamente real, de perda de poder, com a possível vinda à luz de práticas indesejáveis e resultados inexpressivos ou mesmo inexistentes, diante dos gastos ocorridos, impede qualquer iniciativa que alguns mais afoitos, ou mais conscientes, queiram tomar (Lobo, 2009, p. 77).
Ao analisar a experiência de implementação de um sistema de Avaliação e Gestão da Informação do Ministério de Desenvolvimento Social e Combate à Fome, Vaitsman, Rodrigues e Paes-Sousa (2006) arrolam fatores que geraram dificuldade na implementação da experiência.
Junto ao desconhecimento, encontrou-se também alguma resistência. Como observou Wildawsky, há muitos anos as organizações não gostam de ser avaliadas (1979). Era comum a confusão entre, por um lado, avaliação e, por outro, fiscalização e controle. A avaliação tampouco era vista como “necessidade”, e muito menos prioridade, uma vez que, para os responsáveis pelos programas, o objetivo principal era conseguir, eles mesmos em circunstâncias adversas, o cumprimento de suas metas físico-financeiras. Junto a isso, uma vez que o tempo político não coincide com o tempo da produção de conhecimento, frequentemente identificava-se a ideia de pesquisa a uma atividade “acadêmica”, e não como prática para a produção de conhecimento que, ao seguir procedimentos metodologicamente apropriados, pode ser mais demorada (Vaitsman; Rodrigues; Paes-Sousa, 2006, p. 16-17).
No campo da educação, essa tendência de não aceitação da avaliação de programas não é menos vigorosa, ainda que se possam assinalar algumas ações, sobretudo patrocinadas pelo poder público, que buscaram aferir efeitos de inovações educacionais ou programas de larga abrangência. Exemplos de avaliações de impacto no setor educacional seriam a avaliação de impacto do Monhangara (Pestana, 2009, p. 55), as avaliações do Programa de Expansão e Melhoria do Ensino no Meio Rural do Nordeste Brasileiro (Edurural), Jornada Única em São Paulo (1992) (Vianna, 2005a, p. 143-176), do Programa de Educação Continuada (PEC), a avaliação de impacto do Programa de Formação de Professores em Exercício (Proformação) (André, 2008), a avaliação do processo de inovações no Ciclo Básico e seu impacto sobre a situação de ensino--aprendizagem na Região Metropolitana de São Paulo (Neubauer; Davis; Sposito, 1996) e a avaliação do programa Um Salto para o Futuro (Barreto, 1997), entre outros.
Segundo diversos autores, foi a partir do fim do século XX, notadamente a partir da década de 1980, que começou a expansão das avaliações de processo ou de resultados em âmbito local ou nacional (Rus Perez, 2009; Pestana, 2009; Vianna, 2005a; Sousa, 2005). Até então, a ênfase incidia sobre a avaliação discente, sobretudo com testes e medidas focados no desenvolvimento psicológico dos indivíduos e dos grupos (a partir da década de 1960) e dos currículos e programas (notadamente a partir de meados da década de 1970). (Freitas, 2007; Sousa, 2005; Vianna, 2005a; 1978
Sousa (2005) e Barreto et al. (2001) registram a amplitude da produção da Fundação Carlos Chagas e sua relevância, desde os primeiros anos da década de 1970, para o desenvolvimento das reflexões teórico-metodológicas sobre a avaliação de projetos e
programas educacionais no Brasil, inclusive incorporando o modelo Context-Input-Process-
Product (Cipp), proposto pelo estadunidense Daniel Stufflebeam, que concebia a avaliação
voltada para a tomada de decisões (Barreto, 2001).
Tanto Sousa (2005) quanto Barreto et al. (2001) salientam que, inicialmente, as pesquisas da Carlos Chagas se aproximaram da avaliação de currículos para, a partir da década de 1990, se concentrar na avaliação de projetos associados a políticas educacionais de relevo. Barreto et al. (2001) notam a ênfase metodológica em desenhos de pesquisa e análises de teor qualitativo que dominaram as avaliações de programas, incluindo as que buscavam aferir impactos.
De todo modo, a partir dos anos 1990 intensificaram-se as investigações sobre o impacto de políticas ou programas educacionais na qualidade do ensino. Esse impulso pode ter decorrido dos resultados das diversas avaliações de sistema que passaram a ser feitas no Brasil ou da influência das agências financiadoras dos diversos programas que foram implementados com o objetivo de melhorar a educação brasileira.
Exemplos dessas avaliações de impacto são a Avaliação do Processo de Implementação e do Impacto das Ações do Projeto de Educação Continuada, realizada pelo Núcleo de Estudos de Política e Gestão da Educação da Universidade Federal do Rio Grande do Sul, e o estudo sobre o Impacto Socioeducacional do Programa de Educação a Distância para a Formação de Professores da Educação Básica das Universidades Públicas de Mato Grosso, realizado pelo Núcleo de Educação Aberta e à Distância, da Universidade Federal de Mato Grosso, dentre outros já citados alhures.
Apesar de fundamentais para a construção do corpus teórico nacional sobre avaliação de impacto de programas educacionais, essas experiências ainda são recentes e relativamente escassas, para que se argumente que estudos de impacto são tradicionais na pesquisa ou na avaliação brasileiras.
É preciso avançar no sentido da maior institucionalização das avaliações não no plano meramente administrativo, fiscalizatório ou burocrático-formal, mas no plano formativo, que busque avançar no controle social sobre as intervenções realizadas e também no uso dos resultados obtidos para mudança de rumo, reajustes e melhorias, tendo como horizonte o desenvolvimento da gestão do que é público no Brasil.
É a partir do acúmulo do conhecimento nessa área que se avançará metodologicamente em termos de avaliação dos diversos programas – e de seus efeitos – e, nesse sentido, constituir modelos de gestão comprometidos com a consecução dos direitos dos cidadãos e a melhoria da condição humana.