Conceitos de avaliação de políticas públicas

Holanda (2006), numa perspectiva positivista, define o processo de avaliação em duas etapas. Primeiro, a avaliação é um procedimento sistemático de levantamento e análise de dados, o que pressupõe um trabalho de pesquisa formalmente estruturado e um esforço de reflexão e análise crítica visando a formulação de juízos para se chegar a conclusões. E, em segundo lugar, a avaliação pode ser diferenciada por sua forma ou etapa de implementação e, ainda, por seus resultados. A avaliação pode direcionar-se tanto para a forma de execução do programa (avaliação de processo) como para os seus efeitos (avaliação de resultados). No primeiro caso, temos uma avaliação pari passu; no segundo, uma avaliação ex post.

Worthen (1997, p.5) considera que a avaliação é a determinação do valor do mérito de um objeto (o que está sendo avaliado). Ou seja, a avaliação consiste na identificação de critérios defensáveis para determinar o valor, mérito, utilidade, efetividade ou relevância de um objeto submetido a avaliação em relação a esses critérios.

House (1980, p.73) considera que a avaliação não convence, persuade; não demonstra, argumenta; é razoável, não é absoluta; é aceita por muitos, sem ser imposta a ninguém.

Para Weiss (1998, p.73), a mesma seria uma análise ponderada e sistemática da operação e/ou dos resultados de uma política ou um programa em confronto com um conjunto de padrões implícitos ou explícitos, tendo como objetivo contribuir para o aperfeiçoamento desse programa ou política. Avaliar é emitir juízos de valor para aferir o mérito ou o valor de um programa ou intervenção social, tendo como base informações empíricas recolhidas de forma sistemática e rigorosa.

Cohen e Franco (1999), para compor a definição de avaliação, recorreram aos conceitos propostos por duas organizações supranacionais: a Organização das Nações Unidas (ONU) e a Organização Mundial de Saúde (OMS). Ambas enfatizam a avaliação como uma atividade intrínseca ao processo de planejamento, fundamental para melhorar as atividades que estão sendo implementadas.

Cohen e Franco (1999) consideram ainda que a avaliação é um instrumento capaz de decidir se um programa ou projeto é o modo mais eficiente e eficaz para viabilizar a intervenção numa determinada área ou problema. Destacam que desempenha um papel importante no momento de escolha entre dois programas ou projetos alternativos que podem ser implementados.

Aguilar e Ander-Egg (1995) sugerem um percurso bastante complexo para conceituar a avaliação. Nessa obra, os autores selecionaram aproximadamente 20 definições de avaliação, provenientes de diversas áreas do conhecimento e realizadas em diferentes períodos históricos. Dentre os autores dessas definições são encontrados alguns que direcionaram seus estudos para a área de saúde, educação e desenvolvimento comunitário. Também incluem conceitos propostos por organismos supranacionais, como a Organização das Nações Unidas para a Educação, Ciência e Cultura (UNESCO) e a OMS.

[...] uma forma de pesquisa social aplicada, sistemática, planejada e dirigida; destinada a identificar, obter e proporcionar de maneira válida e confiável dados e informação suficientes e relevantes para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa (tanto na fase de diagnóstico, programação ou execução), ou de um conjunto de atividades específicas que se realizam, foram realizadas ou se realizarão, com o propósito de produzir efeitos e resultados concretos; comprovando a extensão e o grau em que se deram essas conquistas, de forma tal que sirvam de base ou guia para uma tomada de decisão racional e inteligente entre cursos de ação, ou para solucionar problemas e promover o

conhecimento e a compreensão dos fatores associados ao êxito ou fracasso de seus resultados (CAVALCANTI, 2007, p. 70 apud AGUILAR; ANDER- EGG 1995, p. 31-32).

Vedung (1997, p.31) afirma que a avaliação é um processo geral e pode ser aplicado a qualquer tipo de comportamento social. É, portanto, um mecanismo que visa controlar as atividades desenvolvidas pelo governo, sistematizar e ajustar os resultados obtidos. Ou seja, preocupa-se com as intervenções realizadas pelo governo e pode ser aplicada a qualquer tipo ou nível institucional.

Para Cavalcanti (2007), dois organismos — BID e o Sistema de Información, Monitoreo y Evaluación de Programas Sociais (SIEMPRO) — contribuíram de forma significativa ao proporem conceitos de avaliação de políticas, programas ou projetos. Para o primeiro, que incorpora o conceito criado pelos especialistas da Organização e Cooperação de Desenvolvimento Econômico/Comitê de Assistência ao Desenvolvimento (OCDE/CAD), a avaliação é:

[…] un escrutinio – lo más sistemático y objetivo posible – de um proyecto, programa o política en ejecución o terminado, y SUS dimensiones de diseño, ejecución y resultados. El propósito ES determinar la pertinencia y logro de los objetivos y la eficiencia, efectividad, impacto y sustentabilidad del desarrollo. Una evaluación debe proporcionar información que sea creíble y útil, para permitir La incorporación de la experiencia adquirida en el proceso de adopción de decisiones tanto del prestatario como de los donantes (OCDE/CAD, 1991 apud BID, 1997, p. 02).

O segundo organismo define a avaliação como “[...] un proceso permanente y continuo de indagación y valoración de la planificación, la ejecución y La finalización del programa social” (SIEMPRO, 1999, p.55).

As duas conceituações consideram a avaliação como ferramenta para gerar informação para a tomada de decisão (dimensão decisional) e acentuam a dimensão integradora (processo inerente ao planejamento). Porém, o BID (1997) utiliza o Modelo de Marco Lógico como fundamento para suas atividades avaliativas e o SIEMPRO (1999) desenvolve a avaliação dentro da perspectiva de Gestão Integral de Programas Sociais Orientada para Resultados.

Ainda para Cavalcanti (2007), no conceito proposto por Niremberg (2000), há três dimensões apontadas: decisional, racional e integradora. Essa autora, ao tratar do conceito de avaliação, enfatiza sua importância para a gestão de

programas. Segundo ela, as informações produzidas pela avaliação amparam o planejamento e a gestão dos programas e projetos.

A avaliação deve ser uma atividade contínua e indissociável do processo de planejamento (formulação, execução e avaliação), e tem como objetivo permitir aos que conduzem o programa e aos outros atores envolvidos “[...] tomar decisiones acertadas, confiables y fundamentadas acerca de como seguir” (NIREMBERG, 2000, p. 121).

Solarte Pazos (2002) destaca ainda que a avaliação adquiriu grande preeminência durante a denominada nova administração pública, pois se tornou uma ferramenta de gestão do governo. Ou seja, o processo avaliativo está estreitamente relacionado com a gestão das políticas públicas e tem como objetivo produzir informações acerca do seu desempenho e rendimento.

As três dimensões ajudam a classificar o conceito de avaliação proposto por Bañón & Martinez (2003). Esse autor, assim como Solarte Pazos (2002), ao determinar o conceito de avaliação, faz uma conexão com a Nova Gestão Pública, o que o aproxima da dimensão decisional. Para ele, a ação pública se manifesta através das políticas, e avaliar é fazer democracia, prestar contas e aprofundar os valores democráticos.

Para Raupp e Reichle (2003), avaliar é emitir juízo de valor a respeito de algum aspecto e determinar até que ponto ele alcança certos padrões desejados. É uma ferramenta utilizada para aumentar a eficácia dos programas e projetos. Através dela é possível corrigir a direção e os processos, tornando-os mais capazes de conseguir os resultados almejados. Para tanto, é necessário o estabelecimento de critérios que permitam a realização de comparação entre o alcançado e o desejado, trazendo à tona as dimensões integradora e racional.

Para Gómez Serra (2004, p.57), a avaliação deve estar presente em todas as etapas do programa ou projeto. Avaliar sempre significa um juízo sobre o valor daquilo que está sendo avaliado. A avaliação deve, portanto, ser um processo contínuo e planejado, para que se possam produzir informações que permitam auxiliar na tomada de decisão.