Tipos de avaliação de políticas públicas

As avaliações de políticas públicas podem ser classificadas segundo diferentes critérios em relação ao que se referem, tais como o momento em que são realizadas e aquele que as avalia. Nela são importantes os conceitos de eficiência, eficácia, efetividade, resultados e impactos. Aqui são apresentadas algumas classificações da literatura da área, bem como esses conceitos importantes para a sua compreensão.

Figueiredo e Figueiredo (1986) classificam as avaliações em dois tipos básicos, a avaliação de processos, que visa à aferição da eficácia, ou seja, se o programa está sendo ou foi implementado de acordo com as diretrizes concebidas para a sua execução, e se o seu produto atingirá ou atingiu as metas desejadas, e análise de impacto, que diz respeito aos efeitos do programa sobre a população-alvo, e tem a intenção de estabelecer uma relação de causalidade entre a política e as alterações nas condições sociais. Definindo as avaliações de acordo com o propósito da política ou programa, podem ser de produção de bens ou serviços públicos, cujos objetivos não vão além da própria distribuição de bens e serviços, sem preocupação específica com mudanças, e de mudanças e avaliação de impactos, que tomam por objetivo essencial de análise as mudanças pretendidas nas condições sociais.

O primeiro caso enquadra-se na avaliação de processos, e tem como objetivo acompanhar e aferir se os propósitos, estratégias e execução do programa estão sendo realizados segundo as definições previamente estabelecidas. Nele destacam-se os seguintes tipos de pesquisa: avaliação de metas ou resultados, avaliação de meios e metodologia de implantação e avaliação de custo-benefício e/ou custo-resultado. O segundo caso enquadra-se na análise de impacto da política, que pode causar impactos

objetivos, gerando mudanças quantitativas nas condições da população-alvo, impactos subjetivos, alterando o estado de espírito da população, e impacto substantivo, mudando qualitativamente as condições de vida da população (Id., loc. cit.).

Em função do momento em que se realiza e os objetivos que persegue, a avaliação pode ser classificada em ex-ante e ex-post. A primeira é realizada ao começar o projeto, antecipando fatores considerados no processo decisório. A segunda ocorre quando o projeto já está em execução ou já está concluído e as decisões são adotadas tendo como base os resultados efetivamente adotados. Diferencia-se em avaliação de processos, que determina a medida em que os componentes de um projeto contribuem ou são incompatíveis com os fins perseguidos, e avaliação de impacto, que procura determinar em que medida o projeto alcança seus objetivos e quais são seus efeitos secundários (COHEN; FRANCO, 2002, p. 108-110)

Na avaliação de resultados e de impacto, Cotta (1998, p. 112-113) apresenta os conceitos básicos a serem considerados, a eficiência, eficácia, resultados e impacto das políticas e programas. O conceito de eficiência diz respeito à relação entre os resultados e os custos envolvidos na execução de projeto ou programa e, quando podem ser traduzidos em unidades monetárias, recorre-se à análise de custo-benefício, que pretende verificar se os benefícios líquidos do projeto excedem seus custos operacionais ou a análise custo-efetividade, que coteja os custos com os produtos e o impacto da intervenção. A noção de eficácia se refere ao grau em que se alcançam os objetivos e metas do projeto na população beneficiária, em um determinado período de tempo, independentemente dos custos aplicados. Assim, aferir a eficácia de uma intervenção significa estabelecer um nexo causal entre alguns de seus aspectos e eventuais alterações na situação ou nos atributos dos destinatários. Este tipo de avaliação analisa os resultados do programa em termos de efeito e de impacto.

Um efeito é todo comportamento ou acontecimento que se pode razoavelmente dizer que sofreu influência de algum aspecto do programa ou projeto (COHEN; FRANCO, 2002), ou seja, é todo e qualquer resultado das ações a ele pertinentes. Existem diversos tipos, como efeitos procurados, não procurados, que se subdividem em previstos, positivos e relevantes, e não previstos. A avaliação de resultados busca responder se o programa ou projeto surtiu algum efeito sobre a população-alvo e como classificar tais efeitos. As análises de impacto apontam a efetividade de programas e projetos, estabelecendo o grau de correspondência entre seus

objetos e resultados. Assim, as primeiras visam aferir os resultados intermediários da intervenção e os segundos seus resultados finais.

Em função de quem a realiza, classificam-se em avaliação externa, quando realizada por pessoas alheias a organização-agente e avaliação interna, quando realizada dentro da organização gestora do projeto, avaliação mista, quando avaliadores externos realizam seu trabalho em estreito contato e com a participação dos membros do projeto a ser avaliado e avaliação participativa, que tem como objetivo minimizar a distância que existe entre o avaliador e os beneficiários. Em função da escala dos projetos, levando em consideração o número de pessoas afetadas e a magnitude dos recursos que necessitam, é possível distinguir entre avaliação de projetos grandes e de projetos pequenos (Id., op. cit., p. 111-116).

Faria (1999, p. 44-45) classifica os estudos de avaliação em quatro tipos: ex- ante, que consiste no levantamento das necessidades e estudos de factibilidade que irão orientar a formulação e o desenvolvimento do programa; acompanhamento e monitoramento do programa, que busca a adequação entre o plano e sua execução, tratando-se de avaliar sua eficiência, sendo o fazer certo as coisas; avaliação formativa, de processo ou de eficácia, que tem por objetivo fazer as coisas certas, sendo o trabalho do avaliador acompanhar, observar e testar o desempenho do programa para aprimorá- lo; e avaliação somativa, de resultado ou ex-post, que envolve estudos comparativos entre programas rivais, subsidia a decisão e avalia a maior ou menor efetividade de diferentes tratamentos oferecidos ao grupo-alvo. A autora ainda apresenta o conceito de eficácia como uma dimensão do processo de desenvolvimento e implementação do programa, e o de efetividade como uma dimensão do resultado destinado a averiguar o alcance das metas.