DIFERENTES ENFOQUES SOBRE OS TIPOS DE AVALIAÇÃO

Para Cohen e Franco (1993), a avaliação pode ser agrupada principalmente em função:

1. do momento em que se realiza e dos objetivos que se procuram alcançar;

2. de quem realiza a avaliação.

Dessa forma, segundo a análise desses autores, no que se refere ao item 1 “do momento em que se realiza e dos objetivos que se procuram alcançar” a avaliação segue os seguintes passos:

• avaliação ex-ante – realizada antes da imple- mentação do projeto, tem como objetivo res-

ponder à seguinte questão: o projeto deve ou não ser implementado?

Nesse tipo de avaliação se encontra o custo-be- nefício a análise custo-efetividade do progra- ma ou política analisada!

• avaliação ex-post – é a avaliação realizada du- rante ou após a execução do programa ou pro- jeto, buscando-se encontrar respostas e/ou informações que fundamentem as seguintes decisões:

a) Devo continuar com o programa ou não? b) Devo manter a confi guração inicial do meu

programa ou alterá-la?

Aqui, pode-se distinguir a avaliação de proces- so e a avaliação de impacto do programa ou projeto!

Para que se entenda melhor como se desenvol- ve esses dois passos distintos da avaliação ex-post é viável que se compreenda o conceito de cada uma delas. Então veja bem:

a) avaliação de processos – é a avaliação realiza- da durante a implementação, tem como obje- tivo medir a efi cácia de operação do programa para realizar correções e adequações caso ne-

cessário. Nesse sentido, a avaliação de proces- sos averigua

em que medida o programa está sendo implemen- tado conforme as diretrizes preestabelecidas e quais as relações entre o produto gerado e as metas pre- vistas ou desejadas. (SILVA E SILVA, 2001, p. 82);

b) avaliação de impacto – é a avaliação realizada após a conclusão do projeto e objetiva medir se o projeto atingiu realmente os seus objeti- vos, bem como identifi car os efeitos (previstos e não previstos) provocados pela intervenção. Ainda segundo Silva e Silva (2001), a avalia- ção de impacto tem como foco as mudanças quantitativas e qualitativas decorrentes de de- terminadas ações sobre a condição de vida de uma população. Portanto, averigua a efetivi- dade de um programa.

Ressalta-se, porém, que esses tipos de avaliação se diferem quanto ao seu objeto, ou seja, quanto à natureza da avaliação. Outros elementos de diferen- ciação entre os modelos aqui apresentados são: a lógica e a fi nalidade da avaliação e os métodos e téc- nicas que, geralmente, também são diferenciados.

Para melhor visualização dos elementos que dis- tinguem um modelo do outro se apresenta no Qua- dro 1 um paralelo entre a avaliação de processo e a avaliação de impactos.

Quadro 1 – Paralelo entre avaliação de processo e avaliação de impactos. Organizado por Silva e Silva (2001, p. 83)

Dimensão Avaliação de processo Avaliação de impactos

Concepção É um procedimento de verifi cação e correção do funcionamento de um programa.

É uma medida de desempenho da ação de um programa (desempenho físico, tangível, mensurável: alteração de índices; desempenho subjetivo: mudança de atitudes, comportamentos, opiniões).

Objeto

Aferição da adequação entre os meios e fi ns, observando o contexto organizacional, institucional, social, econômico e político onde se desenvolve a implementação de um programa.

Estudo do efeito ou resultado de um programa, determinando se houve mudança, magnitude da mudança, segmentos afetados pela mudança e em que medida cada um dos componentes atendidos pelo programa contribuiu para o alcance dos objetivos.

(continuação)

Objetivos

Aferir efi ciência e efi cácia de um programa, oferecendo descrição adequada dos serviços e verifi cando se a população-alvo está sendo atingida. Corrigir o curso de ações durante a implementação, visando sua reorientação em função dos objetivos do programa. Permitir a escolha racional entre alternativas que aumentem a efi ciência do programa. Oportunizar melhor alocação de recursos, permitindo aos administradores a otimização da relação insumo/ produto e aos técnicos, o conhecimento dos aspectos operativos utilizados na implementação do programa.

Medir o resultado dos efeitos de uma política. Servir de medida de desempenho da ação pública. Estabelecer a relação de causalidade entre a política e as alterações das condições sociais.

Momento Realiza-se durante a implementação do programa, olhando para a frente para correções ou adequações.

Realiza-se durante ou depois da implementação do programa, olhando para trás para verifi car se obteve ou não os resultados previstos, identifi cando as causas.

Horizonte Efetua decisões cotidianas, operativas. Dirige-se para fora, para além do programa para tomar decisões sobre a política.

Usuário Administradores e executores do programa. Decididores públicos.

No que se refere ao item 2, “quem realiza a avalia- ção”, pode-se analisar da seguinte forma:

a. avaliação externa – é realizada por pessoas alheias à organização-agente;

Supostamente, são especialistas com experiência e conhecimento de metodologia de avaliação. Esse tipo de avaliação permite comparar resultados de diferentes avaliações, mas pode apresentar o in- conveniente de os avaliadores não dominarem sa- tisfatoriamente a realidade do objeto em avaliação. (SILVA E SILVA, 2001, p. 56)

b. avaliação interna – é realizada dentro da or- ganização gestora do projeto. Segundo Silva e Silva (2001) esta avaliação apresenta a van- tagem da menor possibilidade de resistência e maior conhecimento da realidade, objeto da avaliação por parte dos avaliadores, mas pode também apresentar o inconveniente de ter uma objetividade menor devido ao envol- vimento entre avaliador e avaliado, além da possibilidade do choque de interesses entre os sujeitos envolvidos.

c. avaliação mista – procura combinar avaliado- res externos e pessoas da organização-agente. A avaliação mista procura desenvolver uma combinação entre a avaliação externa e a in-

terna, buscando superar as difi culdades e li- mitações das mesmas, preservando, porém, as vantagens de ambas.

d. avaliação participativa – inclui a participação ativa dos benefi ciários no processo avaliativo.

Por ser um tipo de avaliação que requer a participa- ção da comunidade em todo o processo da avalia- ção (planejamento, programação, execução e ava- liação), é utilizada, particularmente em pequenos projetos. (SILVA E SILVA, 2001, p. 56)

Aguilar e Ander-Egg (1994) agrupam a avaliação segundo o momento, o ciclo do programa e classifi - cam-na da seguinte forma:

a) avaliação antes (ou ex-ante) – tem como pre- ocupação verifi car a pertinência, viabilidade e efi cácia potencial de um programa, ou seja: • Sua pertinência frente à realidade;

• A coerência e congruência internas;

• Os resultados econômicos favoráveis das ações em relação aos objetivos propostos.

Neste caso, estas preocupações são segundo Aguilar e Ander-Egg (1994) orientados e aferidos por meio de três princípios, quais sejam:

1. pertinência; 2. coerência;

b) avaliação durante (ou avaliação da gestão); Os autores citados analisam ainda que a avaliação realizada durante a execução do programa, também denominada como gestão, levanta informações so- bre o andamento do referido programa, aferindo os resultados alcançados. Esse procedimento possibi- lita avaliar se alguma mudança situacional é conve- niente ou não, além de verifi car se os passos pro- postos estão sendo seguidos de forma viável ou não, verifi cando o cumprimento do que foi estabelecido inicialmente.

c) avaliação ex-post.

Para Aguilar e Ander-Egg (1994) a avaliação ex-

post é aquela de impacto, já conceituada anterior-

mente, e que é também conhecida como avaliação

pós-decisão. Essa avaliação tem como objetivo, assim como a avaliação durante, avaliar a efi ciência, os pro- dutos, os efeitos e impactos apresentados pelo pro- grama, bem como avaliar e colocar à disposição co- nhecimento e experiência para orientar outros pro- gramas que poderão ser desenvolvidos futuramente.

A avaliação ex-post diferencia-se da avaliação realizada no fi nal do programa, ou seja, aquela re- alizada imediatamente à sua conclusão, mas tanto a avaliação durante como a avaliação ex-post têm dupla fi nalidade ou seja:

• avaliar o ganho dos resultados gerais em ter- mos de efi ciência, produtos, efeitos e impactos; • adquirir conhecimento e experiências para

programas futuros.

+

Para Browne e Wildavsky (1984, apud SILVA E SILVA, 2001, p. 55) levando-se em consideração o cri- tério de tempo em que a avaliação, esta pode ser:

Retrospectiva - quando expressa o desempenho de um programa que foi implementado no passado; Prospectiva – quando indica como poderá ser o desempenho provável de um programa no futuro; Formativa – quando a avaliação é desenvolvida durante o processo de implementação do programa; Contínua – quando envolve avaliação formativa e retrospectiva;

Integrativa – quando ela ocorre antes e depois da implementação do programa.

QUESTÕES METODOLÓGICAS INERENTES