Tipos de avaliação de programas ou políticas públicas

Os teóricos das políticas públicas, principalmente aqueles envolvidos com sua avaliação, apontam diferentes critérios de classificação dos tipos de políticas ou programas. Provavelmente isso se deve aos trabalhos teóricos iniciados nos Estados Unidos e, mais adiante, na Europa com trabalhos diversos desenvolvidos por espanhóis, ingleses, franceses e, posteriormente, outros mexicanos, para citar alguns mais destacados.

Há relativo consenso entre os mais diversos autores da área de avaliação de políticas

públicas de que os tipos de avaliação variam de acordo com o momento em que se processa a atividade avaliativa (ex ante, durante ou ex post), segundo a função que desempenha (formativa ou somativa), a procedência dos avaliadores (externa ou interna) e os aspectos do programa ou política que serão avaliados (desde o plano aos resultados). Autores como Figueiredo e Figueiredo, A. (1986), Ballart (1992), Aguilar e Ander-Egg (1994), Elmore (1996), Afonso (1999, 2000), Sanchez (2002) e Worthen, Sanders e Fitzpatrick (2004), dentre outros, concordam com essa divisão.

Por esse critério, é possível uma distinção tríplice:

a) avaliação ex ante (antes) – também chamada inicial ou pré-decisão (LANCE, 1982; ROSSI; FREEMAN, 1982, apud AGUILAR; ANDER-EGG, 1994). É realizada em uma etapa anterior à decisão de se empreender um projeto ou programa ou mesmo antes de sua aprovação. Constitui-se em levantamento das necessidades e estudos de factibilidade que orientam a formulação e a tomada de decisão, produzindo parâmetros e indicadores que possam ser incorporados ao projeto, aperfeiçoando seu desenho e as estratégias metodológicas e de implementação. Além disso, possibilita se fixar uma linha de base, um tempo zero ou ponto de partida que permite comparações no futuro. É denominada por Draibe (2001) como avaliação- diagnóstico. Avalia-se o programa via uma estimativa crítica de sua “[...] pertinência, viabilidade e eficácia potencial com a finalidade de proporcionar critérios racionais sobre [sua] conveniência” (AGUILAR; ANDER-EGG, 1994, p. 41). Muito frequentemente, cuida de fazer comparações quanto à eficácia ou à rentabilidade econômica das ações planejadas com vistas ao alcance dos objetivos. Constitui-se de três aspectos: pertinência do programa ou projeto com a realidade: estabelecimento da coerência entre as soluções propostas e a situação que se pretende alterar; coerência e congruência internas: composta de uma análise que atende aos aspectos formais do projeto, sua organicidade e sua relação dos objetivos com os recursos, os objetivos gerais, especiais e as metas – faz-se um diagnóstico e as proposições; rentabilidade econômica das ações propostas para o alcance dos objetivos elencados;

b) avaliação durante a execução – também chamada de avaliação da gestão, contínua, concorrente, monitoração ou concomitante ou de processo. É uma avaliação que se realiza durante a execução e informa o passo a passo do desenvolvimento de um programa ou política com perspectivas dos resultados, podendo dar oportunidades de alterações à situação proposta inicialmente e acompanhando o desenrolar das ações planejadas. Muitas vezes confundida com controle operacional, diferencia-se deste por permitir juízos de valor sobre os

pressupostos que fundamentam o programa ou política e, a partir daí, tomar decisões quanto à sua continuidade ou não. É um tipo de avaliação que alimenta a retroação permanente durante o processo em que se desenvolve o programa ou política;

c) avaliação ex post – é aquela que se realiza ao final do projeto ou programa ou ocorre concomitantemente ou após a implementação da política. Draibe (2001, p. 30) indica que, nessa fase, “[...] buscam identificar os fatores facilitadores e os obstáculos que operam ao longo da implementação e que condicionam, positiva ou negativamente, o cumprimento das metas e objetivos. Tais fatores podem ser entendidos como condições institucionais e sociais dos resultados”. Diferencia-se da avaliação do fim do programa (aquela que se faz logo depois de concluída a fase de execução). Ex

post se realiza quando todo o programa, projeto ou política alcançaram seu pleno desenvolvimento. É também reconhecida como avaliação de impacto ou avaliação pós-decisão. É importante para dimensionar o que se alterou na situação inicial, observando se foram alcançados os objetivos e avaliando a “[...] eficiência, produtos, efeitos impacto, [aquisição de] experiência para outros programas ou projetos futuros” (AGUILAR; ANDER-EGG, 1994, p. 42-43).

B) Função ou papel que a avaliação deve cumprir

São diferentes enfoques que a avaliação toma segundo aquilo a que se propõe. Há referência aos papéis que a avaliação pode tomar em diversos autores que tratam do assunto. Assim, Aguilar e Ander-Egg (1994), Ballart (1992), Worthen, Sanders e Fitzpatrick (2004), com base nas necessidades dos usuários destacadas por Scriven (1967), indicam as funções apresentadas a seguir.

a) avaliação somativa – aquela que é caracterizada pelos resultados de um programa, o grau de alcance dos objetivos ou fins propostos. Determina valor, investiga efeitos e julga a pertinência ou não de continuidade do programa ou da política;

b) avaliação formativa – é referente ao acompanhamento que se realiza durante o processo de execução do projeto, programa ou política. Informa sobre o andamento do processo e permite a correção de rumos durante a execução.

Para Agulilar e Ander-Egg (1994), essa é uma distinção válida, visto que não se deve desprezar uma em detrimento da outra (são complementares), e a prevalência de uma sobre a outra dependerá do contexto e da situação concreta da avaliação. Também Worthen, Sanders e Fitzpatrick (2004) advertem quanto às dificuldades de se desvincular uma função da outra, pois a linha divisória entre elas pode ser muito tênue.

C) Procedência dos avaliadores

Seguindo esse critério, é possível a enumeração de quatro tipos de avaliação apresentadas a seguir.

a) avaliação externa – busca recorrer a avaliadores que não têm vinculação direta nem indireta com quem executa o programa, projeto ou política objeto da avaliação. Geralmente, são especialistas que são contratados para a tarefa de proceder à avaliação de todo o programa ou de parte dele, de acordo com os interesses da instituição executora;

b) avaliação interna – realizada com a participação de quem pertence à gestora ou executora do programa sem, no entanto, fazer parte da equipe responsável pelo desenvolvimento do programa ou projeto;

c) avaliação mista – composta pela combinação das duas anteriores usando avaliadores externos e internos (que pertencem à equipe executora);

d) autoavaliação – é aquela realizada pelas próprias pessoas responsáveis pela execução que ficam encarregadas de julgar se as atividades realizadas condizem com o planejamento e com as metas e os objetivos propostos.

D) Aspectos objetos de avaliação

Para Aguilar e Ander-Egg (1994), esta é uma das classificações mais úteis porque considera os aspectos que são objetos de avaliação. Com base nesse critério, os tipos de avaliação que dele resultam têm implicações metodológicas e exigem técnicas importantes que costumam ser referenciadas por sua forma de classificação. Como nesse ponto não há confluência dos avaliadores e estudiosos do tema, Aguilar e Ander- Egg (1994) enumeram algumas classificações de acordo com as propostas dos diferentes autores.

Esse autores iniciam as classificações com os espanhóis Luque e Casquete (1989) que indicam as avaliações de: necessidades, processos, resultados, eficácia e custos. Como utilizam a classificação com critérios distintos e não simultâneos, é possível induzir ao erro. Outro autor, também espanhol, Caride Gómez (1989), aponta quatro tipos de avaliação: de contexto/avaliação de necessidades, do plano, do processo e do produto. Essa classificação, para Aguilar e Ander-Egg (1994), é ajustável à avaliação tripartida (ex ante, durante e ex post).

Já Alvira (1991) usa um critério analítico/lógico hierarquizado de avaliação: de necessidades, do plano/conceitualização do programa de intervenção, da avaliabilidade, da implementação, da cobertura, da monitorização e seguimento do programa, de resultados, de impacto e também de avaliação econômica.

Para o campo da saúde, é aceita a classificação de Peneault e Daveluy (1987) e de Donabedian (1966,1984) que indicam a avaliação: da estrutura, do processo e dos efeitos. Aguilar e Ander-Egg (1994) assinalam que essa é uma classificação muito útil em programas de saúde, porque usa uma série de recursos organizados para a prestação de determinados serviços e atividades, com vistas ao alcance dos objetivos. Por outro lado, consideram-na precária para os serviços sociais.

A proposta de Rossi/Freeman (1989) e Ruthman (1977) é semelhante à anterior, mas tem mais acessibilidade aos programas sociais. Compõe-se de avaliação: do plano além de conceitos de programa, da instrumentação e desenvolvimento do programa e da efetividade e eficiência do programa.

Ao apresentarem sua própria proposta, Aguilar e Ander-Egg (1994) destacam que ela é também compartilhada por Espinoza Vergara (1993) e distinguem dez áreas da avaliação das quais sete estão atreladas à coerência interna do programa e três à coerência externa. Chamam as primeiras de avaliação formal e, no segundo caso, de avaliação substantiva, resumidas em uma tríplice diferença de avaliação: do plano e conceituação do programa, da instrumentação e seguimento do programa (processo) e da eficiência e eficácia do programa (de resultados).

Cabe aqui um destaque na classificação de Aguilar e Ander-Egg (1994), ao indicarem, na avaliação da instrumentação e seguimento de programas ou projetos, a avaliação da implementação, objeto da presente pesquisa. Nesse aspecto, propõem que, nessa fase, se avaliem aspectos técnicos da operacionalização, aspectos estruturais e se proceda à verificação dos meios e instrumentos utilizados. Essa etapa avalia se os meios e instrumentos selecionados são: necessários, suficientes, idôneos, potentes, eficazes. Isso implica saber se estão contribuindo para que o programa seja exitoso, se são suficientes para o alcance das metas e dos objetivos, se são capazes de cumprir o que se estabeleceu como metas, de atacar positivamente os problemas e obstáculos que, porventura, aparecerem, e se são eficazes na relação com os propósitos e objetivos estabelecidos.

As indicações de Aguilar e Ander-Egg concordam com a classificação descrita por Figueiredo, M. e Figueiredo, A. (1986), que realizaram um levantamento sistemático dos trabalhos publicados sobre a avaliação e estudos de avaliação de políticas públicas e sociais no Brasil. Distinguem a avaliação política – que “[...] consiste [...] em atribuir valor às políticas, às suas consequências, ao aparato institucional em que elas se dão e aos próprios atos que pretendem modificar o conteúdo dessas políticas” (p. 108) – da

avaliação de políticas, destacando a importância e a necessidade dessa distinção. Com base em critérios preestabelecidos que evidenciem a importância de determinada política em relação a outras, consideram a avaliação política como uma etapa preliminar, preparatória, uma análise e clarificação do critério ou critérios que dão fundamento a determinada política e às justificativas de sua adoção em detrimento de outras.

Ao utilizarem métodos das pesquisas sociais, a avaliação de políticas, para Figueiredo, M. e Figueiredo, A. (1986), busca, em última instância, a verificação do sucesso ou fracasso de um programa ou política social. A escolha do método para isso dependerá mais do objetivo, do escopo social da política ou do programa do que da escolha daquele que avalia. Para esses autores, a pesquisa avaliativa pode figurar como: avaliação de processo e avaliação de impacto.

a) avaliação de processo – verifica a eficácia, se a implementação ocorre conforme foi concebida e se seu produto atingirá as metas e os objetivos propostos, possibilitando o acompanhamento pelos responsáveis;

b) análise de impacto– verifica os efeitos do programa ou política sobre a população que pretende atingir, estabelecendo uma relação de causalidade entre a política e as mudanças no meio social.

Por outro lado, Meter e Horn (1996) consideram que a pesquisa que envolve a implementação de políticas deve procurar verificar se a instituição que a propõe é capaz de arregimentar os recursos materiais e humanos em determinada unidade que possa implementar a política ou o programa proposto. Por isso, a etapa de implementação irá envolver: decisões prévias que estabeleceram os objetivos e metas e a promulgação da legislação juntamente com as providências dos recursos necessários para a consecução do que foi proposto.

Ao focalizar a avaliação de políticas públicas, é interessante observar que a manutenção, pelo pesquisador, da objetividade, na coleta e interpretação dos dados, e o possível aperfeiçoamento dos recursos instrumentais que utiliza em suas investigações, poderão permitir o avanço do conhecimento na área pela adoção de procedimentos semelhantes em situações futuras.

Elmore (1996) propõe dois modos de investigar a implementação de políticas públicas: o modelo prospectivo (forward mapping) e o modelo retrospectivo (backward mapping).

Esse autor destaca que as investigações sobre a implementação trazem muitas descrições e poucas prescrições, talvez porque a grande parte desses trabalhos se constitui de estudos de caso que podem ser considerados pelos investigadores como casos particulares e, portanto, não são passíveis de maiores generalizações.

O modelo prospectivo, como o próprio nome indica, faz projeções para a execução da política ou programa. As previsões das atividades que deverão ser cumpridas são, geralmente, feitas pelos formuladores da política, que se utilizam de uma estrutura centralizadora na qual é forte o controle hierárquico, no sentido top-down para interferir na implementação que, ao longo de uma sequência de passos específicos, eles preveem o esperado pela equipe ou pessoas responsáveis por implementar a política. Ao final do processo, já se estabelece com uma maior precisão qual o resultado considerado satisfatório, em contraste com a intenção original. É um modelo que comporta muitas variantes.

Esse modelo é iniciado pela proposição de um objetivo e, a partir daí, elabora-se um conjunto cada vez mais específico, ou sequência de passos, que possa propiciar o alcance do objetivo além de ter determinado o resultado com o qual se pode medir o

êxito ou o fracasso da proposição. É um tipo de modelo que está de acordo com o marco tradicional da análise de políticas como também com as técnicas convencionais da ciência administrativa e de análise de decisões, como a técnica de avaliação e

revisão de programas conhecida como Program Evaluation and Review Technique (PERT) e o método da rota crítica (ELMORE, 1996).

Para o supracitado autor, não basta apenas estabelecer os objetivos e as ações que se pretendem e distribuí-los pelas camadas administrativas hierarquizadas para que seja garantida sua efetividade e assegurada sua viabilidade. Elmore (1996) indica que seja incluída a descrição dos principais atores políticos, assim como os acordos que devem ser estabelecidos entre eles em cada nível e das tecnologias que podem ser necessárias para a sua implementação.

No entanto, Elmore (1996) destaca as debilidades e limitações do modelo prospectivo como uma técnica analítica. Aponta, como o maior defeito dessa proposta, “[...] o suposto implícito e inquestionável de que os elaboradores de políticas controlam os processos organizacionais, políticos e tecnológicos que condicionam a implementação” (ELMORE, 1996, p. 254, tradução nossa, grifos do autor). Explica que é uma ideia equivocada acreditar que os elaboradores de políticas possam exercer algum tipo de controle que seja direto e determinante sobre o processo de implementação, considerando essa possibilidade como a “ilustre mentira” da administração pública e de análises políticas convencionais, o que explica ainda que a prática do modelo prospectivo, apesar de suas limitações, é a ausência de alternativas mais apropriadas que possam se contrapor ou se adequar mais acertadamente à análise e propostas avaliativas do processo de implementação.

Por outro lado, o modelo retrospectivo vai na contramão do desejo, por parte dos funcionários que elaboraram a política, de participar do processo de implementação e dos resultados que possam advir das decisões tomadas. Questiona também o direito de os elaboradores exercerem sua influência sobre o processo de implementação.

Também põe em dúvida o pressuposto de que as diretrizes políticas explícitas, a determinação precisa das responsabilidades administrativas e a definição exata dos resultados, necessariamente, aumentam a probabilidade de que as políticas sejam implementadas com êxito (ELMORE, 1996, p. 256, tradução nossa).

Esse modelo não parte da cúpula do processo de implementação, mas do ponto de encontro das ações administrativas com as decisões pessoais. Também não tem início com a fixação de objetivos ou a declaração de intenções, mas sim das definições do comportamento específico que, estando em nível abaixo do processo de implementação, gera a necessidade de estabelecimento de uma política, para só daí partir para a etapa de descrição e análise dos objetivos. Esses objetivos são definidos, em princípio, como um conjunto de operações e, posteriormente, como um conjunto de efeitos e resultados que darão lugar às operações.

Após o cumprimento dessas etapas e estabelecidos, precisamente, os objetivos que irão corresponder ao nível inferior do sistema, a análise retrocede por meio das estruturas das instâncias responsáveis da implementação. São esclarecidas duas questões: qual a capacidade que essa unidade tem para afetar o comportamento desejado pela política? E que recursos requer para o alcance desse objetivo? E, como última etapa, o analista ou o funcionário responsável por formular uma política que assevere os recursos requeridos por aquelas unidades da organização que possam proporcionar maior probabilidade de se lograr o maior efeito possível entre aqueles ensejados.

É, portanto, um modelo que parte da base e, embora tenha o ponto de vista dos responsáveis pela elaboração das políticas em relação ao processo de implementação, não pressupõe que a política seja a única ou a principal influência que se exerce sobre o comportamento das pessoas envolvidas nesse processo. Também não considera que a adesão à intenção original das autoridades constitua o critério absoluto do êxito ou do fracasso de uma política. Muito pelo contrário, o modelo retrospectivo pressupõe critério condicional para determinar o sucesso da política. Assim, o êxito se define com a capacidade limitada da totalidade das organizações públicas para modificar o comportamento pessoal. Parte do princípio de que quanto mais próximo se está do problema maior será a capacidade de influenciá-lo e, ainda, que a capacidade que tem os sistemas complexos para solucionar os problemas é independente do controle

hierárquico, mas depende, em parte, da capacidade de delegação do poder de decisão o mais próximo possível de onde o problema acontece (ELMORE, 1996).

Esse autor destaca a importância da capacidade de negociação e a correspondência mútua entre os vários níveis da administração. Se, no modelo prospectivo, essa relação é direta do topo para a base, no modelo retrospectivo, vai em sentido oposto e respeita a experiência daqueles que estão próximos da ação, distribuindo, de forma mais igualitária, o poder de decisão e de ação e a possibilidade de coalizões mais resistentes com a diluição das responsabilidades pelo sucesso ou pelo fracasso da implementação das políticas. Quando a implementação se centra essencialmente no controle das condições, a consequência mais imediata é a redução da confiança nos desdobramentos, nos saberes e habilidades em nível operativo, ainda que se dependa mais de soluções abstratas e homogêneas.

Pelo exposto, fica evidenciado que o êxito de uma política é dependente do espaço de negociação entre os administradores do topo e os administradores/operadores da base. Assim, importa aceitar que os resultados das políticas não serão definitivos, não podem ser definidos com absoluta precisão ou serem medidos e objetivados. Implica que haja liberdade de condições ou restrições para que a comunicação possa fluir melhor e tenha reciprocidade nas interações entre os superiores e os subordinados. Assim, mecanismos de negociação e adaptação são condições prioritárias para a obtenção dos efeitos desejados por toda a organização.