NATUREZA E MOMENTOS DAS AVALIAÇÕES

Quanto à natureza, as avaliações podem ser formativas e /ou somativas. As avaliações formativas estão relacionadas à formação do programa. Adotadas durante a implementação, são voltadas para a análise e produção de informação sobre os processos de implementação. Geram informações para os que estão diretamente envolvidos com o programa, com o objetivo de fornecer elementos para realização de correções de procedimentos para melhorar o programa.

As avaliações somativas estão vinculadas à análise e produção de informações sobre momentos posteriores. São realizadas quando o programa está sendo implementado há algum tempo ou após a sua implementação, para verificar a sua efetividade e fazer o julgamento do seu valor geral.

Quando se leva em conta o momento de sua realização, podem ser identificadas como Cohen e Franco (2004) apontam a seguir.

Avaliação ex-ante é aquela realizada ao começo de um programa, com o fito de dar suporte à decisão de implementar ou não o programa, e ordenar os vários projetos segundo sua eficiência para alcançar os objetivos determinados. O elemento central dessa avaliação é o diagnóstico, que auxilia na alocação dos

recursos disponíveis de acordo com os objetivos propostos. Para essa avaliação, podem ser utilizadas as técnicas de análise custo-benefício e análise custo- efetividade, que é mais afeita aos programas sociais.

Avaliação ex-post é praticada durante a execução de um programa ou ao final, quando as decisões são baseadas nos resultados alcançados. Nesse tipo de avaliação julga-se quando um programa está em execução, se ele deve continuar ou não, com base nos resultados obtidos até o momento e, se a resposta for positiva, se deve manter a formulação original ou sofrer modificações.

Quando o programa já foi concluído, julga-se a pertinência do uso futuro da experiência, ou seja, se o mesmo tipo de programa deve ser implementado novamente ou não. A avaliação ex-post é a mais desenvolvida metodologicamente e a que tem tido maior aplicação.

Ainda é possível distinguir dois enfoques, segundo os tipos de problemas ou perguntas que as avaliações respondem, de acordo com Cohen e Franco (1994). Draibe (2001), ao tratar das avaliações (tipologia), mostra a importância de explicitar o tipo e a natureza das avaliações, as quais se distinguem em avaliação de impacto e avaliação de processo.

A autora acrescenta ser comum querer saber dos programas; se estes cumpriram seus objetivos ou não, se estão atendendo ao que está nos documentos normativos ou se atendem às expectativas e interesses dos beneficiários ou não. Nesse âmbito de discussão, Draibe (2001, p. 20-21) afirma que:

As avaliações de processo têm foco o desenho, as características organizacionais e de desenvolvimento dos programas. Seu objetivo é fundamentalmente detectar os fatores que, ao longo da implementação, facilitam ou não impedem que um dado programa atinja seus resultados da melhor maneira possível.

Essa modalidade tem algumas especificidades, conforme Silva (2001). Quanto à concepção, esse modelo pode ser concebido como um procedimento de verificação e correção do funcionamento de um determinado programa.

Carvalho (2003) faz algumas observações, evidenciando que as avaliações, no geral, distinguem-se nas modalidades de avaliação de impacto e avaliação de processo, estruturadas, em geral, em metodologias de análise comparada entre o antes e o depois, ou mesmo entre o proposto e o realizado e entre os meios e fins.

Conforme esse entendimento, Carvalho (2003, p. 186) explicita sua compreensão avaliação de processo:

A avaliação de processo visa acompanhar e avaliar a execução dos procedimentos de implantação dos programas e políticas e diferencia se em avaliação de eficácia e de eficiência. O objeto central dessa modalidade é avaliar a adequação dos meios e recursos utilizados perante os resultados parciais ou finais, referenciados aos objetivos e metas propostos pela política ou programa. Ressalve se, contudo, que avaliar processo não pode se confundir com monitorar programas, uma ferramenta do gerenciamento aplicada a execução.

A autora ainda afirma que avaliação, por sua vez, não se confunde com a sequência final desse processo, por outras palavras, a avaliação se dá ao longo de todo processo, seja na formulação, seja na implementação, ou mesmo nos impactos ou efeitos provocados por etapas anteriores.

Os seus objetivos dizem respeito à aferição da eficácia do programa em análise, oferecendo descrição adequada dos serviços e verificando se a população- alvo está sendo atingida. Busca também corrigir o curso de ações durante a implementação, visando sua orientação em função dos objetivos do programa. Tentando explicar melhor as avaliações de processo e de impacto, Cotta (2001) as conceitua conforme a abordagem que ora se apresenta.

Observando as abordagens/conceituações, destacam-se as seguintes: a) Avaliação de processos: realizada durante a implementação do programa, diz respeito à dimensão de gestão. É uma avaliação periódica que procura detectar as dificuldades que ocorrem durante o processo de implementação para efetuar correções ou adequações.

b) Avaliação de impactos ou resultados: tem objetivos mais ambiciosos, respondendo se o programa funcionou ou não. Procura verificar em que medida o programa alcança seus objetivos e quais são os seus efeitos, indagando se houve modificações na situação-problema que originou a formulação do programa, após sua implementação. Serve de suporte para decisão sobre política, como continuação do programa e formulação de outros. É a avaliação mais complexa, pois envolve o julgamento sobre hipóteses, tais como: (1) uma solução se aplica a outras realidades, ou apenas a determinado contexto?; (2) as mudanças observadas na situação-problema se devem à intervenção ou a outros fatores?; (3) as mudanças são permanentes ou temporárias, cessando com a interrupção do programa?

Carvalho (2003, p, 186), tratando da avaliação de impacto, enumera algumas características que as considera fundamentais:

A avaliação de impacto é aquela que focaliza os efeitos ou impactos produzidos sobre a sociedade e, portanto, para além dos beneficiários diretos da intervenção pública, avaliando se sua efetividade social. Dois pressupostos orientam a avaliação de impacto. O primeiro reconhece propósitos de mudança social na política em análise com base e, neste caso, faz sentido estruturar a investigação para mensurar seus impactos. O segundo pressuposto é que estrutura análise com base em uma relação causal entre a política ou programa e a mudança social provocada.

Já Cotta (2001, p. 113) prefere estabelecer uma diferenciação entre avaliação de resultados e avaliação de impacto. A autora assegura que a avaliação depende eminentemente do escopo da análise: se o objetivo é inquirir sobre os efeitos de uma intervenção sobre a clientela atendida, então se trata de uma avaliação de resultados; se a intenção é captar os reflexos dessa mesma intervenção em contexto mais amplo, tem-se uma avaliação de impacto.

Didaticamente, podem ser resumidas as classificações predominantes das avaliações quanto à natureza e a algumas características, conforme Quadro 3:

Quadro 3 – Classificação e características das avaliações

CLASSIFICAÇÃO CARACTERÍSTICAS

AVALIAÇÃO DE PROCESSO:

 Determina a medida que os componentes de um projeto, programa contribuem ou são incompatíveis com os fins perseguidos.

 Distingue-se da avaliação de impacto pelo objeto e pelo objetivo do estudo. Seu objeto é aferição da adequação entre meios e fins, considerando o contexto em que a política está sendo implementada, os aspectos organizacio- nais, institucionais, social, econômico e político.

 É importante no sentido de corrigir algumas falhas no processo de implementação.

 É implementada e avaliada ao mesmo tempo.  Olha para frente e pensa em correções e

adequações.

 Permite antecipar, pelo menos em parte, o efeito desejado.

AVALIAÇÃO DE IMPACTO:

 Procura determinar em que medida o projeto/programa alcançou seus objetivos e quais efeitos secundários ou não (previstos e não previstos, dentre outros).

 Tem como objetivo medir os resultados dos efeitos de uma política. Ainda, determinar se houve modificação; a magnitude dessa modificação; quais segmentos foram afetados e em que medida.

 É imprescindível pelo fato de tentar ver o antes e o depois, pós-implementação do projeto/ programa. Objetiva conhecer se os resultados foram alcançados e o que fazer/como proceder para ser reorganizado, reelaborado.

 Pode também ser redesenhado a partir da avaliação.

 Geralmente compara o antes ou programado com o depois realizado.

 Olha para trás e procura conhecer as causas das relações entre a política, programa/projeto e os efeitos observados.

De um modo geral, para Cohen e Franco (1993), os estudos sobre avaliação de políticas ou projetos sociais podem ser resumidos em: investigação, investigação avaliativa, avaliação e monitoramento. Segundo os autores, a forma de conceber diferencia-se pelo fato de explicitarem como são explicadas, qual o objeto de avaliação, quais os objetivos e as técnicas que serão utilizadas.

Reiterando o Quadro 3, apontado sobre os dois tipos de avaliação pelo fato de serem realizadas comumente, pelo menos durante esta pesquisa bibliográfica, foram as mais presentes nos livros, sítios especializados, dentre outros. Assim, form pontuadas outras características.

As avaliações podem ser também classificadas segundo vários critérios. Considerando os agentes que as realiza, podem ser classificadas, conforme Cohen e Franco (1993) e Cotta (2001) como:

a) Avaliação externa: realizada por pessoas de fora da instituição responsável pelo programa, em geral com experiência nesse tipo de atividade. Entre as vantagens desse modelo de avaliação, podem ser citadas a isenção e a objetividade dos avaliadores externos, que não estão diretamente implicados com o processo, além da possibilidade de comparação dos resultados obtidos com os de outros programas similares já analisados. Contudo, o acesso aos dados necessários torna-se mais difícil, e os que vão ter seu trabalho avaliado podem se colocar em posição defensiva, fornecendo informações parciais e minimizando o efeito de melhoria dos programas. Alega-se, também, que o conhecimento da metodologia de avaliação pode não substituir o conhecimento sobre as especificidades do programa e que não existe uma única metodologia aplicável a todos os casos.

b) Avaliação interna: realizada dentro da instituição responsável, com maior colaboração das pessoas que participam do programa. Citam-se como vantagens a eliminação da resistência natural a um avaliador externo, a possibilidade de reflexão e aprendizagem e compreensão sobre a atividade realizada dentro da instituição. Mas pode-se perder muito em objetividade, já que os que julgam estão também envolvidos, tendo formulado e executado o programa. Se a avaliação for realizada internamente à instituição, mas por pessoas que não participam do programa, na tentativa de diminuir a subjetividade, a situação torna-se análoga à do avaliador externo.

c) Avaliação mista: procura combinar os tipos de avaliação anteriores, fazendo com que os avaliadores externos tenham contato direto com os

participantes do programa a ser avaliado, na tentativa de manter as vantagens e superar as desvantagens das avaliações apresentadas acima.

d) Avaliação participativa: utilizada principalmente para pequenos projetos, prevê a participação dos beneficiários, das ações no planejamento, na programação, na execução e avaliação.

Silva e Melo (2000), ao tratarem do processo de avaliação na fase da implementação, destacados como avaliação de processo, destacam um aspecto importante, o da aprendizagem institucional, tendo em vista que em toda implementação ocorrem adversidades, seja de ordem política, cultural econômica e social e, se ocorrem imprevistos, estes deverão servir de aprendizagem para elaboração de futuras políticas ou programas.

Cabe frisar que, em se tratando do ciclo da política12_{, a avaliação de} processo diz respeito à fase da implementação, ainda no momento em que as políticas já formuladas entram em ação e/ou são colocadas em prática.

A literatura apresenta diferentes concepções sobre como esse processo ocorre, considerando, de forma central, quem toma as decisões dentro do processo de implementação, ou seja, se elas vêm de cima para baixo ou são implementadas (visão top-down) ou se elas são reconstruídas de baixo para cima (visão bottom-up).

O modelo de implementação das políticas públicas denominadas de top-

down é uma aproximação ao estudo da implementação que enfatiza a perspectiva

dos burocratas e alto nível de hierarquia.

Nesse modelo parte-se do pressuposto de que a responsabilidade pela implementação de política repousa quase que exclusivamente na atuação dos burocratas de “alto nível”, que comandam aqueles situados nos níveis “mais baixos”, os quais possuem escassos graus de discricionariedade.

Cavalcante (2007) cita que os argumentos usados para recomendar o emprego do modelo top-down se referem à inter-relação, ou mesmo interpretação, dos processos de formulação e implementação que ocorrem em políticas formuladas segundo o modelo incremental. A autora afirma que o modelo top-down busca determinar o porquê de certas políticas públicas serem bem sucedidas e outras não. Parte de uma definição de implementação como um processo em que as ações de

12 _{O ciclo da política não é um termo utilizado por todos os estudiosos das políticas públicas, há}

autores que citam quatro etapas do ciclo da avaliação, sendo encontrada em outros a afirmativa de que no processo de avaliação não existe linearidade, pois poderá ter outros elementos para além da avaliação.

atores públicos ou privados são dirigidas ao cumprimento de objetivos definidos em decisões políticas anteriores no momento de formulação.

Pressman e Wildavsky (1998) e Cavalcante (2007), partindo do princípio de que uma determinada política, formulada empregando o modelo racional, busca mostrar as dificuldades que poderá enfrentar para alcançar os objetivos delineados por ela. Os autores evidenciam ainda que o processo de implementação será bem sucedido quando existir um bom funcionamento das ações engrenadas para alcançar as metas estabelecidas.

Já no tocante ao modelo de implementação bottom-up, Cavalcante (2007, p. 226) enfatiza o envolvimento de burocratas que estão no nível mais baixo da cadeia hierárquica, que implementarão as decisões públicas, e afirma que:

O modelo bottom-up adota uma direção contrária ao modelo top- down e que ele pode ser visto como uma crítica ou uma alternativa à deficiência dos modelos de implementação que consideram tradicionais. Este modelo salienta a necessidade de atuar no nível onde se verifica os problemas concretos para construir a política, pouco a pouco, e por medo de um processo descendente, de baixo para cima, da periferia para o centro.

Desse modo, nesse modelo de avaliação a implementação é entendida por Blasquez Vilaplana e Garcia de la Puerta (apud CAVALCANTE, 2007, p. 226) como sendo um momento no qual “la organización pública encargada de distribuir los

bienes y servicios de una política pública concreta entra en contacto con el ciudadano”.

Sendo assim, é importante considerar que, quando se trata de um estudo de avaliação, refere-se como é vista a avaliação de processo, que significa avaliar o momento de implementação, como está sendo implementada a política, ou seja, se estão sendo consideradas as demandas dos beneficiários (botom-up), quer dizer, se são implementadas de baixo para cima.

Barret (2004), em referência à implementação, coloca sua origem na valorização do olhar para governos nos anos 70 (séc. XX). Para a autora, esse período pode ser descrito como um momento de crescente preocupação sobre a eficácia das políticas e da governança, o que justificou importantes inovações no campo dos estudos de políticas públicas.

Majone (1995) denomina esse momento da avaliação de processo como de implementação de controle. A autora afirma que toda implementação pode ser controlada a partir de planos. No entanto, isso invalida a ocorrência de falhas, adaptações e ajustes. Esses fatores foram estudados também por Pressman e Wildavsky (1998), Gunn (1978), Sabatier (1986), os quais chegaram a algumas conclusões, mesmo que parciais, quais sejam:

a) Existe falta de clareza nos objetivos das políticas públicas que leva a interpretações diferentes na ação.

b) Muitos atores em agências são envolvidos na implementação, o que causa problemas de coordenação e comunicação.

c) Os valores inter e intraorganizações e as diferenças de interesses entre atores e agências geram diferentes motivações para a implementação. d) A relativa autonomia das agências de implementação limita o controle

administrativo.

Considerando tais aspectos, os estudos sobre a implementação começam a observar o que acontecia na base, buscando identificar fatores que influenciavam a ação e o comportamento dos sujeitos envolvidos.

A avaliação de processo, desse modo, amplia o olhar, a perspectiva, significando não olhar apenas para um ator/beneficiário, burocrata ou para as instituições, mas são consideradas as diversas instituições e pessoas envolvidas; portanto, as pressões, valores, princípios e objetivos em jogo.

Os pesquisadores do NEPP da UNICAMP (1999, p. 108), ao tratarem da implementação, ressaltam o seguinte:

A implementação pode ser entendida como o conjunto de atividades pelas quais se pretende que esses objetivos, tidos como desejáveis, sejam alcançados. Embora possa ocorrer coincidência entre a figura do(as) formulador(es) do(os) implementador(es), a implementação pode ser encarada como um jogo em que a autoridade central procura induzir agentes (implentadores) a colocarem em prática objetivos e estratégias que lhe são alheias [...] A implementação é, portanto, um conjunto complexo de relações entre formuladores e implementadores situados em diferentes posições na máquina governamental (ou não). Em princípio, as vontades, os interesse, as lealdades e as concepções ideológicas destes diversos atores dificilmente são coincidentes.

Desse modo, assegura-se que, durante a implementação, podem ser obtidos resultados diferenciados daqueles que estão planejados, dos objetivos e das metas definidas no formato da política, do programa e do projeto.

Para Rossi e Freeman (apud UNICAMP, 1999, p. 108):

São diversas as razões pelas quais, na prática programas raramente são implementados de acordo com sua concepção original. De fato, a implementação de políticas ocorre em um ambiente caracterizado por contínua mutação, alheia à vontade dos implementadores. Em primeiro lugar, recursos, prioridades e a influência relativa dos agentes encarregados da implementação frequentemente mudam.

É válido salientar que, conforme o NEPP da UNICAMP (1999), é possível identificar três dimensões nos modelos de avaliação do processo na implementação de políticas ou programas públicos:

a) As relações entre o desenho ou a formulação, de um lado, e os formatos que os programas adquirem ao final do processo que os implementou, de outro.

b) A dimensão temporal do processo de implementação e seus efeitos sobre as organizações que se processam, sobre os atores que implementam e sobre as condições iniciais são modificadas, reproduzidas pela própria implementação.

c) A terceira dimensão trata da identificação das condições que propiciam ou entravam o processo de implementação do programa em análise, que podem ser sintetizadas na área de conteúdo e nas características básicas de seu desenho.

Uma vez que na implementação da política pública devam ser consideradas as dimensões acima citadas, convém evidenciar que foi abordada, também, na avaliação da ATES, a compreensão das estratégias utilizadas pelos implementadores, a avaliação de processo.

Reiterando a avaliação, será realizada uma avaliação de processo, na qual competirá descrever os passos a ser percorrido para consecução dos objetivos da pesquisa já expostos anteriormente. Assim, foram resumidas as variáveis que poderiam contribuir na avaliação de processo do programa citado, relacionando-as

com as estratégias utilizadas pelos implementadores, conforme visualizado no Quadro 4.

É importante salientar que, necessariamente, serão avaliados todos esses aspectos. No entanto, é também necessário explicitar os aspectos conceituais e teóricos que estão implícitos na concepção do Programa ATES.

Quadro 4 – Variáveis e aspectos conceituais e teóricos

VARIÁVEIS ASPECTOS CONCEITUAIS E TEÓRICOS. 1 - Conteúdo do

programa/política.

Meios consideráveis/importantes para alcançar os objetivos estabelecidos na política ou no programa.

2 - Contexto em que está sendo implementado.

Durante a implementação, a avaliação deve considerar os aspectos econômicos, sociais, políticos e os legais (a legislação).

3 - Compromisso/interes- ses e estratégias.

Observar quais os interesses presentes na execução do programa, quais as estratégias utilizadas pelos diversos agentes.

4 - Capacidade organizacional administrativa.

Observar a estrutura organizacional das instituições implementadoras do programa, sua estrutura funcional e se estas contribuem para atender os objetivos programáticos do programa em foco.

5 - Os beneficiários nos usuários do programa.

A relação destes com os demais grupos de interesses locais, objetivando uma aceitação do programa e evitando dificuldades no processo de implementação.

Fonte: Lowi (1964 apud MEDEIROS, 2010).

Rua (1997, p. 20), ao abordar aspectos variáveis como elementos que influenciam na implementação de uma determinada política pública, elencam:

a) As circunstâncias externas à agência implementadora não deve impor restrições que a desvirtuem. b) O programa deve dispor de tempo e recursos suficientes. c) Não apenas deve haver restrições de recursos em termos globais, mas também em cada estágio da implementação, a combinação desse recursos devem estar efetivamente disponível; d) A política a ser implementada deve ser suportada por uma teoria adequada sobre a relação entre causa (de um problema) e o efeito (solução proposta); e) Essa relação de