Desde 1970, verificam-se iniciativas de estudos sobre a utilização dos re- sultados das avaliações, constatando-se que as informações acerca dos resultados das avaliações não eram passíveis de melhoria do desempenho dos programas, haja vista a inadequação na utilização dos resultados pelos
decisores. A partir de então, passa-se a enfatizar o aumento da utilização dos resultados, conforme a necessidade dos interessados.
Há controvérsias quanto aos aspectos epistemológicos e metodológi- cos da natureza da avaliação, no tocante à compreensão da disciplina, suas características e elementos que integram o processo, a competência do avaliador, a capacidade de julgamento e a natureza do processo avaliativo.
Vianna e Silva (1989, p. 88) referem-se a essa controvérsia, citando Scriven (1967), e pontuam que:
o campo da avaliação é cheio de inquietações metodológicas, o que não deixa de ser sinal bastante positivo, mas que gera confusão e difi- culdades para o praticante da avaliação. A questão da diversidade das abordagens é resultante de posições epistemológicas diferentes, pre- ferências metodológicas diversas e diferentes visões metafóricas da avaliação. [...] coloca a questão do julgamento de valor em avaliação, mas muitos discordam desse posicionamento, adotando uma posição prática e associando a avaliação à tomada de decisão, achando que o juízo de valor deva ser feito por quem toma a decisão, o que não é o caso do avaliador. Outros acham que a avaliação só se completa se o autor do relatório final, responsável pela decisão, apresentar um juízo de valor. Ou seja, a responsabilidade é do avaliador.
Os conceitos traduzem ideias que se configuram em elementos que formam o processo avaliativo, as bases do campo de avaliação, tais como: informação e conhecimento; juízos e valoração, com base em critérios e padrões; resultados e usos potenciais e efetivos para a tomada de decisão. Os aspectos dos elementos citados referem-se ao campo teórico. Uma abordagem prática da avaliação de política ou projeto terá consonância com a etapa que diz respeito aos resultados e usos para a tomada de de- cisões, concorrendo para subsidiar a tomada de decisões; contribuir para melhorar a compreensão dos efeitos das políticas/programas; ajudar no gerenciamento e aperfeiçoamento das políticas; solucionar problemas econômico-sociais; e produzir informações sobre o objeto avaliado.
Alguns analistas optam por estudar aspectos parciais, definindo-se por determinado elemento e deixando de contribuir para uma visão inte- grada da avaliação, através da totalidade de seus elementos.
No tocante à crítica ao campo da avaliação, questiona-se a necessi- dade de existência de um corpo teórico próprio, de fundamentação da análise, a crítica e os processos. Autores tais como Fernandes (2010, p. 27- 28 apud TENÓRIO; COELHO, 2010, p. 11) fazem questionamentos a esse
respeito, assegurando que:
o papel da teoria nas práticas de avaliação e no seu desenvolvimento teórico é frequentemente objeto de polêmica. Ha autores que tendem a minimizar o papel da teoria referindo que é possível fazer boa ou mesmo muito boa, avaliação dispensando a teoria, ou pelo menos cer- tas formas de teoria [...] (e.g., Scriven, 1998; Stufflebeam, 2001). Mas também ha autores que dizem precisamente o contrário, sustentando que a avaliação não pode dispensar as teorias provenientes de dife- rentes áreas de conhecimento [...] (e.g., Alkin, 2004; Shadish, Cook e Campbell, 2004). Nestas condições, parece fazer sentido ter em conta que, quando se concebe e desenvolve uma avaliação, devem consi- derar-se, normalmente, três tipos de teorias: a) teorias da avaliação; b) teorias dos programas; c) teorias das ciências sociais [...] (e.g., Alkin, 2004; Shadish et. al., 2004).
No questionamento apresentado sobre as teorias da avaliação, Fer- nandes (2010 apud TENÓRIO; COELHO, 2010, p. 12) reporta-se aos au- tores Alkin e Christie (2004), que utilizam da simbologia de uma árvore da Teoria da Avaliação, assemelhando-se ao corpo teórico da avaliação. Consta que a árvore tem duas grandes raízes, uma se alimenta e se estru- tura com base nos procedimentos investigatórios do campo das ciências sociais, onde se encontram os conceitos e procedimentos de natureza técnico-científica, e se relaciona com a produção de dados, informações, processamento e análise; a outra se define comprometida a prestar contas à sociedade, numa dimensão ética, alimentando todo o processo. Entre as raízes, estabelece-se um fluxo de entrada e saída, configurando-se um processo. A ideia do fluxo sinaliza para a capacidade da avaliação de pro- duzir os dados e informações que precisa e dar saída aos resultados do processo avaliativo, encaminhando-os para os interessados que farão uso desse material.
A conclusão do processo dá-se através do compromisso assumido pelo avaliador de conhecer a destinação dos resultados do processo avaliativo,
para prestar contas do processo avaliativo à sociedade. Conforme observa- do por Fernandes (2010 apud TENÓRIO; COELHO, 2010, p. 2), as aborda- gens podem estar centradas nos interessados, nos usos dos resultados e na produção de conhecimento em geral, estabelecendo para os avaliadores, comunicação efetiva com os interlocutores, como garantia das condições de uso dos resultados no processo avaliativo. (TENÓRIO; COELHO, 2010)
Outro autor, De Miguel (2000, p. 290 apud TENÓRIO; COELHO, 2010, p. 14, tradução nossa), que contribui na discussão sobre o papel da
teoria na avaliação, bem como na relação entre epistemologia e metodo- logia, conceito e objeto da avaliação, assente que:
Verificou-se que existem três elementos essenciais que definem esta atividade: o processo metodológico que tem lugar para reunir e in- terpretar a evidência relacionada com o programa, os critérios que usamos para fazer os julgamentos de valor e, finalmente quando pos- teriormente se fará uso dos resultados. Portanto, qualquer aproxima- ção conceitual para o campo da avaliação de programa deve, neces- sariamente, contemplar os três pilares em que a disciplina se baseia – provas, valores e decisões – porque, caso contrário, efetuaríamos um
reducionismo sem justificação.1
Conforme De Miguel (2000, p. 290 apud TENÓRIO; COELHO, 2000, p. 14-15), os “elementos constituintes, diferenciam e distinguem o
campo da avaliação de outros campos de conhecimento”, articulam-se e se concretizam no processo avaliativo como pilares “de sustentação que fundamentam a base teórica de avaliação”.
Segundo Martinez Mediano, (1998, p. 85) e De Miguel (2009, p. 291) (apud TENÓRIO; COELHO, 2010, p. 15) há quatro eixos norteadores do campo da avaliação em geral, que funcionam como elementos da funda- mentação científica e da operacionalização do processo. São eles:
1 De ella se desprende la existencia de tres elementos claves que delimitan esta atividade: el proceso metodo-
lógico que se lleva a cabo para recoger e interpretar las evidencias relacionadas con el programa, los critérios que vamos a utilizar para emitir los juicios de valor y, finalmente, la utilización que posteriormente se va hacer de los resultados. Por ello, toda aproximación conceptual al campo de la evaluación de programas debe contemplar necesariamente los tres pilares sobre los que se fundamenta esta disciplina – evidencias, valores y decisiones – ya que, de lo contrario, efectuariamos un reduccionismo injustificado.
1) as bases epistemológicas, apresentadas através dos elementos teóricos referenciais, fruto do conhecimento/informação utilizada, determinan- do a estruturação geral da ideia do objeto avaliativo em termos das suas evidencias;
2) os critérios a serem utilizados para estabelecer as bases de comparabili- dade e formular juízos de valor/julgamento;
3) a ideia de utilidade quanto aos resultados do processo avaliativo e a for- ma como se define a utilização e usos/tomada de decisão;
4) a questão dos procedimentos metodológicos voltados para produzir da- dos e informações necessárias para estruturar e alimentar o processo avaliativo, especificamente, trabalhar na construção das evidências, na valoração do objeto e na elaboração dos relatórios com os resultados do processo.
No primeiro eixo, identifica-se a estruturação do corpo teórico do campo da avaliação, seu objeto e elementos integrantes, que são conheci- mento/informações, valores/julgamento e usos/tomada de decisão e suas inter-relações.
No segundo eixo, discute-se a produção e a utilização dos critérios/ marcos de referência, para definir os méritos do objeto avaliado.
O terceiro eixo diz respeito aos resultados do processo avaliativo, utilidade e uso dos resultados na tomada de decisão, efeitos e participa- ção dos resultados.
O quarto eixo refere-se à abordagem metodológica para os funda- mentos teóricos do campo da avaliação, na estruturação do processo ava- liativo, como a definição da escolha do modelo de avaliação; a indicação do desenho metodológico; a produção de dados e informação, o trata- mento, estruturação e análise.
Na argumentação de De Miguel, (2000, p. 302 apud TENÓRIO; COE- LHO, 2010, p. 17, tradução nossa) sobre o terceiro eixo, “toda avaliação deve contribuir para a tomada de decisões decorrentes das avaliações realizadas”.2
Preconiza, portanto, a utilização dos resultados pelas partes interessadas. Entretanto, não existe uma concordância, no pensamento de todos os autores, de que os resultados devam ser utilizados proficuamente com a
finalidade de influenciar a tomada de decisão. Sugerem outras opções, tais como o mapeamento de problemas, a melhor compreensão dos resultados e a produção de informações que aprimorem a compreensão do objeto.
Nessa etapa, configuram-se elementos importantes do processo ava- liativo, utilidade dos resultados no campo do conhecimento e no cumpri- mento de seu papel político-científico, estabelecendo-se, após o exercício avaliativo, algumas atividades, tais como:
• Identificar claramente quais são as possibilidades de uso dos resultados do processo avaliativo;
• Mapear principais interessados nos resultados e discutir em conjunto sobre a melhor forma de como atendê-los;
• Preparar relatos sobre os resultados do processo avaliativo e as recomen- dações necessárias, numa linguagem adequada, que atenda às necessi- dades dos usuários;
• Identificar quais são os significados possíveis em termos de uso desses resultados, na perspectiva dos interessados;
• Acompanhar de forma adequada a utilização dos resultados do processo avaliativo, buscando inclusive suas repercussões e consequências; • Identificar outras possibilidades de uso e de divulgação dos resultados
do processo avaliativo, contribuindo para a disseminação da atividade avaliativa e seu fortalecimento;
• Observar quais são os aspectos que podem interferir junto aos interessa- dos, dificultando a utilização dos resultados do processo avaliativo. (TE- NÓRIO; COELHO, 2010).
De Miguel (2000) e Fernandez-Ballesteros (2001 apud TENÓRIO; COELHO, 2010, p. 19) referem-se a esse eixo, conforme estruturação e fundamentação da atividade avaliativa, como se encontrando no mesmo grau de importância que os outros, pela vinculação dos usos à finalidade da avaliação e por esta se constituir em elemento chave reforçador do campo de conhecimento.
Alguns segmentos reduzem os efeitos dos desdobramentos do pro- cesso avaliativo e a discussão sobre a utilização dos resultados, sugerindo- -lhe o caráter de pesquisa, pela utilização de metodologia científica como recurso na produção de informação rigorosa para conhecer o objeto.
O diferencial de outra disciplina caracteriza-se pela destinação de resul- tados do trabalho, pelas necessidades e compromissos firmados com os interessados nos resultados do processo avaliativo, como também pelo acompanhamento do desencadear do processo, a identificação dos usos e como se dá a definição de utilização na tomada de decisão pelos interes- sados, além de consequências quanto aos usos.
A possibilidade de uso dos resultados na tomada de decisão reveste- -se de papel importante, e tem, em decorrência, efeitos geradores, com repercussão no campo da avaliação, em diversos âmbitos, político, social, econômico, mesmo que a opinião de alguns autores amplie as possibili- dades advindas da tomada de decisão, na realização de diagnósticos, na identificação de problemas e dificuldades, na instrução de ações e proce- dimentos em grande linha. (TENÓRIO; COELHO, 2010)
Ressalta-se a importância de ampla divulgação e uso dos resultados do processo avaliativo, enquanto forma de contribuir gerando repercus- são sobre o papel da atividade junto a esferas maiores.
As competências técnicas a serem exercidas pelos profissionais, no processo avaliativo, vão exigir um rigor técnico-científico e metodológico, no tocante à capacidade de negociação, visão política, identificação das partes interessadas, investidores, contratantes, segmentos a serem bene- ficiados pelo uso dos resultados, cuja contribuição pode apontar soluções, melhorias do processo e tomada de decisões.
A finalização do processo avaliativo deve coincidir com a apresentação de documento sobre os resultados, baseado em um norte orientador quan- to a itens formais, que apresentarão o trabalho, com a devida recomendação. É papel do avaliador acompanhar o desdobramento de implicações, consequências em relação à utilização dos resultados, também para a compreensão do atendimento ou não das necessidades que motivaram sua contratação. A responsabilidade direta pela tomada de decisão em re- lação aos usos, não é do avaliador, porém este deve estar alerta quanto às consequências do uso e do não uso dos resultados. Desse processo decor- rem implicações que podem ser positivas ou negativas, refletindo-se no campo da avaliação, já que, numa ou noutra situação, podem comprome- ter a utilidade da avaliação.
Há desafios que se impõem aos avaliadores, quanto ao uso ou não dos resultados. A partir de dados e experiências nesse sentido, decorre- ram polêmicas, como a questão da qualidade dos resultados de processos avaliativos, e questionamentos quanto às possibilidades de uso, como di- ficuldades de ordem técnico-metodológica da disponibilidade e da quali- ficação dos avaliadores, problemas com o cumprimento de prazos, ausên- cia de segurança para os interessados na tomada de decisões em relação aos resultados apresentados, levantando controvérsias entre alguns au- tores, quanto à crítica das metodologias avaliativas. Ballart (1996) e Weiss (1987 apud TENÓRIO; COELHO, 2010, p. 22, tradução nossa) assentem que ocorreu um
pessimismo e uma desilusão que produziram resultados na primeira onda de avaliaçoes dos anos 70. Nada parecia funcionar como espera- do.... Ocasionalmente foram detectados efeitos positivos. Alguns pro- gramas mostraram um pequeno lucro... Mas mesmo nas avaliações mais recentes através de critérios racionais e métodos mais sofistica- dos de estudo tendem a serem encontados sucessos marginales. Por outro lado, os dados coletados pareciam não ter efeitos nas propostas
de decisões sobre a expansão ou redução dos programas.3
Tais considerações exerceram forte influência nas transformações do campo, a partir da adoção de regras e normas orientadoras do traba- lho avaliativo, que passaram a ser chamadas de Padrões, com repercussão na comunidade avaliativa dos Estados Unidos, no final dos anos de 1980. Buscavam estabelecer parâmetros referenciais para se obterem informa- ções sobre como aqueles resultados foram obtidos.
Cabe aos avaliadores, portanto, vencer o desafio de, como partes do processo de avaliação, estarem atentos ao compromisso com os inte- ressados, desenvolvendo uma compreensão crítica quanto à postura dos decisores e gestores das políticas, frente aos resultados avaliativos, e a
3 describe el pesimismo y la decepción que producen los resultados de la primeira oleada de evaluaciones en
los años 70. Nada parecía funcionar como se esperaba....Ocasionalmente se detectaban efectos positivos. Algunos programas mostraban pequeños beneficios...Pero incluso las evaluacionnes más recientes, utilizando criterios racionales y métodos de estudio más sofisticados tienden a encontar éxitos marginalesPor otra parte, los datos recogidos parecian no tener ningún efecto en las decisiones presupuestarias o sobre la expansión o redución de los programas.
condução para o trato dos usos sobre a melhoria das políticas, ou, se a visão é de um recurso externo ao processo, a ser utilizado ou não, con- forme os resultados.