Dimensão Técnico-operacional
Elizabeth Moreira dos Santos Sonia Natal
Marly Cruz
Dando prosseguimento à dimensão técnico-operacional, esta unidade didático-pedagógica, Meta-avaliação, aborda os cri-térios de avaliação da avaliação. No quadro 1, destacamos, nesta dimensão, a unidade didático-pedagógica Meta-avalia-ção, com os conceitos-chave e o número de seqüências de atividades necessárias para atingir os objetivos da unidade. Como nas unidades pedagógicas anteriores (vol. 3), fazem par-te desta unidade as atividades de desenvolvimento do projeto e as atividades da Meta-avaliação. O curso não pretende cobrir todas as possibilidades, uma vez que a literatura em meta-avaliação é rica e muitas vezes sobrepõe diferentes tipologias. O material inclui as bases para discussão dos critérios inter-nacionais da Meta-avaliação, a abordagem privilegiada neste material (como considerado no vol. 3), a avaliação voltada para a melhoria dos programas de saúde. Neste contexto, a Meta-valiação é compreendida como o conjunto de procedimentos relacionados ao julgamento de um julgamento (avaliação da avaliação). Embasada nas concepções de valor cultural e ético, a lógica desta unidade ancora-se na transdisciplinariedade, co-nectando os conteúdos teórico-práticos da Dimensão Técnico-Operacional (Santos & Natal, 2006).
Esta unidade tem como propósito conhecer e aplicar padrões ne-cessários para caracterização da qualidade de diferentes modelos teóricos de avaliação. Nela pretende-se discutir uma apropriação holística da qualidade da avaliação, entendida como a última fase do processo avaliativo. Para alguns autores a meta-avaliação, quan-do formativa, pode e deve ser realizada durante o processo avalia-tivo, constituindo-se então em outra opção de controle de vieses.
Meta-avaliação
Avaliação, como enfatizado ao longo dos conteúdos desta série didática e do curso em que ela é utilizada, é implementada no interior de um dado contexto, histórico e socialmente datado, com características políticas e econômicas específicas. Nesse contexto estão envolvidas inúmeras relações sociais, tais como gênero, idade, cor, etnias, linguagens, classes e mesmo orienta-ção sexual que definem a diversidade, a desigualdade e os inú-meros interesses que podem estar em jogo quando a pertinên-cia, a efetividade e o mérito de um programa ou intervenção estão em julgamento. Considerando-se o processo avaliativo como a construção de um juízo de valor, garantir sua qualidade, legitimidade multicultural e eticidade é um grande desafio. A preocupação em estabelecer padrões de qualidade, valida-de e eticidavalida-de para a avaliação tem formalmente concentrado esforços dos próprios avaliadores desde a década de 60. Entre eles, Stake, Stufllebean, Scriven e Rossi, citados por Worthen et al. (1997), desenvolveram seus próprios critérios e roteiros para avaliação da avaliação, enfatizando tanto a perspectiva dos avaliadores como aquela dos usuários potenciais. Essas iniciativas consolidaram-se de forma mais abrangente em 1975 quando da criação e da publicação do Joint Committee on Standards for Educational Evaluation (JCSEE).
O crescimento da avaliação nos Estados Unidos e a junção das duas maiores associações profissionais de avaliadores criou condições para a revisão e reelaboração da segunda edição 15 anos depois. O processo de revisão e pactuação dos Standards participativo e crítico envolveu as figuras mais destacadas do
Quadro 1 – Dimensão Técnico-operacional e as respectivas Unidades Didático-pedagógicas.
campo, incluindo a academia e os avaliadores profissionais (Sanders, 1994).
Nos últimos anos, as associações profissionais em avaliação têm se preocupado em pactuar aqueles padrões cuja experiên-cia acumulada de uso tem permitido desenvolver dimensões, procedimentos para a regulação e critérios de legitimidade do campo (JCSEE, 1994). Associado ao esforço acadêmico de construção de um discurso coerente e consensuado sobre o perfil e a ética da profissão, elas vêm, simultaneamente, re-forçando a construção de critérios e instrumentos de auto-regulação para avaliadores profissionais. Uma contribuição marcante desta iniciativa é a publicação dos princípios para avaliadores (AEA, 2004).
Apesar da diversidade observada internacionalmente, as di-mensões abordadas, os critérios e padrões referidos se rela-cionam às dimensões específicas da avaliação como utilidade e utilização, e a dimensões referenciadas à qualidade do pro-cesso de investigação, tais como factibilidade, propriedade e eticidade. Além destas, com destaque é considerada a do rigor metodológico em que a validade interna e externa e a repro-dutibilidade são devidamente consideradas e analisadas. As razões para a prática da Meta-avaliação são várias. Além das citadas podemos referir o seu papel em consolidar aborda-gens e modelos inovadores no campo, abrindo novas perspec-tivas, mas criticamente analisando-as em relação aos princípios fundadores. O trabalho recente de Stufflebean (2001)
exempli-fica o uso dos Standards para avaliar os modelos teóricos de avaliação citados na literatura corrente quanto as suas possi-bilidades em se constituírem em modelos robustos e úteis para uso no século XXI num exercício interessante de caracterização dos diferentes estágios metodológicos do processo avaliativo.
Avaliando a avaliação: auto-avaliação, expansão e controvérsia
O desenvolvimento de padrões para auto-avaliação é uma área em expansão. A tradição européia compreende um conjunto abrangente de critérios que englobam desde situações em que os executores do programa, os avaliadores internos, exercem o controle do processo de Meta-avaliação até aqueles em que padrões de auto-avaliação são aplicados rotineiramente. Os padrões internacionais usados pela associação norte-ame-ricana no controle de qualidade das avaliações são: exeqüi-bilidade, validade, propriedade e utilidade (JCSEE, 1975). A exeqüibilidade compreende a noção de que o plano de avalia-ção deve ser realista, cauteloso, diplomático e moderado nos custos, de modo que os gastos possam ser justificados; a vali-dade corresponde ao fato de que se deve divulgar e transmitir a informação tecnicamente válida com o máximo de precisão; apropriedade diz respeito a comporta-se legalmente, etica-mente e com respeito para o bem-estar daqueles envolvidos ou afetados pela avaliação; e utilidade que se refere ao fato de
que a avaliação deve atender as necessidades de informação de seus usuários intencionais.
A associação alemã de avaliação, além de apresentar os cri-térios de utilidade, factibilidade, propriedade e acurácia, reco-menda um conjunto de padrões que contempla oito condições de auto-avaliação, sejam elas: delegação de responsabilida-des; práticas de auto-avaliação; escopo da auto-avaliação; consensos com os gestores interessados no processo avalia-tivo; procedimentos para difusão dos achados da auto-avalia-ção; responsabilidades e competências; fluxo de comunicação entre canais hierarquicamente diferenciados; e recursos para a auto-avaliação (Belywl & Speer 2004).
Como todo processo avaliativo, a Meta-avaliação é uma etapa de autocrítica onde os seus aspectos metodológicos e instru-mentais são submetidos a um criterioso julgamento, para de-terminar se a sua eficiência, eficácia e efetividade permitem sua reutilização ou se devem ser repensados, no todo ou em parte.
Avaliando a avaliação: padrões universais, problemas específicos
A comparação entre diferentes padrões utilizados internacio-nalmente evidencia questões críticas para a prática da Meta-avaliação. A primeira delas é que eles se sobrepõem, definindo áreas de consenso e convergência. A segunda é que nenhum deles tem sensibilidade para abordar as diferenças observadas que na prática avaliativa e na própria cultura de avaliação vi-gente no local de sua realização.
A escolha da abordagem avaliativa, centrada nas questões do uso dos achados e do nível de participação dos usuários po-tenciais, muitas vezes expressando as tensões entre interesses dos doadores e dos usuários da avaliação, tem determinado ambigüidades que influenciam não só na qualidade do mo-delo, mas na possibilidade de uso dos achados. Na medida em que a utilização dos achados é caracterizada, que as per-guntas avaliativas são definidas, a escolha de determinado modelo é justificada.
Entretanto, esta cadeia lógica pode não ser compartilhada por usuários, doadores e avaliadores em termos de valores, rele-vância e eticidade. A pesquisa multicêntrica e a transferência de tecnologia em caráter global têm pontuado divergências significantes sobre intervenções que são apropriadas em al-guns locais e inoportunas em outros.
Como discutido por Widmer (2004) e Russo (2004), a delica-deza desta construção envolve a discussão de cenários inter-nacionais e do equilíbrio frágil de uma definição de qualida-de culturalmente sensível, imersa em diferenciais qualida-de valores, crenças e leis. Widmer (2004) expõe o desenvolvimento e o estado da arte das recomendações, como, por exemplo, no caso francês, e os padrões para Meta-avaliação nos países da Europa ocidental comparado-os com os Standards. O estudo revela a semelhança entre vários deles, mas destaca quão,
es-pecialmente os que se diferenciam, respondem a imperativos socioculturais das sociedades, da história do campo no país e mesmo da expressão de organizações reguladoras.
Russo (2004) aponta o crescimento recente e evidente de for-mas de regulação dos processos avaliativos, enfatizando o am-plo intervalo de aplicação dos padrões e critérios, atualmente compreendendo aspectos relacionados a custos e gerencia-mento da avaliação. Para o autor, a história da Meta-avaliação é ainda incipiente internacionalmente e o coloca num mundo de produção globalizada de conhecimento, alguns desafios que deverão ser elaborados teórica e metodologicamente pelo campo da avaliação. Nesta perspectiva ele contrasta duas concepções de padrões, ou seja, os universais (universal) e os ‘abertos’ (open) assinalando as dificuldades na utilização de qualquer um dos dois.
Para o autor, os argumentos que sustentam a utilização de padrões universais são aqueles que consideram a necessidade atualíssima de se avaliar avaliações internacionalmente, a pos-sibilidade de refletir a multiplicidade dos contextos nacionais e transnacionais. Entretanto, interroga o autor se os padrões de Meta-avaliação são baseados em valores culturais especí-ficos, em qual cultura os valores universais se baseiam? Qual a utilidade de se julgar avaliações por padrões deslocados do contexto em que a mesma ocorreu?
Da mesma forma, Russo (2004) destaca que a utilização dos padrões abertos tem vantagens e desvantagens. Por um lado eles permitem a adaptação da experiência acumulada ao contexto local, por outro este processo de adaptação pode significar a oportunidade de o avaliador reforçar os aspectos positivos de sua avaliação. O autor questiona, assim, a legiti-midade dessas adequações.
O emprego regular da Meta-avaliação, enquanto uma etapa fundamental do processo avaliativo, vem sendo adotado com vistas à obtenção da melhoria da qualidade e da credibilidade da avaliação em sua fase de execução ou quando já concluída. Afinal, é de suma importância prover um suporte crítico tendo em vista a melhoria da efetividade do programa ou modifica-ção, ou até cancelamento de resultados não efetivos. O que se pretende é um retorno sobre o desenho da avaliação ou a implementação da avaliação do programa propriamente dito. Claramente uma questão está posta para o campo, a avaliação hoje é cada vez mais globalizada. Os editais, as empresas de consultorias, as agências são internacionais, portanto como serão construídos internacionalmente esses padrões de qua-lidade. Conforme discutido, os padrões para a avaliação de programa foram desenvolvidos por avaliadores e usuários da avaliação de programa, nos Estados Unidos. Eles representam consensos sobre procedimentos para garantir a qualidade da avaliação. Estes padrões podem ser úteis em avaliações de programa em outras partes do mundo, mas devem ser cuida-dosamente revistos quanto a sua aplicabilidade em um con-texto cultural diferente daquele em que foram desenvolvidos.
Referências bibliográficas
AMERICAN EVALUATION ASSOCIATION – AEA. Guiding principles for evaluators, 2004. Disponível em: http://www.eval.org/publications/aea06. gpbrochure.pdf, acesso em 02/04/2007.
BEYWL, W. & SPEER, S. Data-and literature-based reflexion on western european evaluation standards and practices. In: International Perspectives on
Evaluation Standards. Craig Russo e Gabrielle Russo (eds.) San Francisco:
Jossey-Bass p. 43-54, 2004.
JOINT COMMITTEE STANDARDS FOR EDUCATIONAL EVALUATION – JCSEE. The program evaluation standards (2ed.)Thousand Oaks, CA:Sage, 1994. RUSSO C. Cross-cutting issues in international standards development. In:
International Perspectives on Evaluation Standards. Craig Russo e
Gabrielle Russo (eds.) San Francisco: Jossey-Bass p. 89-93, 2004.
SANDERS J.R. The process of developing national standards that meet ANSI guidelines. Journal of Experimental Education, v.63, n.1, p. 5-12, 1994. SANTOS, E. M. & NATAL, S.(org.) Dimensão sócio-histórica: unidades didático-pedagógicas: políticas públicas de saúde, atitude social em avaliação. Rio de Janeiro: ABRASCO, 2005. 168 p. (Série Ensinando Avaliação, v.1).
STUFFLEBEAM, D. L. Evaluation models. New Directions for Evaluation, n. 89, San Francisco: Jossey-Bass, 2001.
WIDMER T. The development and status of evaluation standards in western europe In: International Perspectives on Evaluation Standards. Craig Russo e Gabrielle Russo (eds.) San Francisco: Jossey-Bass, p. 31-42, 2004. WORTHEN, B.R.; SANDERS, J. R. & FITZPATRICK, J. L. Program evaluation: alternative approaches and practical guidelines. Longman, 2nd Edition. 1997.
