Como Avaliar Avaliações
Blaine R. Worthen James R. Sanders Jody L. Fitzpatrick
PERGUNTAS ORIENTADORAS
1. Por que as avaliações devem ser avaliadas? Quando você gostaria de encomendar uma meta-avaliação?
2. Quais são os atributos de uma boa avaliação?
3. Que orientações e passos você usaria ao fazer uma meta-avaliação?
4. Quais são as principais contribuições do Joint Committee on Standards for Educational Evaluation?
Todo estudo avaliatório vai ser tendencioso em certa medi-da. As decisões que um avaliador toma sobre o que examinar – que métodos e instrumentos usar, com quem conversar e a quem ouvir –, tudo isto influencia o resultado da avaliação. Até a história pessoal do avaliador, suas preferências, seu trei-namento profissional e sua experiência afetam a maneira de conduzir o estudo.
Tanto o avaliador quanto o cliente devem se preocupar com a tendenciosidade da avaliação; o avaliador porque seus princípios e sua reputação profissional estão em jogo; o cliente porque não vai querer investir (política ou financeiramente) em descobertas irrelevantes. Ambos têm muito a perder se uma avaliação for comprovadamente deficiente em algum aspecto crucial. É por isso que a meta-avaliação – a avaliação de uma avaliação – é importante. A meta-avaliação formativa pode melhorar um estudo antes de ser irremediavelmente tarde. A meta-avaliação somativa pode aumentar a credibilidade dos resultados finais. Neste capítulo discutimos o conceito de meta-avaliação, as di-retrizes e os critérios para avaliar avaliações e os procedimen-tos de meta-avaliação que podem ser usados para melhorar a qualidade das avaliações.
O CONCEITO E A HISTÓRIA DA META-AVALIAÇÃO
Nem mesmo o defensor mais enfático diria que todas as ati-vidades da avaliação são intrinsecamente valiosas nem mes-mo que são bem-intencionadas. Observadores sérios chegam inclusive a perguntar de quando em quando se os resultados da avaliação justificam seu custo em recursos humanos e ou-tros. Como Nilsson e Hogben (1983) observaram muito bem, a meta-avaliação não se refere somente à avaliação de estudos específicos, mas também à avaliação de todas as funções e práticas da própria avaliação.
No entanto, essa definição mais ampla da meta-avaliação está além do alcance tanto deste capítulo quanto deste livro. A esta altura, nossas preferências devem estar claras para o leitor. Es-tamos inteiramente convencidos da importância da avaliação. Devidamente praticada, a avaliação levou a melhorias diretas e incontestáveis de sistemas, programas e práticas – melhorias que não teriam ocorrido de nenhuma outra forma. Mas, dado o número e a freqüência de fracassos na avaliação, compreen-demos por que alguns questionam o conceito básico. Quando a avaliação dá errado, a culpa, a nosso ver, não é do conceito, mas da forma pela qual a avaliação foi conduzida. A finalidade da meta-avaliação é ajudar a avaliação a realizar seu potencial. Portanto, neste capítulo, restringimos nossa discussão à avalia-ção de planos, estudos e relatórios de avaliações individuais.
A história da meta-avaliação
Num sentido informal, a meta-avaliação existe há tanto tempo quanto a avaliação, pois alguém sempre forma uma opinião sobre a qualidade de todos os estudos de avaliação já realiza-dos. Mas, durante a década de 1960, avaliadores começaram a discutir procedimentos e critérios formais de meta-avaliação, autores passaram a sugerir o que constitui uma boa avaliação e uma avaliação ruim (como Scriven, 1967; Stake, 1970, Stu-fflebeam, 1968) e listas de verificação não publicadas sobre
diretrizes para avaliação começaram a ser trocadas
infor-malmente entre os profissionais da área. Além disso, vários avaliadores publicaram as orientações que propunham – ou critérios de “meta-avaliação” – para ser usadas no julgamento de planos ou relatórios de avaliação (Stake, 1969; Stufflebeam et al., 1971; Stufflebeam, 1974; Scriven, 1974b; Rossi, 1982). Em geral, os avaliadores recebiam bem essas listas de critérios propostos para a meta-avaliação. Além disso, vários autores dos critérios tentaram torná-los úteis para os consumidores da ava-liação, pensando talvez que, se os clientes dos estudos avalia-tórios tivessem mais condições de julgar a pertinência de uma avaliação, o número de avaliações inúteis e perdulárias diminui-ria. Os clientes só podem exigir boa qualidade se reconhecerem o que torna um estudo melhor ou pior que outro. Para isso acon-tecer, os avaliadores e aqueles para os quais trabalham devem chegar a um consenso sobre o que constitui uma boa avaliação, em termos que ambas as partes possam compreender.
Mas os muitos conjuntos diferentes de critérios propostos mos-traram-se desconcertantes tanto para os avaliadores quanto para os consumidores. Será que um desses conjuntos é melhor que o outro? Qual é o melhor? Qual é o mais aceitável? Ninguém poderia dar uma boa resposta a essas perguntas, pois não havia consenso razoável sobre nenhum dos conjun-tos de critérios proposconjun-tos por avaliadores. Em conseqüência, um projeto ambicioso foi lançado no final da década de 1970 que se propunha desenvolver um conjunto amplo de diretri-zes adaptado expressamente para as avaliações educacionais
contendo diretrizes sobre as quais havia concordância geral em termos de qualidade da avaliação. A formulação dessas diretri-zes começou em 1975, sob a direção de Daniel Stufflebeam, do Western Michigan University’s Evaluation Center [Centro de Avaliação da Western Michigan University]. A orientação e a autorização foram dadas pelo Joint Committee on Standards for Educacional Evaluation [Comitê Misto sobre Diretrizes para a Avaliação Educacional], conhecido desde então por Joint Committee {Ridings & Stufflebeam, 1981)1. O resultado do
tra-balho do Joint Committee foi o Standards for evaluations of educational programs, projects, and materials (Joint Commit-tee, 1981), que recebeu grande atenção na área educacional. Essas diretrizes foram revisadas e aplicadas em outros am-bientes além das escolas de Ensino Fundamental e Médio em 1994 (Joint Committee, 1994). Na introdução do livro que apresentava as diretrizes, o Joint Committee afirmou que tal formulação poderia oferecer os seguintes benefícios:
...uma linguagem comum para facilitar a comunicação e a colaboração num estudo avaliatório; um conjunto de regras gerais para lidar com um grande número de problemas es-pecíficos da avaliação; um quadro de referências conceitual com o qual estudar o mundo da avaliação, que costuma gerar confusão; um conjunto de definições operacionais para guiar a pesquisa e o desenvolvimento no processo de avaliação; uma declaração pública do que há de mais moderno no campo da avaliação educacional; uma base de auto-regulamentação e responsabilização dos avaliadores profissionais; e um apoio para o desenvolvimento da credibilidade do campo da avalia-ção educacional (Joint Committee, 1994).
AS DIRETRIZES DO JOINT COMMITTEE PARA A AVALIA-ÇÃO DE PROGRAMAS
As Diretrizes do Joint Committee são um conjunto de trinta tópicos, cada qual com um resumo que apresenta definições e o fundamento lógico, uma lista de diretrizes, erros comuns, casos ilustrativos descrevendo práticas de avaliação que pode-riam ter sido orientadas por uma diretriz em particular e uma análise de cada caso. O resultado foi uma obra tão abrangen-te que se transformou em livro (Joint Commitabrangen-tee, 1994). Um conjunto similar de diretrizes – para a avaliação de recursos humanos – foi publicado pelo Joint Committee em 1988. Um dos elementos mais importantes que o Joint Commit-tee desenvolveu com base na discussão sobre Diretrizes é o conceito de que a qualidade de um estudo avaliatório pode ser determinada por sua 1) utilidade, 2) viabilidade, 3) pro-priedade e 4) precisão. As trinta diretrizes para a avaliação
de programas são agrupadas de acordo com sua contribuição potencial para cada um desses quatro atributos. A utilidade é deliberadamente apresentada em primeiro lugar na avaliação de programas, pois o Joint Committee reconheceu que, sem utilidade, uma avaliação de programa não presta, por melhor que seja seu foco em termos de viabilidade, propriedade e precisão. Seguem as trinta diretrizes para a avaliação de pro-gramas do Joint Committee com uma pequena explicação de cada uma delas.
RESUMO DAS DIRETRIZES PARA AVALIAÇÃO DE PRO-GRAMAS
Diretrizes de utilidade
As diretrizes voltadas para a utilidade pretendem garantir que a avaliação atenda as necessidades de informação dos usuá-rios potenciais.
U1 = Identificação do interessado. As pessoas envolvidas ou afetadas pela avaliação devem ser identificadas para que suas necessidades sejam atendidas.
U2 = Credibilidade do avaliador. As pessoas que estão fazendo a avaliação devem ser tanto fidedignas quanto competentes para realizar o estudo e para que as descobertas da avaliação tenham o máximo de credibilidade e aceitação.
U3 = Alcance e seleção das informações. As informações co-letadas devem ser selecionadas de maneira abrangente para responder a perguntas pertinentes sobre o programa e ser receptivas às necessidades e aos interesses dos clientes e de outros envolvidos.
U4 = Identificação dos valores. As perspectivas, os procedi-mentos e o fundamento lógico usados para interpretar as descobertas devem ser descritos minuciosamente para que as bases dos juízos de valor sejam claras.
U5 = Clareza do relatório. Os relatórios da avaliação devem descrever claramente o programa que está sendo avaliado, in-clusive seu contexto e as finalidades, os procedimentos e as descobertas da avaliação, para que as informações essenciais sejam apresentadas e facilmente compreendidas.
U6 = Agilidade na produção e disseminação do relatório de avaliação. Descobertas significativas e relatórios de avaliação provisórios devem ser divulgados para os usuários a que se destinam a fim de ser usados a tempo.
U7 = Impacto da avaliação. As avaliações devem ser planeja-das, realizadas e apresentadas de formas que incentivem seu
1 As instituições profissionais apresentadas a seguir nomearam membros para o Joint Committee: American Association of School Administrators, American
Educational Research Association, American Evaluation Association, American Federation of Teachers, American Psychological Association, Association for Supervision and Curriculum Development, Canadian Evaluation Society, Canadian Society for the Study of Education, Council of Chief State School Officers, Council on Post-secondary Accreditation, National Association of Elementary School Principals, National Council on Measurement in Education, National Education Association, National Legislative Program Evaluation Society e National School Boards Association. Além disso, numerosos avaliadores profissionais ajudaram na formulação das Diretrizes, testando-as e criando instruções para auxiliar outras pessoas a aplicá-las.
acompanhamento pelos interessados e com isso tenham mais probabilidade de ser usadas.
Diretrizes de viabilidade
As diretrizes relativas à viabilidade pretendem assegurar que uma avaliação seja realista, prudente, diplomática e moderada. V1 = Procedimentos práticos. Os procedimentos da avaliação devem ser práticos e interferir o mínimo possível no programa durante a coleta das informações necessárias.
V2 = Viabilidade política. A avaliação deve ser planejada e realizada com previsão e antecipação das diferentes posições dos vários grupos de interesse para que sua cooperação seja obtida e para que todas as tentativas de restringir os trabalhos do estudo ou de refratar ou usar mal os resultados possam ser contornadas ou neutralizadas.
V3 = Custo-efetividade. A avaliação deve ser eficiente e pro-duzir informações de valor suficiente para justificar os recursos gastos.
Diretrizes de propriedade
As diretrizes de propriedade têm a finalidade de assegurar que uma avaliação seja conduzida de forma juridicamente legíti-ma, ética e com a devida consideração pelo bem-estar dos en-volvidos no estudo, bem como dos afetados pelos resultados. P1 = Orientação para o serviço. As avaliações devem ser pla-nejadas para ajudar as instituições a discutir e atender efeti-vamente as necessidades de todo o leque de participantes aos quais as ações se destinam.
P2 = Acordos (contratos) formais. Obrigações das partes for-mais de uma avaliação (o que deve ser feito, como, por quem, quando) devem ser assumidas de comum acordo e por escrito para que essas partes sejam abrigadas a aceitar todas as con-dições do contrato ou renegociá-las formalmente.
P3 = Direitos dos indivíduos. As avaliações devem ser planeja-das e conduziplaneja-das de forma a respeitar e proteger os direitos e o bem-estar dos indivíduos nela envolvidos.
P4 = Relações humanas. Os avaliadores devem respeitar a dignidade e o valor do ser humano em suas interações com outras pessoas associadas a uma avaliação para que os parti-cipantes não sejam ameaçados nem prejudicados.
P5 = Avaliação completa e justa. A avaliação deve ser completa e justa ao examinar e documentar os pontos fortes e fracos do programa que está sendo avaliado para que os pontos fortes sejam enfatizados e as áreas problemáticas sejam melhoradas. P6 = Apresentação dos resultados da avaliação. As partes for-mais de uma avaliação devem garantir que todo o conjunto das descobertas, assim como as limitações pertinentes, seja
acessível às pessoas afetadas pelo estudo e a quaisquer outras com direitos legais expressos de conhecer os resultados. P7 = Conflito de interesses. O conflito de interesses deve ser enfrentado aberta e honestamente para que não comprometa os processos e resultados da avaliação.
P8 = Responsabilidade fiscal. A alocação e o gasto dos re-cursos devem refletir sólidos procedimentos contábeis e ser prudentes e eticamente responsáveis para que as despesas possam ser justificadas e apropriadas.
Diretrizes de precisão
As diretrizes relativas à precisão têm por finalidade garantir que uma avaliação revele e transmita informações tecnica-mente adequadas sobre as características que determinam o valor ou mérito do programa que está sendo avaliado. A1* = Documentação do programa. O programa avaliado deve ser descrito e documentado de forma clara e precisa para que possa ser identificado e compreendido com facilidade. A2 = Análise do contexto. O contexto de um programa deve ser examinado de forma suficientemente detalhada para que as prováveis influências que terá sobre o programa (seus pro-cessos e resultados) possam ser identificadas.
A3 = Descrição de finalidades e procedimentos. As finalida-des e os procedimentos da avaliação devem ser monitorados e descritos de forma suficientemente detalhada para ser iden-tificados e aferidos.
A4 = Fontes de informações confiáveis. As fontes de informa-ções usadas na avaliação de um programa devem ser descritas de forma suficientemente detalhada para que a adequação dessas informações possa ser aferida.
A5 = Informações válidas. Os procedimentos de coleta de infor-mações devem ser escolhidos ou criados e depois implementa-dos de tal maneira que assegurem a validade da interpretação a que se chegou para o uso que se pretende fazer dela. A6 = Informações fidedignas. Os procedimentos de coleta de informações devem ser escolhidos ou criados e depois imple-mentados de tal maneira que garantam que as informações obtidas sejam suficientemente fidedignas para o uso que se pretende fazer delas.
A7 = Informações sistemáticas. As informações coletadas, processadas e apresentadas numa avaliação devem ser sis-tematicamente revistas e todos os erros encontrados devem ser corrigidos.
A8 = Análise das informações quantitativas. As informações quantitativas de uma avaliação devem ser analisadas de forma apropriada e sistemática para que as perguntas sejam efetiva-mente respondidas.
Figura 20.1 – Amostra de lista de verificação para julgar os relatórios e planos de avaliação. Título do documento de avaliação:
Nome do revisor:
Critérios atendidos? Detalhamento Diretriz: identificação do interessado
Critérios específicos
a. Os públicos da avaliação foram identificados? Sim Não ? NA b. As necessidades dos públicos foram identificadas? Sim Não ? NA c. Os objetos da avaliação são coerentes com as necessidades do público? Sim Não ? NA d. As informações a ser fornecidas aos interessados os ajudam a tomar Sim Não ? NA as decisões necessárias ao programa?
Diretriz: informações fidedignas
Critérios específicos
a. Os procedimentos de coleta de informações foram descritos com clareza? Sim Não ? NA
b. Serão tomadas medidas para garantir o mínimo de erros? Sim Não ? NA
c. A contagem de pontos ou os procedimentos de codificação foram influenciados Sim Não ? NA pela perspectiva pessoal do avaliador?
d. As informações foram obtidas com o uso de instrumentos de avaliação Sim Não ? NA que podem ser verificados?
Diretriz: procedimentos práticos
Critérios específicos
a. Os recursos da avaliação (tempo, dinheiro e funcionários) são adequados Sim Não ? NA para realizar as atividades previstas?
b. Os planos administrativos foram especificados para a realização do estudo avaliatório? Sim Não ? NA c. Foi feito um planejamento adequado para aumentar a viabilidade de Sim Não ? NA atividades complexas?
NA = Não (se) aplica.
A9 = Análise das informações qualitativas. As informações qualitativas de uma avaliação devem ser analisadas de forma apropriada e sistemática para que as perguntas sejam efetiva-mente respondidas.
A10 = Conclusões justificadas. As conclusões a que uma ava-liação chega devem ser explicitamente justificadas para que os interessados possam ter acesso a elas.
A11 = Relatório imparcial. O registro dos procedimentos deve procurar evitar toda e qualquer distorção causada por sentimentos pessoais e preferências de qualquer das partes envolvidas na avaliação para que os relatórios reflitam corre-tamente as descobertas do estudo.
A12 = Meta-avaliação. A própria avaliação deve ser avaliada de maneira formal e somativa de acordo com essas e outras diretrizes pertinentes para que sua realização seja bem orien-tada e para que, depois do término, os interessados possam examinar de perto seus pontos fortes e fracos.
Utilidade das diretrizes
Os avaliadores e seus clientes podem usar essas diretrizes para planejar ou revisar avaliações, para organizar a formação na área de avaliação e para monitorar ou fazer auditorias de avaliações
formalmente encomendadas. A nosso ver, as Diretrizes do Joint Committee continuam sendo o melhor quadro de referências que existe, de acordo com as quais tanto as avaliações quanto outros conjuntos de critérios e diretrizes da meta-avaliação de-vem ser julgados. Não somos os únicos a ter essa opinião. Os estados de Louisiana, Havaí e Flórida estão usando as diretrizes publicadas no livro Program Evaluation Standards como guia de avaliações de programas educacionais e do setor público.
Aplicação das diretrizes
O Program Evaluation Standards não é um livro de receitas de bolo que indica os passos a seguir. É uma compilação das ca-racterísticas de um bom estudo avaliatório sobre as quais há consenso. Em última instância, as opções e vantagens de cada diretriz são da competência do avaliador. Uma lista de verifica-ção (baseada nas diretrizes) para julgar a adequaverifica-ção dos planos e relatórios de avaliação poderia ser criada facilmente usando-se um formato parecido com o mostrado na Figura 20.1.
PRINCÍPIOS ORIENTADORES DA AEA PARA OS PROFIS-SIONAIS DA AVALIAÇÃO
Não podemos encerrar esta discussão sem falar dos princípios orientadores da American Evaluation Association (Shadish,
Newman, Scheirer & Wie, 1995). Os princípios da AEA são mais expectativas de modo de vida dos avaliadores profissio-nais do que uma série de diretrizes a ser aplicadas a qualquer estudo específico. Os princípios da AEA promovem um modo de vida de investigação sistemática, desenvolvimento profis-sional, honestidade, respeito e preocupação com a sociedade. Nesse sentido, permeiam as atividades cotidianas do avaliador durante toda a sua carreira.
Os princípios orientadores da AEA são os seguintes:
A. Investigação sistemática. Os avaliadores devem fazer in-vestigações sistemáticas baseadas em dados sobre seu objeto de estudo.
1. Os avaliadores devem adotar as diretrizes técnicas mais apropriadas que houver ao realizar seu trabalho, quer de na-tureza quantitativa, quer de nana-tureza qualitativa, de modo a aumentar a precisão e a credibilidade das informações avalia-tórias que produzem.
2. Os avaliadores devem explorar com o cliente as deficiências e os pontos fortes tanto das várias perguntas da avaliação que pode ser produtivo tentar responder quanto das diversas abordagens que podem ser usadas para responder a essas perguntas.
3. Ao apresentar seu trabalho, os avaliadores devem comunicar métodos e abordagens acuradamente e com detalhes suficien-tes para permitir que outros compreendam, interpretem e criti-quem esse trabalho. Devem deixar claras as limitações de uma avaliação e seus resultados. Os avaliadores devem discutir, de forma contextualmente apropriada, valores, premissas, teorias, métodos, resultados e análises que afetam significativamente a interpretação das descobertas avaliatórias. Essas propostas aplicam-se a todos os aspectos da avaliação, da conceituação inicial ao uso final das descobertas.
B. Competência. Os avaliadores devem ter desempenho com-petente diante dos interessados.
1. Os avaliadores devem possuir (ou sempre que apropriado garantir que a equipe de avaliação possua) instrução, capaci-dades, qualificações e experiência adequadas para realizar as tarefas propostas na avaliação.
2. Os avaliadores devem realizar seu trabalho dentro dos limi-tes de sua formação e competência profissionais e devem se recusar a fazer avaliações que estejam substancialmente além desses limites. Quando recusarem a encomenda ou quando o pedido não for viável nem apropriado, os avaliadores devem deixar claras todas as limitações significativas da avaliação que resultaria caso a aceitassem. Os avaliadores devem fazer o possível para adquirir competência diretamente ou por meio da ajuda de outros que possuam os conhecimentos especiali-zados necessários.
3. Os avaliadores devem procurar constantemente manter e aumentar suas competências para fazer o melhor trabalho possível nas avaliações. Esse desenvolvimento profissional
constante pode abranger cursos formais e treinamentos, es-tudos autodidatas, avaliações para aumentar a experiência e trabalho com outros avaliadores para adquirir qualificações e conhecimentos especializados.
C. Integridade/honestidade. Os avaliadores devem garantir a honestidade e a integridade de todo o processo de avaliação. 1. Os avaliadores devem negociar honestamente com os clien-tes e interessados relevanclien-tes custos, tarefas a ser realizadas, limitações da metodologia, alcance dos resultados prováveis e usos dos dados extraídos de determinada avaliação. É ba-sicamente responsabilidade do avaliador – e não do cliente – iniciar a discussão e o esclarecimento dessas questões. 2. Os avaliadores devem documentar todas as mudanças fei-tas nos planos originalmente negociados e as razões pelas quais as mudanças foram feitas. Se essas mudanças afetarem significativamente o alcance e os resultados prováveis da ava-liação, o avaliador deve informar a tempo o cliente e outros interessados importantes (a não ser que haja bons motivos para o contrário, antes de dar continuidade ao trabalho) das mudanças e de seu impacto provável.
3. Os avaliadores devem procurar determinar – e quando apropriado explicitar – os próprios interesses e os interesses de seus clientes e outros interessados na realização e nos re-sultados de uma avaliação (inclusive interesses financeiros, políticos e de carreira profissional).
4. Os avaliadores devem revelar todo e qualquer papel ou rela-ção que tiverem com o objeto da avaliarela-ção que poderia repre-sentar um conflito de interesses significativo com seu trabalho profissional. Qualquer tipo de conflito deve ser mencionado nos relatórios sobre os resultados da avaliação.
5. Os avaliadores não devem distorcer procedimentos, dados nem descobertas. Dentro de limites razoáveis, devem tentar impedir ou corrigir todo e qualquer uso equivocado de seu trabalho por terceiros.
6. Quando os avaliadores acharem que certos procedimen-tos ou atividades têm probabilidade de gerar informações ou conclusões avaliatórias equivocadas, terão a responsabilidade de comunicar suas preocupações – e os motivos delas – ao cliente (aquele que financia ou encomenda a avaliação). Se as discussões com o cliente não resolverem esses problemas, de modo que uma avaliação enganosa seja então implementa-da, o avaliador poderá se recusar legitimamente a conduzir a avaliação se essa atitude for viável e apropriada. Se não for, o avaliador deverá consultar colegas ou interessados relevantes sobre outras formas adequadas de proceder (as opções inclui-riam, mas não se limitariam a elas, discussões de cúpula, uma carta de apresentação ou um apêndice com suas discordân-cias ou ainda a recusa de assinar o documento final). 7. Com exceção de motivos de força maior, os avaliadores de-vem apresentar todas as fontes de apoio financeiro da avalia-ção e a fonte do pedido do estudo.
D. Respeito pelas pessoas. Os avaliadores devem respeitar a segurança, a dignidade e a auto-estima de pessoas que lhes dão informações, de participantes do programa, de clientes e de outros interessados com quem interagirem.
1. Quando necessário, os avaliadores devem agir em confor-midade com a ética e as diretrizes profissionais correntes em relação a riscos, prejuízos e responsabilidades que podem ser criados pelos participantes da avaliação; relativos ao consen-timento formal de participação no estudo; e relativos à infor-mação dos participantes sobre o alcance e os limites do sigilo. Entre os exemplos dessas diretrizes temos as regulamentações federais sobre proteção aos sujeitos humanos ou os princípios éticos de associações como a American Anthropological As-sociation, a American Educational Research Association ou a American Psychological Association. Embora esse princípio não tenha a intenção de estender a aplicabilidade dessa ética e des-ses critérios além de sua atual esfera de ação, os avaliadores devem se nortear por eles sempre que for viável e desejável. 2. Como as conclusões negativas ou críticas justificadas de um estudo devem ser apresentadas explicitamente, às vezes as avaliações produzem resultados que prejudicam os interesses do cliente ou dos envolvidos. Nessas circunstâncias, os avalia-dores devem procurar maximizar os benefícios e reduzir todo e qualquer prejuízo desnecessário que possa ocorrer desde que isso não comprometa a integridade das descobertas da ava-liação. Os avaliadores precisam julgar com o maior cuidado o momento em que os benefícios da avaliação ou certos proce-dimentos avaliatórios devem ser ignorados por causa dos ris-cos ou prejuízos. Sempre que possível, essas questões devem ser apresentadas durante a negociação do estudo avaliatório. 3. Sabendo que muitas vezes as avaliações afetam negativa-mente os interesses de alguns, os avaliadores devem conduzi-las e comunicar seus resultados de uma forma que respeite claramente a dignidade e a auto-estima dos envolvidos. 4. Quando possível, os avaliadores devem tentar promover a eqüidade social da avaliação para que aqueles que participam dela possam receber alguns benefícios em troca. Por exem-plo: os avaliadores devem procurar garantir que aqueles que aceitam os encargos de contribuir com dados e que assumem quaisquer riscos estejam fazendo isso por livre e espontânea vontade e tenham pleno conhecimento e o máximo possível de oportunidades de obter quaisquer benefícios que possam ser gerados pela avaliação. Quando isso não puser em perigo a integridade da avaliação, as pessoas que dão informações ou participam do programa devem ser informadas de que po-dem receber os serviços aos quais não teriam direito se não participassem do estudo.
5. Os avaliadores têm a responsabilidade de identificar e res-peitar as diferenças entre os participantes, como diferenças de cultura, religião, sexo, invalidez, idade, orientação sexual e etnia, e devem estar cientes das implicações potenciais dessas diferenças ao planejar, realizar, analisar e preparar os relató-rios de suas avaliações.
E. Responsabilidades pelo bem-estar geral e público. Os ava-liadores devem articular e levar em conta a diversidade de in-teresses e valores relacionados ao bem-estar geral e público. 1. Ao planejar e apresentar relatórios das avaliações, os avalia-dores devem considerar a possibilidade de incluir perspectivas e interesses importantes de todo o leque de interessados no objeto da avaliação. Os avaliadores devem considerar cuida-dosamente a justificativa pela omissão de perspectivas de va-lor ou das visões de grupos de peso.
2. Os avaliadores devem considerar não apenas as atividades imediatas e o resultado dos objetos de avaliação, mas também premissas gerais, implicações e possíveis efeitos colaterais. 3. A liberdade de expressão é essencial para uma democra-cia. Por isso, exceto por razões de força maior, os avaliadores devem permitir que todos os interessados relevantes tenham acesso às informações avaliatórias e divulgá-las ativamente para todos se os recursos permitirem. Se resultados diferentes da avaliação forem comunicados em formulários adaptados aos interesses das diversas partes, esses comunicados devem assegurar que todo grupo interessado esteja ciente da exis-tência de outros formulários. Os comunicados adaptados a certo interessado devem sempre conter todos os resultados importantes que podem ser significativos para ele. Em todas as situações, os avaliadores devem se esforçar por apresentar os resultados da maneira mais clara e simples que a exigên-cia de precisão permitir para que todos os clientes e outros interessados possam compreender facilmente o processo e os resultados da avaliação.
4. Os avaliadores devem manter o equilíbrio entre as neces-sidades do cliente e outras necesneces-sidades. Os avaliadores pre-cisam ter uma relação especial com o cliente que financia ou encomenda a avaliação. Em virtude dessa relação, os avalia-dores devem se esforçar para satisfazer as necessidades legí-timas do cliente sempre que isso for viável e apropriado. Mas essa relação também pode levar os avaliadores a situações di-fíceis, quando os interesses do cliente entram em conflito com outros interesses ou quando os interesses do cliente entram em conflito com as obrigações dos avaliadores de fazer uma investigação sistemática ou de ter competência, integridade e respeito pelas pessoas. Nesse caso, os avaliadores devem identificar e discutir explicitamente os conflitos com o cliente e com os interessados relevantes, resolvê-los quando possível, determinar se é aconselhável continuar com os trabalhos da avaliação se não for possível resolver os conflitos e deixar clara toda e qualquer limitação significativa do estudo caso os con-flitos não sejam resolvidos.
5. Os avaliadores têm deveres que abrangem o interesse e o bem público. Esses deveres são especialmente importantes quando os avaliadores são financiados por fundos públicos; mas uma ameaça evidente ao bem público nunca deve ser ignorada em nenhuma avaliação. Como o interesse e o bem público raramente coincidem com os interesses de um grupo particular (inclusive aquele a que pertencem o cliente ou o
órgão financiador), em geral os avaliadores têm de ir além da análise dos interesses de determinada parte ao considerar o bem-estar da sociedade como um todo2.
O PAPEL DO META-AVALIADOR
Observamos que a meta-avaliação foi acrescentada entre as diretrizes pelo Joint Committee em 1994. A meta-avaliação deixou de ser vista apenas como um requinte. Agora é uma expectativa. Como sugerimos antes, quase todos fazem meta-avaliações informais. Mas uma avaliação formal é uma coisa completamente diferente. Ao que tudo indica, um meta-avalia-dor precisa ter ao menos tanta perspicácia e tantos conheci-mentos no campo da avaliação quanto a pessoa que conduziu o estudo original. Como dizem Brinkerhoff, Brethower, Hluchyj e Nowakowski (1983), “[Os meta-avaliadores] não só devem ser competentes o bastante para fazer a avaliação original como também têm de ser capazes de dizer se esta é boa ou ruim e de convencer os outros de que eles sabem qual é a diferença” (p. 208).
Por mais acurada que seja, essa observação cria um dilema: exige um superavaliador com competência bastante para ava-liar praticamente todos os estudos feitos. Mas, nesse caso, quem teria competência bastante para avaliar o trabalho do superavaliador? Outros superavaliadores? Será necessário que existam supersuperavaliadores mais competentes ainda que os superavaliadores cujo trabalho julgam?
É claro que a resposta a essas preocupações circulares é que na meta-avaliação, como em muitas outras atividades, simples-mente fazemos o melhor possível. Por mais que quiséssemos que todas as meta-avaliações fossem feitas por um segundo avaliador com qualificações extraordinárias, isso muitas vezes não seria viável. Em geral, os melhores meta-avaliadores são grupos de consultores especializados cujos membros são reu-nidos para obter os conhecimentos específicos necessários. Consideramos todas as seguintes pessoas como indivíduos capacitados a fazer meta-avaliações. Ao mesmo tempo, reco-nhecemos que a sofisticação, a certeza e a imparcialidade de seus julgamentos provavelmente variarão em razão de suas competências e dos conflitos de interesse.
1. Meta-avaliação realizada pelo avaliador original. Discutimos acima as possíveis preferências que decorrem da avaliação do próprio trabalho. O avaliador não é imune a preferências pessoais, e sempre é aconselhável ter a visão crítica de outro avaliador a respeito de seu trabalho – mesmo que seja apenas a crítica amistosa, mas franca, de um colega. Mas, se isso não for possível, achamos melhor um avaliador aferir seu traba-lho de acordo com as Diretrizes do Joint Committee e com os princípios norteadores da AEA do que não o reavaliar somente devido ao risco de tendenciosidade.
2. Meta-avaliação feita pelos usuários da avaliação. Muitas vezes, cabe ao patrocinador, ao cliente ou a outros interes-sados no estudo julgar a adequação de um plano ou rela-tório de avaliação sem a ajuda de um avaliador profissional. O êxito dessa abordagem depende muito da competência técnica do consumidor para julgar até que ponto a avaliação está de acordo com diretrizes como “informações válidas” ou “análise das informações quantitativas”. Mas as Diretrizes do Joint Committee e os princípios norteadores da AEA não exi-gem, na verdade, uma formação técnica especializada. Pode ser muito viável um cliente conseguir aplicar efetivamente a maioria desses critérios consultando um especialista técnico para esclarecer qualquer coisa que pareça complexa ou pouco clara. Evidentemente, se a avaliação for considerada irrelevan-te, ininteligível, tendenciosa ou extemporânea, sua adequação técnica terá pouca importância.
3. Meta-avaliação feita por avaliadores competentes. Parece ser a melhor opção possível se todos os outros fatores forem iguais. Apesar disso, há escolhas importantes a ser feitas. Como Brinkerhoff e seus colaboradores (1983) nos lembram: 1) os meta-avaliadores externos em geral têm mais credibili-dade do que os meta-avaliadores internos; e 2) uma equipe pode contribuir com um número maior de competências para uma meta-avaliação do que um avaliador individual.
ALGUMAS ORIENTACÕES GERAIS PARA FAZER UMA META-AVALIAÇÃO
Os avaliadores fariam muito bem se planejassem tanto re-visões internas quanto externas da avaliação em momentos críticos: uma depois do término do plano ou da proposta de avaliação, a intervalos periódicos durante o estudo para checar o progresso e identificar problemas, e outra no final da ava-liação para checar as descobertas e os relatórios e para fazer uma auditoria dos procedimentos e das conclusões da ava-liação. Muitos avaliadores usam revisões internas e externas para orientar seu trabalho.
Arevisão interna pode ser feita por um comitê ou grupo de consultoria de avaliação. Enquanto o estudo estiver em anda-mento, o avaliador pode convocar um grupo de interessados e membros da equipe, pedindo-lhes para apresentar suas im-pressões do plano de avaliação, de sua implementação, dos prazos e custos relativos, das várias tarefas e da necessidade de fazer revisões. As minutas dessas reuniões produzem rela-tórios úteis para o cliente sobre o progresso dos trabalhos. A revisão externa é melhor quando conduzida por uma ter-ceira parte desinteressada com experiência bem-sucedida em avaliações semelhantes. Se for chamado bem no início, o ava-liador interno pode examinar o plano de avaliação e fazer re-comendações para melhorá-lo. Um avaliador externo também
2 Extraído de “Guiding principles for evaluators”, American Evaluation Association, 1995, em W.R. Shadish, D.I. Newman, M.A. Scheirer & C. Wye (orgs.),
Figura 20.2 – Opções de procedimentos para fazer uma meta-avaliação.
FOCO DA META-AVALIAÇÃO
USOS FORMATIVOS USOS SOMÁTICOS
Avaliação de planos Avaliação da avaliação Avaliação depois do
de avaliação em andamento término da avaliação
Procedimentos Contratar um consultor (isto é, um Observadores independentes Revisão dos relatórios finais para fazer uma avaliador, um especialista em (como meta-avaliador, (como enviar relatórios ao meta-avaliação mensurações ou em conteúdo). equipe de avaliação, grupo de avaliador, ao consultor, ao
especialistas em revisão). grupo de assessores).
Grupo de especialistas em revisão Revisão dos relatórios sobre o Meta-avaliador (como (como um painel de especialistas). progresso dos trabalhos (como, patrocinadores ou órgão
diários, relatórios provisórios, financiador, grupo de assessores,
atualização do orçamento, plano avaliadores profissionais).
administrativo, programação da
coleta de dados). Revisão dos planos da avaliação
(como proposta ou contrato do
plano administrativo).
pode dar assistência técnica durante a avaliação e, no final do projeto, revisar os procedimentos, as descobertas e conclusões da avaliação. O avaliador externo pode precisar marcar uma visita ao local em todos os estágios de sua revisão para ter pleno acesso aos arquivos, instrumentos, dados, relatórios e públicos da avaliação. Esse procedimento requer planejamen-to, e é preciso saber como e onde ter acesso a informações pertinentes à avaliação. O profissional responsável pelo estu-do deve ser capaz de mostrar por que a avaliação foi ajustada em resposta a recomendações feitas pelo avaliador externo. Brinkerhoff e seus colaboradores (1983) apresentam uma lista muito interessante de opções de procedimentos (Figura 20.2) com a qual escolher o foco da meta-avaliação. Como observamos acima, pode-se avaliar planos, projetos, ativida-des, relatórios e até o financiamento e a administração de um estudo avaliatório. Preferimos enfatizar no restante de nossa discussão o plano de avaliação da avaliação.
Na avaliação, o planejamento é crucial. Planos ruins não levam a estudos satisfatórios. Mas a meta-avaliação tem de abranger mais coisas além do plano do estudo. É igualmente importante monitorar a avaliação em andamento e revisar os relatórios para garantir que as promessas feitas nos planos sejam cumpridas. Seria tolice esperar até o relatório estar pronto para aferir a adequação de um estudo avaliatório e assim descobrir que é tarde demais para corrigir muitas deficiências que poderiam ter sido identificadas antes. Em resumo, uma meta-avaliação completa inclui:
• Revisão do plano proposto para garantir que é viável e apropriado.
• Monitoramento da proposta para ver se as tarefas foram realizadas conforme o planejado e dentro do orçamento. • Verificação da qualidade dos instrumentos, procedimentos e produtos (como dados e relatórios).
• Reexame da proposta em razão de possíveis revisões ao lon-go do processo (principalmente à luz da utilidade que a ava-liação mostrou ter até o momento para públicos importantes ou à luz dos problemas surgidos na avaliação).
• Verificação dos efeitos da meta-avaliação sobre a avaliação. Devido à limitação do espaço, vamos restringir essa discus-são e os exemplos restantes à avaliação do planejamento. Os leitores devem ser capazes de extrapolar facilmente os crité-rios dessa discussão dos outros aspectos da avaliação para a meta-avaliação.
Passos da avaliação de um plano de avaliação
Os seguintes passos foram propostos para conduzir uma meta-avaliação:
1. Obter uma cópia do planejamento em formato pronto para revisão. A abordagem formativa de uma meta-avaliação é ob-viamente desejável depois que o planejamento já está num estágio suficientemente avançado para tornar uma revisão produtiva. Não faz sentido dizer a um avaliador que o planeja-mento que ainda não terminou de fazer está incompleto. 2. Decidir quem vai fazer a meta-avaliação. Reveja nossos co-mentários na seção anterior sobre o papel do meta-avaliador, pois eles vão ajudá-lo a tomar essa decisão.
3. Assegurar-se de que existe autorização para avaliar o plane-jamento. Se você for patrocinador ou cliente e receber um pla-nejamento apresentado por um avaliador que propõe fazer um contrato de avaliação, obviamente terá liberdade de avaliá-lo e, em geral, não vai haver nenhuma restrição profissional nem legal para fazer uma “meta-avaliação” com outro profissional competente que o ajude nisso. Inversamente, suponha que o presidente do Comitê de Abrigos para os Moradores de Rua, composto de cidadãos preocupados, pede-lhe para encontrar as falhas de um plano de avaliação interna que o abrigo local de moradores de rua se propõe usar para avaliar seu progra-ma. Você deve questionar a adequação desse papel, principal-mente se descobrir que o planejamento foi apresentado de forma tosca, circulou somente em busca de reações internas e saiu sub-repticiamente do abrigo para o comitê pelas mãos de um dos responsáveis, descontente com o plano. Os meta-avaliadores (assim como os meta-avaliadores) podem descobrir que se transformaram em “assassinos de aluguel”, e é importante, antes de arregaçar as mangas e se atirar ao trabalho, ter cer-teza de que a meta-avaliação desejada pelo cliente não vai transgredir princípios éticos nem jurídicos.
4. Aplicar as diretrizes ao planejamento da avaliação. O Joint Committee incentiva o uso de suas Diretrizes publicando uma lista de verificação como apêndice do livro Program Evalua-tion Standards.
5. Julgar a adequação do planejamento. Nenhum plano de avaliação é perfeito. A questão é determinar se, no frigir dos ovos, depois de pôr tudo na balança, a avaliação parece coe-rente com suas finalidades num grau aceitável de qualidade.
A NECESSIDADE DE MAIS META-AVALIAÇÕES
Se tivermos um pouco de sorte, já convencemos o leitor de que o conceito de meta-avaliação é útil e há instrumentos apro-priados para usar com essa finalidade. Mas, apesar da grande publicidade, da ampla aceitação e da existência das Diretrizes do Joint Committee, pouco cresceu o número de avaliações submetidas a um exame mais minucioso atualmente em re-lação ao período anterior à publicação dessas diretrizes. Até uma inspeção informal revela que só uma pequena proporção dos estudos avaliatórios chega a ser avaliada, mesmo da ma-neira mais superficial. Entre as poucas meta-avaliações feitas realmente, a maior parte é de avaliações internas feitas pelo avaliador que realizou o estudo original. É muito raro ver um avaliador pedir a um especialista externo para avaliar suas ati-vidades. Talvez as razões disso sejam muitas e complexas, mas uma delas parece particularmente persuasiva. Os avaliadores são humanos e não ficam mais extasiados que os profissionais de qualquer outra área quando seu trabalho vai ser avaliado. Pode ser uma experiência profundamente desgastante ter de provar do próprio remédio. Embora a raridade de boas meta-avaliações seja compreensível, não é facilmente perdoável, pois permite que práticas avaliatórias de má qualidade pas-sem despercebidas e, pior ainda, que sejam repetidas muitas e muitas vezes em detrimento da classe.
Aplicação ao estudo de caso
4 de junho. Meu relatório final foi enviado a Claire Janson
hoje, de modo que, finalmente, essa avaliação está pronta! Será que está mesmo? Sugeri ao pessoal da escola Radnor que a melhor coisa para eles seria pedir a um avaliador externo que fizesse uma revisão da avaliação pronta. Por mais maso-quista que possa parecer, acredito firmemente que há muito o que aprender através de outros olhos e ouvidos, perspectivas, experiência e, obviamente, conhecimentos especializados em qualquer avaliação. À medida que tomamos consciência das limitações e dos pontos fortes da avaliação, eu e meus amigos da Radnor descobrimos quanta confiança ter nos resultados. Há também coisas a aprender que poderiam nos ajudar quan-do fizermos outros estuquan-dos no futuro. No campo da avaliação, o processo de aprendizado nunca acaba. Acho que esse é um dos motivos pelos quais continuo nesse ramo. Claro que a conta do dentista de Brad é outro.
16 de junho. Acabei de receber um pacote da escola
Rad-nor. Claire Janson conseguiu que um professor que dá cursos de avaliação em Filadélfia concordasse em revisar a avalia-ção na base de trabalho voluntário para o distrito educacio-nal. Ela usou as diretrizes do Joint Committee como base da revisão e teve a gentileza de me mandar uma cópia. Breve, mas proveitosa.
Tópico 10
Senhora Janson, minha reação à avaliação externa que a se-nhora mandou fazer relativamente a seu distrito está resumida abaixo, somente com os títulos das categorias das diretrizes do Joint Committee que discutimos. Desculpe, mas o tempo não me permite dar mais detalhes.
1. Utilidade da avaliação. Parece que o estudo original foi fei-to com a intenção de produzir um relatório final que tives-se impacto. Mas ainda é preciso verificar tives-se a utilidade da avaliação corresponde a seu custo. A senhora deve fazer um acompanhamento das recomendações derivadas da avaliação e monitorar as mudanças introduzidas no programa. Como o avaliador se familiarizou muito com o programa, tornou-se um recurso para o qual apelar no futuro em busca de conselhos para os estudos de acompanhamento. O conselho que posso lhe dar é não considerar essa avaliação como um único es-tudo; com base nele, a senhora deve continuar suas revisões e usar outras avaliações internas para seus planejamentos e melhorias. Os pontos fortes desse estudo, relacionados à utili-dade, são o envolvimento dos interessados ao longo de toda a avaliação, a credibilidade que o avaliador conquistou para si mesmo e para seu trabalho, o alcance da avaliação, a integra-ção de diversas orientações de valor ao estudo e a clareza e pontualidade do relatório.
Uma possível limitação pode ser o problema do envolvimento da cúpula administrativa no próprio programa, bem como no uso da avaliação. Embora a cúpula tenha declarado estar en-volvida, os atos são mais eloqüentes que as palavras.
2. Viabilidade da avaliação. A avaliação foi adaptada para obe-decer às restrições de orçamento e tempo do cliente. A logística de todas as fases da avaliação manteve-se administrável e pos-sibilitou o término do estudo a tempo e dentro do orçamento. O avaliador fez um belo trabalho não prometendo mais do que podia cumprir. Fez o que disse que faria. A viabilidade política foi conseguida com o envolvimento de todos que queriam ser envolvidos ou de quem tinha algo a dizer sobre o programa. Uma variável ainda desconhecida é o custo-efetividade da avaliação, algo que a senhora pode descobrir. A forma pela qual a avaliação for usada deverá justificar seu custo. Uma boa soma de dinheiro e energia que poderiam ter sido gastos de forma mais proveitosa talvez tenha sido desperdiçada se a avaliação não causar nenhum impacto demonstrável. Por ou-tro lado, pode haver economia considerável de recursos se a avaliação evitar investimentos futuros em atividades improdu-tivas do programa. Isso ainda está por ser verificado.
3. Propriedade da avaliação. Esse aspecto parece muito bom. Um contrato sucinto esclareceu a maioria das expectativas da avaliação, e tudo o que foi prometido foi cumprido com a entrega de um trabalho de qualidade (mas o contrato foi um pouco sucinto demais e eu acho que a senhora e o avalia-dor devem ter adquirido bastante confiança mútua ao longo do estudo sem grandes mal-entendidos). Não há conflitos de interesse evidentes na avaliação. Foi uma boa medida con-tratar para esse estudo um especialista em metodologia da avaliação, aliás um profissional imparcial e independente. Os relatórios foram completos, francos e justos, e os direitos dos participantes e dos informantes foram respeitados e protegi-dos. Os pontos fortes e fracos do programa foram todos apre-sentados. Durante a avaliação, as interações parecem ter sido muito profissionais e respeitosas.
4. Precisão da avaliação. O avaliador compensou muito bem sua falta de conhecimentos especializados em letras, artes e ciências humanas. O emprego de especialistas externos e de professores desse curso da escola Radnor completou a equipe de avaliação, o que, a meu ver, era necessário para fazer um bom estudo desse curso. O avaliador estava em certa desvan-tagem pelo fato de os instrumentos de coleta de dados não estarem à disposição, de modo que muitos tiveram de ser cria-dosad hoc. Essa é uma situação muito comum na avaliação, mas a criação de instrumentos é dispendiosa e requer mui-to tempo. O avaliador fez um bom trabalho ao equilibrar as alocações de recursos e a criação de instrumentos com suas limitações, talvez tenha sido até um trabalho excepcional da-das as restrições impostas a ele. Ao usar múltiplos métodos e fontes, ele conseguiu triangular coletando informações que não são enganosas. É evidente que, se ele tivesse usado só uma fonte e um método (entrevistas), poderia ter sido levado a conclusões muito diferentes, que estariam longe de atingir o alvo. Seus métodos de controle de dados, análise de dados e interpretação das informações levaram em conta as diretrizes de controle sistemático de dados, a análise de informações quantitativas e qualitativas, as conclusões justificadas e o pre-paro de relatórios objetivos.
A única limitação que vejo nos relatórios foi o fato de a iden-tificação do objeto e a análise de contexto não estarem com-pletas. Embora o leitor informado conheça bem o programa e seu contexto, o leitor desinformado dos relatórios da avaliação se perguntará sobre as características pertinentes do distrito educacional e dos professores e alunos que participaram do estudo. A história e a filosofia do programa receberam muito pouca atenção, assim como as implicações da avaliação para outros educadores que poderiam considerar um empreendi-mento semelhante. Talvez seja necessário fazer um relatório separado para outros educadores de modo que possam ficar mais bem informados sobre transportabilidade, processos, conteúdo e impacto.
Comentários do autor. Exatamente o que pensei.
Bem-feito, mas não perfeito. Havia algo a aprender pedindo uma avaliação da avaliação a um especialista imparcial do ramo. Sempre há.
10 de outubro. Recebi um telefonema de Pensilvânia hoje
pedindo algumas cópias extras do relatório de avaliação que es-crevi na última primavera. Eu estava interessado em saber se o pessoal da Radnor usou realmente a avaliação para tomar algu-mas decisões muito importantes sobre seu curso de letras, artes e ciências humanas. Essa é a boa notícia. A má notícia é que eles acabaram de lançar um novo currículo de matemática assesso-rado por computadores, em todo o distrito, sem absolutamente nenhum plano para avaliá-lo e ver se realmente funciona. Claire Janson disse que defendeu ardorosamente a necessidade de fa-zer uma avaliação desde o começo, mas foi voto vencido. Eu me pergunto por que a avaliação não é parte integrante de cada planejamento, orçamento, criação de cursos, livro didático e seleção de provas, revisão permanente e desenvolvimento de equipe, reforma educacional, deliberação da diretoria das esco-las e coisas do gênero. Suspeito que o problema esteja no fato de que poucas figuras de proa na educação, na política e na co-munidade conhecem realmente a avaliação. Há poucas pessoas cientes do potencial ou que já viram o impacto que a avaliação pode ter. Na verdade, são poucos os que já viram uma boa ava-liação. E provavelmente há muitos que já viram ou receberam avaliações malfeitas. Percorremos um longo caminho nos últi-mos trinta anos na compreensão do papel e da forma certa de fazer uma avaliação. Ainda estamos aprendendo, mas não devo esquecer que agora sabemos muito mais do que antes. Acho que os avaliadores deviam estar trabalhando com distri-tos educacionais, diretorias de escolas, políticos e grupos co-munitários para dividir o que sabem e fazer planos para usar a avaliação efetivamente. Não seria interessante se mais admi-nistradores soubessem reconhecer e recompensar avaliações exemplares ou talvez houvesse até alguma forma razoável de penalizar aqueles que gastam grandes somas dos fundos pú-blicos sem nenhum empenho em avaliar o tipo nem a utilidade dessas despesas? Com esse tipo de liderança e com empenho genuíno da comunidade de avaliadores, seríamos capazes de tornar a avaliação mais útil de modo que seria feita mais vezes e com mais inteligência.
Palavra de honra – acabei de reler essas anotações e me pergunto onde foi que deixei os tambores e a corneta. Se eu não tomar cuidado, vou sair marchando, com as bandeiras ao vento, para aumentar o esprit de évaluation! É melhor conter o entusiasmo, acho. Detestaria que meus colegas me vissem como um fanático desvairado que fica fora de si discursando sobre os poderes da avaliação para vencer os males do mun-do, pois seria uma caricatura totalmente exagerada. Bem, pelo menos um pouquinho exagerada.
Comentários do autor. E assim chegamos ao fim de nossa
avaliação fictícia. Mas só arranhei a superfície do que aconte-ce de fato durante a realização de uma avaliação de verdade. Quase todos os estudos avaliatórios são empreendimentos complexos e abrangentes. Mas, por baixo da complexidade, há muitos passos simples e fáceis com os quais o avaliador e o cliente podem trabalhar como sócios. Espero que meu estudo de caso imaginário tenha sido instrutivo em relação a algumas dessas diretrizes práticas. Espero também que tenha mostrado que os estudos avaliatórios são muito melhores quando adap-tados especialmente às necessidades do cliente, baseando-se, quando for preciso, em múltiplas perspectivas em vez de se-guir as prescrições de qualquer modelo ou método particular de avaliação. Seria frustrante se minha avaliação inventada não tivesse deixado isso bem claro.
Preciso confessar que escrever essa avaliação fictícia da escola Radnor foi terapêutico. É a única avaliação que já fiz na vida no conforto de meu gabinete e também a única em que nin-guém levantou questões sobre meu plano nem minhas moti-vações, nem sequer sobre minha ascendência. Sim, fazer essas avaliações de laboratório pode ser viciador.
EXERCÍCIOS DE APLICAÇÃO
1. Use as Diretrizes de avaliação de programas do Joint Com-mittee para avaliar um estudo de sua escolha que já esteja pronto. Em relação a que aspectos do estudo você carece de informações? O que tem a aprender com os pontos fortes e fracos do trabalho de outros avaliadores?
2. Selecione um tipo de estudo avaliatório (como uma avalia-ção de programa de um órgão estadual ou federal de assis-tência social). Use as Diretrizes do Joint Committee para ava-liar vários tipos de estudo. Com esses dados, você pode fazer qualquer tipo de inferência sobre a avaliação do programa do órgão? Você percebeu outras semelhanças? Você poderia re-fazer esse exercício com outros tipos de avaliação, procurando similaridades e tirando conclusões.
DIRETRIZES RELEVANTES PARA A AVALIAÇÃO
Todo o conjunto de trinta diretrizes é pertinente para o tema (o que não deve surpreender, pois este capítulo discutiu a meta-avaliação, o próprio processo segundo o qual as trinta diretrizes da meta-avaliação foram criadas).
SUGESTÕES DE LEITURA
JOINT COMMITTEE on Standards for Educational Evaluation (1994). The program evaluation standards. (2a ed.). Thousand Oaks, CA: Sage.
SHADISH, W.R.; NEWMAN, D.L.; SHEIRER, M.A.; WYE, C. (orgs.). (1995). Guiding principles for evaluators. New Directions for Program Evaluation, nº 66. San Francisco: Jossey-Bass.
STUFFLEBEAM, D.L. (1974). Metaevaluation (Occasional Paper nº 3). Kalamazoo: Western Michigan University Evaluation Center.
Associação de Avaliação Norte-americana
Princípios de Orientação para Avaliadores
Prefácio: premissas relativas ao desenvolvimento dos princípiosA. A avaliação é uma profissão composta por pessoas com interesses variados, potencialmente incluindo, mas não se li-mitando a, avaliação de programas, produtos, pessoal, políti-cas, desempenho, propostas, tecnologias, pesquisas, teoria e mesmo a avaliação em si. Os referidos princípios pretendem abertamente compreender todos os tipos de avaliação. Para avaliações externas de programas públicos, os princípios su-pracitados quase sempre se aplicam. No entanto, é impossível escrever princípios de orientação que se encaixem em absolu-tamente todos os contextos nos quais o avaliador trabalha, e alguns avaliadores trabalharão em contextos nos quais as di-retrizes a seguir não podem ser aplicadas por boas razões. Os Princípios de Orientação não pretendem restringir os referidos avaliadores, quando for esse o caso. No entanto, tais exceções devem ser feitas por boas razões (por exemplo, proibições le-gais contra a divulgação das informações para as partes inte-ressadas) e os avaliadores que se virem nesse contexto devem consultar colegas sobre como proceder.
B. Com base nas diferenças no treinamento, experiência e am-bientes de trabalho, a profissão de avaliação inclui diversas percepções sobre a principal finalidade da avaliação. As per-cepções incluem, mas não se limitam a, o seguinte: aprimora-mento de produtos, pessoal, programas, organizações, gover-nos, consumidores e do interesse público; contribuição para tomada bem informada de decisões e mudanças; precipitação das mudanças necessárias; capacitação de todas as partes interessadas através da coleta de seus dados e seu engaja-mento no processo de avaliação; e experimentação de novas percepções. Apesar dessa diversidade, o denominador comum é que os avaliadores aspiram construir e fornecer as melhores informações possíveis que possam ter ligação com os valores ou o que quer que esteja sendo avaliado. Os princípios visam sustentar esse objetivo principal.
C. Os princípios pretendem guiar a prática profissional dos avaliadores e informar os clientes da avaliação e o público em geral sobre os princípios a serem mantidos pelos avaliado-res profissionais. Claro que nenhuma declaração de princípios pode antecipar todas as situações que podem surgir na prática da avaliação. No entanto, os princípios não são apenas diretri-zes para reação quando algo sai errado ou quando o avaliador se depara com um dilema. Ao invés disso, os princípios devem guiar de forma pró-ativa os comportamentos dos profissionais na prática diária.
D. A finalidade da documentação dos princípios de orienta-ção é alimentar o desenvolvimento contínuo da profissão de avaliação e da socialização de seus membros. Os princípios foram idealizados para estimular a discussão sobre a prática
apropriada de avaliação entre os membros da profissão, patro-cinadores de avaliação e outros interessados.
E. Os cinco princípios propostos no documento não são inde-pendentes, mas se sobrepõem de diversas formas. De maneira contrária, algumas vezes esses princípios entrarão em conflito, de forma que os avaliadores terão que escolher entre eles. Nes-ses momentos, os avaliadores devem usar seus próprios valo-res e conhecimentos do ambiente para determinar a valo-resposta apropriada. Sempre que um curso de ação não for claro, os avaliadores devem solicitar os conselhos de um avaliador sobre como solucionar o problema antes de decidir como proceder. F. Os referidos princípios devem substituir quaisquer trabalhos anteriores sobre padrões, princípios ou valores éticos adotados pela AEA ou suas duas organizações antecessoras, a Evalua-tion Research Society e a EvaluaEvalua-tion Network. Os princípios são a posição oficial da AEA sobre os assuntos em questão. G. Os referidos princípios não pretendem substituir os padrões suportados pelos avaliadores ou por outras disciplinas nas quais os avaliadores tenham participação.
H. Cada princípio é ilustrado por um número de instruções para ampliar o significado do princípio dominante e para fornecer diretrizes para sua aplicação. As ilustrações não pretendem in-cluir todas as aplicações possíveis do princípio que ilustram, nem devem ser vistas como regras que fornecem a base para sanção de infratores.
I. Os princípios foram desenvolvidos no contexto das culturas ocidentais, particularmente dos Estados Unidos e, dessa forma, podem refletir experiências do referido contexto. A relevância dos princípios pode variar através de outras culturas e através de subculturas dentro dos Estados Unidos.
J. Os princípios fazem parte de um processo em evolução de auto-exame da profissão e deve ser revisitado em uma base regular. Os mecanismos podem incluir revisões patrocinadas oficialmente dos princípios em reuniões anuais e outros fóruns para coleta de experiências relacionadas aos princípios e sua aplicação. Em uma base regular, mas ao menos a cada cinco anos, os referidos princípios devem ser examinados para pos-sível revisão. Para manter a percepção e relevância para toda a associação, todos os membros da AEA são encorajados a participar do processo.
Os princípios
A. Consulta sistemática: Os avaliadores conduzem
consul-tas sistemáticas baseadas em dados.
1. Para garantir a precisão e credibilidade das informações de avaliação por eles produzidas, os avaliadores devem aderir aos mais altos padrões técnicos apropriados para os métodos por eles utilizados.
2. Os avaliadores devem explorar junto aos clientes as fraque-zas e pontos fortes das diversas questões de avaliação e das
diversas abordagens que podem ser usadas para responder a essas questões.
3. Os avaliadores devem comunicar seus métodos e aborda-gens de forma precisa e em detalhes suficientes para permitir que outros compreendam, interpretem e critiquem seu traba-lho. Eles devem esclarecer as limitações de uma avaliação e seus resultados. Os avaliadores devem discutir de uma forma apropriada ao contexto aqueles valores, premissas, teorias, mé-todos, resultados e análises que afetem de forma significativa a interpretação das descobertas da avaliação. As presentes ins-truções se aplicam a todos os aspectos da avaliação, desde sua conceitualização inicial até os uso de eventuais descobertas.
B. Competência: Os avaliadores fornecem desempenho
competente às partes interessadas.
1. Os avaliadores devem possuir (ou garantir que a equipe de avaliação possua) a educação, capacidades, habilidades e experiência apropriadas para empreender as tarefas propostas na avaliação.
2. Para garantir o reconhecimento, interpretação precisa e res-peito pela diversidade, os avaliadores devem garantir que os membros da equipe de avaliação demonstrem competência cultural coletivamente. A competência cultural refletirá em ava-liadores que estiverem buscando a percepção de suas próprias premissas baseadas em cultura, sua compreensão das visões de mundo de participantes e partes interessadas de culturas diferentes na avaliação e o uso de estratégias e habilidades de avaliação apropriadas ao trabalharem com grupos cultu-ralmente diferentes. A diversidade pode ocorrer em termos de raça, etnicidade, gênero, religião, situação sócio-econômica ou outros fatores pertinentes ao contexto da avaliação.
3. Os avaliadores devem operar dentro dos limites de seu treinamento e competência profissional e devem declinar conduzir avaliações de extrapolem substancialmente os refe-ridos limites. Quando recusar a incumbência ou pedido não for exeqüível ou apropriado, os avaliadores devem deixar cla-ro quaisquer limitações significativas que possam resultar na avaliação. Os avaliadores devem fazer todos os esforços para obter a competência diretamente ou através de assistência de outros que possuam o conhecimento necessário.
4. Os avaliadores devem procurar continuamente manter e aprimorar suas competências, para fornecer o mais alto nível de desempenho em suas avaliações. Esse desenvolvimento profissional contínuo pode incluir trabalhos de cursos formais e workshops, estudos realizados pelo próprio aluno, auto-ava-liação da prática e trabalho com outros avaliadores para tirar lições de suas habilidades e conhecimentos.
C. Integridade/Honestidade: Os avaliadores exibem
ho-nestidade e integridade em seu próprio comportamento e ten-tam garantir a honestidade e integridade de todo o processo de avaliação.
1. Os avaliadores devem negociar honestamente com os clien-tes e parclien-tes interessadas relevanclien-tes a respeito dos custos,
ta-refas a serem executadas, limitações de metodologia, escopo dos resultados que provavelmente serão obtidos e usos de da-dos resultantes de uma avaliação específica. É principalmente responsabilidade do avaliador iniciar a discussão e esclareci-mento sobre os referidos assuntos, não do cliente.
2. Antes de aceitar a atribuição de uma avaliação, os avaliado-res devem divulgar quaisquer funções ou relações que possam resultar em conflito de interesses (ou aparentar um conflito) com sua função como um avaliador. Caso procedam com a avaliação, o(s) conflito(s) deve(m) ser claramente articulado(s) em relatórios de resultados da avaliação.
3. Os avaliadores devem registrar todas as alterações feitas nos planos de projetos negociados originalmente e as razões pelas quais as alterações foram efetuadas. Caso essas altera-ções venham a afetar de maneira significativa o escopo e os prováveis resultados da avaliação, o avaliador deve informar ao cliente e a outras partes interessadas importantes (barran-do boas razões para o contrário, antes de dar continuidade ao trabalho adicional) sobre as alterações e seus provável impac-to de maneira oportuna.
4. Os avaliadores devem ser explícitos sobre seus próprios inte-resses e valores, de seus clientes e de outras partes interessa-das com relação à condução e resultados de uma avaliação. 5. Os avaliadores não devem deturpar seus procedimentos, dados ou descobertas. Dentro de limites razoáveis, devem ten-tar impedir ou corrigir o emprego incorreto de seu trabalho por outros.
6. Caso os avaliadores estabeleçam que determinados proce-dimentos ou atividades podem vir a produzir informações ou conclusões enganosas, é de sua responsabilidade comunicar suas preocupações e as razões que as motivaram. Caso as dis-cussões com o cliente não dissipem as referidas preocupações, o avaliador deve recusar-se a conduzir a avaliação. Caso a re-cusa da atribuição seja inexeqüível ou inapropriada, o avalia-dor deve consultar colegas ou partes interessadas relevantes sobre outras maneiras apropriadas de proceder. (As opções podem incluir discussões em um nível mais elevado, uma carta de apresentação ou apêndice declarando a discordância ou a recusa em assinar o documento final.)
7. Os avaliadores devem divulgar todas as fontes de suporte fi-nanceiro de uma avaliação e a fonte do pedido da avaliação.
D. Respeito pelas pessoas: Os avaliadores devem respeitar
a segurança, dignidade e auto-estima dos entrevistados, par-ticipantes do programa, clientes e outras partes interessadas na avaliação.
1. Os avaliadores devem buscar uma compreensão abrangente dos elementos contextuais importantes da avaliação. Os fa-tores contextuais que podem influenciar o resultado de um estudo incluem localização geográfica, época, clima político e social, condições econômicas e outras atividades relevantes em andamento ao mesmo tempo.
