Blaine R. Worthen James R. Sanders
Considerações práticas
Mostramos como as questões epistemológicas, as preferên- cias metodológicas, as visões metafóricas da avaliação e as diferentes necessidades contribuem para a diversidade de abordagens alternativas da avaliação. Várias questões práticas também contribuem para essa diversidade.
Em primeiro lugar, os avaliadores discordam quanto ao fato de o objetivo da avaliação ser um juízo de valor. Alguns só se preocupam com a utilidade da avaliação para o indivíduo que toma decisões e acreditam que ele, e não o avaliador, deve fazer o juízo de valor. Outros acham que o relatório do ava- liador entregue à pessoa que toma as decisões só é completo se contiver um juízo de valor. Essas diferenças de visão têm implicações práticas óbvias.
Em segundo lugar, os avaliadores diferem em sua visão ge- ral das funções políticas da avaliação. Discutimos os aspectos políticos da avaliação com mais detalhes no capítulo 16. Por enquanto, basta dizer que a orientação política do avaliador afeta muito o estilo da avaliação que está sendo feita. Em terceiro lugar, os avaliadores são infl uenciados por sua ex- periência anterior. Cada avaliador baseia-se em determinados pontos fortes, na experiência com certos tipos de problemas e processos e numa forma de ver as coisas que se desenvolveu com base em sua educação profi ssional e sua carreira. Toda visão tem uma perspectiva limitada pela experiência anterior do avaliador.
Em quarto lugar, os avaliadores diferem em sua visão sobre quem deve conduzir a avaliação e sobre a natureza dos co- nhecimentos especializados que o avaliador tem de possuir. Embora esse tópico seja complexo demais para ser tratado a contento neste capítulo, um exemplo talvez ajude. Conside- rando uma dimensão dos conhecimentos especializados – fa- miliaridade substantiva com o conteúdo do que está sendo avaliado (como conhecimentos de matemática ao avaliar um programa de educação em matemática) –, alguns avaliadores (como Eisner, 1975) vêem esses conhecimentos especializados como a condição sine qua non da avaliação. Na verdade, sem esses conhecimentos especializados, sua avaliação seria inútil. Outros avaliadores (como Worthen & Sanders, 1984) não só questionam a necessidade de o avaliador possuir esse tipo de conhecimento especializado como também sugerem que às vezes pode ser vantajoso selecionar avaliadores que não são especialistas no conteúdo daquilo que estão avaliando. Essas diferenças de ponto de vista levam a abordagens distintas tan- to do programa quanto da avaliação.
Finalmente, os avaliadores diferem até em sua opinião sobre se é desejável ou não ter uma grande variedade de aborda- gens da avaliação. Antigamente, Gephart (1978) lamentava a proliferação dos modelos de avaliação e insistia em dizer que era preciso fazer um esforço para sintetizar os modelos existentes. Por outro lado, Raizen e Rossi (1981) afi rmavam que o objetivo de chegar à uniformidade nos métodos e nas medidas da avaliação não pode ser atingido sem inibir prema- turamente o desenvolvimento necessário ao campo da avalia- ção. Concordamos com esta segunda visão, acreditando que os esforços de sintetizar os modelos de avaliação existentes seriam antifuncionais (um argumento que vai ser aprofunda- do mais tarde, no capítulo 11). Independentemente da visão com a qual você concorda, é claro que tanto a incapacidade de gerar um modelo ideal de avaliação (afi nal de contas, não surgiu nenhum desde que foi feito o apelo à síntese, há duas décadas) quanto a resistência a lidar com a diversidade de modelos para chegar a uma visão unifi cada explicam, ao me- nos em parte, a variedade de abordagens com que o avaliador profi ssional continua deparando.
Temas entre as variações
Apesar da diversidade das abordagens da avaliação, existem pontos em comum. Muitos indivíduos tentaram pôr ordem no caos refl etido na literatura da avaliação criando formas de clas- sifi cação, ou taxonomias. Cada uma dessas tentativas selecio- nou uma ou mais dimensões consideradas úteis para classifi car as abordagens da avaliação. Mas, como a avaliação é multifa- cetada e pode ser realizada em diferentes fases do desenvolvi- mento de um programa, o mesmo modelo de avaliação pode ser classifi cado de diversas maneiras, dependendo da ênfase. Aqueles que publicaram propostas de classifi cação são nume- rosos demais para citar aqui, mas alguns exemplos são Guba e Lincoln (1981); House (1983a); Madaus, Scriven e Stuffl ebeam (1983); Popham (1975); Scriven (1993); Shadish et al. (1991); Stake (1975b); e Worthen e Sanders (1973, 1987). Todos eles infl uenciaram nosso pensamento sobre a categorização das abordagens da avaliação, mas nos baseamos principalmente em nosso próprio trabalho e no de House ao desenvolver o esquema apresentado adiante.
Proposta de classifi cação das abordagens da avaliação
Preferimos classifi car as muitas abordagens da avaliação em seis categorias:
1. Abordagens centradas em objetivos, que se concentram na especifi cação de metas e objetivos e na determinação da me- dida em que foram atingidos.
2. Abordagens centradas na administração, em que o interesse central são a identifi cação e o atendimento das necessidades de informação dos administradores que tomam as decisões.
3. Abordagens centradas no consumidor, em que a questão central é fornecer informações avaliatórias sobre “produtos”, defi nidos genericamente, para o uso de consumidores na es- colha entre diferentes produtos, serviços e congêneres.
4. Abordagens centradas em especialistas, que dependem
basicamente da aplicação direta de conhecimentos especia- lizados de profi ssionais para julgar a qualidade de qualquer atividade que esteja sendo avaliada.
5. Abordagens centradas no adversário, em que a oposição planejada em termos de pontos de vista dos diferentes avalia- dores (prós e contras) é o foco central da avaliação.
6. Abordagens centradas no participante, em que o envolvi- mento dos participantes (interessados no objeto da avaliação) é crucial para determinar valores, critérios, necessidades e da- dos da avaliação.
Parece-nos que essas seis categorias têm correspondência (embora não completa) com a dimensão que House (1983a) apresenta das avaliações que vão da utilitarista à intuicionis- ta-pluralista, mostrada na Figura 4.1.
Até certo ponto, a inclusão das abordagens individuais da ava- liação nessas seis categorias é arbitrária. Várias abordagens são multifacetadas e têm características que lhes permitiriam entrar em mais de uma categoria; por uma questão de conveniência, resolvemos colocar essas abordagens em uma única categoria e só nos referirmos em outros capítulos, quando for o caso, a seus outros traços distintivos. Nossa classifi cação se baseia no que consideramos a força motriz da avaliação: as principais questões a ser resolvidas ou o(s) principal(is) organizador(es) subjacente(s) a cada abordagem (como objetivos ou decisões administrativas). Em cada categoria, as abordagens variam segundo o nível de formalidade e estrutura, sendo algumas relativamente bem desenvolvidas fi losófi ca e procedimental- mente, e outras menos. É preciso notar que esses quadros de referência lidam com abordagens conceituais da avaliação, não com técnicas; a discussão das muitas técnicas que podem ser usadas nas avaliações de programas foi reservada para a Parte 3 e a 4 deste livro. Além disso, não tentamos incluir em nenhum capítulo todos os modelos de avaliação que se encai- xariam aqui, pois isso faria com que este livro tivesse centenas de páginas a mais. Preferimos selecionar para cada capítulo somente um caso ou dois do que vemos como o exemplo mais típico ou mais infl uente daquela abordagem da avaliação.
Exercícios de aplicação
1. Pense de que forma você abordaria a avaliação. Descreva os passos que acha que daria. Depois analise sua abordagem de acordo com suas preferências fi losófi cas e metodológicas. Ex- plique como sua formação e o objeto de sua avaliação pode- riam ter afetado sua abordagem. Descreva outras coisas que poderiam infl uenciar sua abordagem da avaliação.
2. Identifi que um programa em sua área que você gostaria que fosse avaliado. Faça uma lista de alguns métodos qua- litativos de avaliação que poderiam ser usados. Depois faça outra lista de alguns métodos quantitativos que você consi- dera apropriados. Discuta se seria adequado ou não combinar ambos os métodos no mesmo estudo, inclusive as razões de sua conclusão.
Sugestões de leitura
HOUSE, E.R. (1983). “Assumptions underlying evaluation models”. In: MADAUS, G.F.; SCRIVEN, M.; STUFFLEBEAM, D.L. (orgs.). Evaluation models: viewpoints on educational and human services evaluation. Boston: Kluwer-Nijhoff. LINCOLN, Y.S. (1994). “Tracks toward a postmodern politics of evaluation”. In: Evaluation Practice, 15 (3), 299-309.
MARK, M.M.; SHOTLAND, R.L. (1987). Multiple methods in program evaluation. New Directions for Program Evaluation, n° 35. San Francisco: Jossey-Bass. REICHARDT, C.S.; RALLIS, S.E (orgs.) (1994). The qualitative-quantitative debate: new perspectives. New Directions for Program Evaluation, nº 61. San Francisco: Jossey-Bass.
SECHREST, L.; FIGUEREDO, A.J. (1993). “Program evaluation”. In: Annual Review of Psychology, 44, 645-674.