Avaliação Formativa e Avaliação Somativa

Scriven (1967) foi o primeiro autor a estabelecer as diferenças entre os papéis formativo e somativo da avaliação. Desde então, os termos passaram a ser largamente aceitos e empregados por outros pesquisadores e avaliadores e foram incorporados ao repertório. Embora na prática a distinção entre esses dois tipos de avaliação venha a mostrar-se pouco clara, como o exame empírico dos casos aqui selecionados deixa patente entende-se que seria proveitoso sintetizar aqui as principais diferenças notadas por Scriven; pois dizem respeito diretamente ao objetivo central deste trabalho, a saber: analisar o papel das avaliações de políticas e programas governamentais como mecanismo de controle democrático.

Segundo Scriven (1967), a avaliação formativa é realizada para fornecer informações à equipe responsável pelo programa, mais especificamente, informações úteis para o

57

aprimoramento do programa. Os exemplos a seguir, adaptados de Worhten e al (2004: 47), deixam claro essa distinção:

1. Durante a criação de um novo currículo de alfabetização e língua portuguesa para o ensino fundamental, a avaliação formativa envolveria o exame do conteúdo por especialistas em leitura, teste-piloto com pequeno número de crianças, teste de campo com número maior de crianças e professores de várias escolas e assim por diante. Cada passo resultaria em feedback imediato para aqueles que estivessem criando o currículo, que poderiam então usar as informações para fazer as revisões necessárias.

2. A avaliação formativa de um programa de longo alcance com o objetivo de ampliar o atendimento e tratamento a pessoas vivendo com HIV/AIDS poderia começar: i) determinando quais metas do programa não estão sendo atingidas no nível desejado; e ii) estabelecendo depois de que forma o processo de realização desses objetivos poderia melhorar. Por exemplo, os avaliadores poderiam examinar as características dos portadores do vírus que têm menos probabilidade de serem atingidos pelo programa (pertencimento a grupos socialmente marginalizados como transexuais, medo de estigmatização ou ignorância a respeito das casas de apoio e tratamento, etc.). De posse dessas informações, a equipe do programa poderia então modificar o programa existente com base na melhor compreensão do grupo-alvo e de suas necessidades.

A avaliação somativa, por outro lado, realiza-se e torna-se pública para dar aos responsáveis pela tomada de decisões do programa e aos usuários e cidadãos informações que subsidiem o julgamento de valor ou mérito do programa em relação a critérios importantes, como pode se ver na ampliação dos dois exemplos anteriores:

1. Depois que o pacote de currículo alfabetização e língua portuguesa estivesse pronto, poderia ser feita uma avaliação somativa para determinar, a partir de uma amostra estadual de escolas de ensino fundamental, professores e alunos típicos, o grau de eficácia do pacote na melhoria da capacidade dos alunos para ler, na atitude em relação à leitura e coisas do gênero. As conclusões da avaliação somativa orientariam depois as decisões sobre a continuidade do

58

programa na(s) escola(s) onde foi implementado, bem como sobre sua disponibilidade para outras escolas potencialmente interessadas no novo currículo.

2. Para determinar se a ampliação de um novo programa de casas de apoio e tratamento para pessoas vivendo com HIV/AIDS é imprescindível, poderia ser feita uma avaliação das necessidades existentes. Poderiam ser coletados dados para se responder duas questões: i) há número suficiente de pessoas vivendo com HIV/AIDS que torne necessário a ampliação do programa?; e ii) um programa desse tipo atingiria de fato o público alvo desejado (pessoas vivendo com HIV/AIDS que não teriam apoio e acesso ao tratamento necessários sem a ampliação do programa)? Se as respostas a ambas as perguntas forem negativas forem negativas, os administradores da área de saúde que solicitaram o estudo de avaliação poderão concluir que as necessidades não são suficientes para a ampliação do programa, tomando assim uma decisão somativa de não estende-lo e encerrar (pelo menos momentaneamente) toda atividade de planejamento.

É importante se notar que os públicos e usos da avaliação formativa e somativa são bastante distintos. Na avaliação formativa o público é a equipe do programa em nossos casos, os responsáveis pela criação dos currículos de alfabetização e língua portuguesa, do planejamento e da implantação das casas de apoio e tratamento de pessoas vivendo com HIV/AIDS. Os públicos da avaliação somativa são usuários (alunos, professores, diretores de escola, administradores de saúde, médicos, enfermeiros, pessoas vivendo com HIV/AIDS), fontes de financiamento (contribuintes, órgão financiador), governantes, burocratas e cidadãos, bem como a equipe do programa.

Também se deve frisar que tanto a avaliação formativa quanto a somativa são igualmente importantes e indispensáveis para as decisões necessárias durante os estágios de desenvolvimento de um programa para aprimorá-lo e fortalecê-lo e, depois que este programa já se estabilizou, para julgar seu valor ou mérito e determinar seu futuro. Embora as avaliações formativas sejam feitas mais frequentemente nos primeiros estágios da formulação de um programa e as avaliações somativas sejam

59

feitas habitualmente em seus últimos estágios, como esses termos sugerem, seria um erro pensar que se limitam a essas fases. Porém, segundo Worthen e colaboradores (2004: 49), a ênfase relativa na avaliação formativa e na somativa muda ao longo da vida de um programa, como sugere a figura 2.2, embora esse conceito generalizado não se encaixe com precisão na evolução de nenhum programa em particular, tão pouco nos casos analisados neste trabalho, como se verá adiante.

Figura 2.2 Relação entre a avaliação formativa e a somativa durante a vida de um programa

Fonte: Worthen et al (2004)

Contudo, como na maioria das distinções conceituais, as avaliações formativas e somativas nem sempre são tão simples de distinguir na prática quanto parecem nestas páginas. Mesmo Scriven, numa obra mais recente (1991a), afirma que as duas estão profundamente entrelaçadas na prática e que uma classificação peremptória nem sempre é possível ou mesmo apropriada. A análise de estudos de avaliação indica que a linha divisória entre a avaliação formativa e a somativa é pouco nítida. E, como o exame empírico dos casos do SARESP e do sistema de monitoramento e avaliação do PE DST/AIDS demonstra muitos sistemas e pesquisas de avaliação habitualmente combinam elementos formativos (isto é, destinados a subsidiar a equipe do programa no seu aperfeiçoamento) e elementos somativos (relacionados a julgamentos de valor acerca do programa e de seus componentes por parte dos consumidores ou mesmo da

60

equipe do programa); compondo, assim, estudos híbridos com características de ambos os tipos puros de avaliação.

O Próprio Scriven (1986) sugere uma razão pela qual os dois tipos de avaliação usualmente se misturam; observando que, quando os programas avaliados têm muito componentes, as avaliações somativas, que se destinam a julgar os componentes passivos de serem substituídos, depois de realizadas acabam também por desempenhar um papel formativo na melhoria do programa como um todo.

Vários outros autores contestam a dicotomia formulada por Scriven (1967). Argumentam, repetidamente, que a distinção formativa x somativa não é suficiente ampla para abranger todas as formas de avaliação. Chen (1996), por exemplo, sugere que a classificação de Scriven não compreende como deveria todos os tipos básicos de avaliação. Oferece, no lugar, uma tipologia que abrange funções da avaliação e estágios do programa que considera negligenciados por aquele autor. Cabe, ademais, destacar que a distinção formativa x somativa não só serviu bem a seu propósito e foi, de fato, incorporada ao repertório da literatura que trata do tema como também tem sido um rico campo para a semeadura de muitos refinamentos e ampliações. Essa distinção, por fim, é relevante para a última diferenciação que será aqui abordada, a saber: avaliação interna e externa.

Finalmente, cabe apontar o claro paralelo entre as avaliações de processos e resultados e avaliações formativas e somativas, respectivamente. Embora, a primeira distinção se baseie no objeto avaliado (processos ou resultados) como critério de conceituação enquanto a segunda se refere mais diretamente ao uso (formativo ou somativo) dado à avaliação. Um olhar mais atento indicará que a avaliação de processos, cujo foco primário é entender o modo específico de funcionamento do programa, pode ser considerada, a principal, mas não a única, categoria de estudos de avaliação capaz de subsidiar a equipe do programa com as informações necessárias para as correções e aprimoramentos no decurso no programa, especialmente, durante sua fase de implementação. Evidentemente, não se advoga aqui que as avaliações de resultados não possam desempenhar um papel formativo relevante; pelo contrário, sem se compreender em que medida o programa consegue obter (ou não) os resultados esperados pelos formuladores não se pode avançar em direção ao entendido dos processos de

61

funcionamento do programa. Mas, claramente, as avaliações de resultados, mormente após a consolidação do programa, são especialmente vantajosas para se determinar o valor ou qualidade de um programa e auxiliar a tomada de decisões sobre o futuro do programa; numa palavra, prestam-se principalmente, mas não só, ao uso somativo.