Os atores da avaliação educacional

A questão em torno de quem avalia é recorrente nas discussões relacionadas à avaliação educacional, isso porque são os avaliadores os principais responsáveis pela captação dos dados que evidenciam os resultados do que está sendo avaliado. Os avaliadores precisam ser reconhecidos e respeitados, a fim de que suas conclusões e decisões mostrem o peso de sua autoridade técnica e científica na área, aliadas a sua responsabilidade profissional e pessoal. Nesta subseção apresentamos quem são os atores avaliativos mencionados nas produções dos autores analisados, com destaque para o treinamento/formação e profissionalização do avaliador.

6.3.1. Avaliação como resultado

Nas produções que discutem a abordagem de avaliação como resultado, aquelas que o fazem a partir da análise dos testes e exames vestibulares, mencionam a necessidade de uma formação específica em avaliação para aqueles que são os responsáveis pela aplicação das avaliações.

Goldberg (1980) pontua que um fator que causa resistência ao trabalho de avaliação, decorre do medo da avaliação que geralmente vem acompanhado do uso do poder. O medo está associado àquelas avaliações da aprendizagem realizadas pelo professor em sala de aula e o poder que pode ser exercido tanto como instrumento de dominação quando para promoção do bem comum. Ainda segundo a autora, “enquanto o PODER está e sempre estará no próprio cerne da Avaliação Educacional, o MEDO que ela tem suscitado não é corolário absolutamente necessário e inevitável” (GOLDBERG, 1980, p. 116, destaque do original).

Vianna (1982c) também aponta como uma das deficiências da avaliação, a carência de elementos qualificados para a realização das complexas atividades que o próprio processo avaliativo exige. Sem contar que “inexiste uma tipologia de informações fundamentais para o processo decisório, há insuficiência de instrumentos e planejamentos

adequados aos diversos fenômenos educacionais” (VIANNA, 1989a, p. 41). Igualmente Gatti (1987) ressalta que não se propiciou uma formação adequada de recursos humanos na área dos estudos em avaliação, em grande parte isso se deve a aversão de muitos estudantes e professores das ciências humanas ao conhecimento lógico e metodológico empregado pelos raciocínios matemáticos de base quantitativa.

Buscando responder à essa questão da formação dos avaliadores, Vianna (1982c) defende que no processo avaliativo participem profissionais especialmente treinados, ou seja, que entendam dos diferentes problemas educacionais e sejam capacitados para o exercício da função de avaliadores. Não se trata de uma responsabilidade restrita e exclusiva dos professores, mesmo porque, na maioria das vezes o que eles receberam foram apenas informações gerais sobre avaliação do rendimento escolar. Entende que “o avaliador ou meta- avaliador [...] dever ser um indivíduo capaz de realizar um trabalho científico altamente complexo, que pressupõe habilitações especialmente desenvolvidas” (VIANNA, 1982c, p. 13).

Pensando na capacitação do avaliador, Vianna (1982c, p. 13-14) lista 25 funções que o avaliador educacional precisa desenvolver no seu trabalho avaliativo, para tanto, deve ser capaz de:

1) especificar informações necessárias para o desenvolvimento de programas de avaliação;

2) localizar, ler e integrar informações existentes na literatura técnica de pesquisa, medidas e avaliação;

3) analisar possíveis implicações de avaliação anteriores relativamente à avaliação que pretende realizar;

4) definir com precisão o objetivo da avaliação;

5) examinar, criticamente, estratégias de avaliação e selecionar a mais adequada para os fins da avaliação;

6) formular hipóteses ou questões a serem verificadas ou respondidas pela avaliação; 7) especificar os dados necessários para verificar as hipóteses formuladas ou responde formuladas ou responder às questões propostas;

8) desenvolver planejamento apropriados para a coleta de dados que permitem examinar as hipóteses ou responder às indagações propostas;

9) selecionar amostras representativas da população para a qual os resultados da avaliação serão generalizados;

10) aplicar o planejamento da avaliação e controlar os fatores que poderão comprometer a sua validade;

11) identificar padrões ou normas para julgar o valor do fenômeno a ser avaliado; 12) transformar objetivos gerais em objetivos operacionais;

13) identificar classe de variáveis para mensurar;

14) estabelecer critérios para selecionar e desenvolver instrumentos de medida; 15) determinar a validade dos instrumentos de medida usados na avaliação; 16 usar métodos adequados para o levantamento de dados;

17) controlar o desenvolvimento do programa e identificar desvios de planejamento ou de procedimentos específicos;

18) selecionar e aplicar técnicas estatísticas adequadas à análise de dados;

19) descrever o planejamento da avaliação e os procedimentos de análise em termos de processamento de dados, a fim de utilizar adequadamente o potencial dos equipamentos eletrônicos;

20) interpretar e estabelecer conclusões fundamentadas a partir da análise dos dados coletados;

21) elaborar relatórios e discutir as implicações dos resultados da avaliação; 22) apresentar conclusões com base nos resultados da avaliação;

23) proporcionar retroalimentação sobre o desempenho do programa de avaliação para decisões em caso de sua possível modificação futura;

24) demonstrar relações interpessoais adequadas ao funcionamento do grupo de avaliação e do grupo administrativo do programa;

25) administrar recursos humanos e materiais necessários à implementação de programas de avaliação.

Dentre essas funções, o autor salienta que a de número 24, que trata das relações interpessoais no processo, é apontada por muitos estudiosos da avaliação como a mais importante para o maior êxito de um programa de avaliação, justamente porque enfatiza o esforço conjunto e o relacionamento do grupo liderado por um especialista, cujas características como sua personalidade e comportamento acabam por determinar os tipos de relações que prevalecem no trabalho avaliativo. Essas diferentes funções mostram também que o avaliador educacional deve, de um lado, ser possuidor de maturidade e experiência profissional, e de outro, ter um treinamento profissional aprofundado na estatística, medidas, psicometria, entre outras técnicas de mensuração (VIANNA, 1982c).

Quanto aos conteúdos programáticos a serem utilizados na construção dos instrumentos de mensuração, Vianna (1989a) destaca que cabe ao avaliador observar os

variados programas desenvolvidos nas escolas e a partir disso captar os aspectos comuns que corresponda à média do que ocorre nas escolas do sistema. No entanto, alguns problemas são comuns nesse caso, dentre os quais, o fato de muitas secretarias de educação não possuírem cópias das programações das escolas, assim como a diversidade de sequências curriculares ocasionada pela flexibilidade da legislação que permite que cada escola estabeleça seus próprios conteúdos. Desse modo, o avaliador educacional acaba criando um programa mínimo sem muitas expectativas sobre o que é desenvolvido em sala de aula pelos professores, uma vez que não tem o adequado conhecimento do programa curricular.

No caso das avaliações do rendimento de alunos realizadas em larga escala, Gatti (1987) menciona o trabalho do Centro de Estudos de Testes e Pesquisas Psicométricas da Fundação Carlos Chagas, que empreendeu, no final da década de 1960 e início dos anos 1970, a construção de um conjunto de testes de desenvolvimento educacional para ser utilizado por técnicos de educação, que poderiam usar os testes para auxiliar a orientação de alunos e professores. Outra iniciativa foi desenvolvida pelo Departamento de Planejamento e Orientação da Secretaria Municipal de Ensino, que em 1980 realizou pesquisa para verificar o nível de escolaridade dos alunos da rende municipal de ensino. Uma avaliação de rendimento escolar mais ampla foi feita pela Fundação Cearense de Pesquisa e Cultura (FCPC) em convênio com a Fundação Carlos Chagas, como parte do projeto de avaliação do programa EDURURAL, no Nordeste brasileiro.

A presença da Fundação Carlos Chagas, juntamente com a Fundação Cesgranrio, também foi significativa na aplicação e correção das provas objetivas nos exames vestibulares, e acabaram se tornando as grandes promotoras dos instrumentos empregados no acesso ao ensino superior brasileiro. A partir de 1960, algumas dessas instituições, com a ajuda da Fundação Ford, procuraram desenvolver competência em tecnologia das medidas educacionais, qualificando seu pessoal em cursos no exterior. A formação desse pessoal possibilitou um elevado número de pesquisas sobre a validade e a fidedignidade dos instrumentos objetivos empregados nos exames vestibulares, principalmente os estudos sobre provas objetivas de português/comunicação e expressão (VIANNA, 1988c).

Vianna (1980c) apresenta algumas das pesquisas realizadas pela FCC sobre a introdução da redação no processo de seleção para a universidade. Dentre as quais estão “Redação e medida da expressão escrita”, de 1976, que faz uma revisão da literatura a respeito da fidedignidade e à validade de provas de redação. Outra pesquisa “Aplicação de critérios de correção em prova de redação”, de 1978, examinou o problema do treinamento de professores para a correção de redações. O estudo sobre “Dupla correção em provas de

redação”, de 1977, junto com a pesquisa sobre “Flutuações de julgamentos em provas de redação”, também de 1977, analisaram o assunto da fidedignidade. Outras duas pesquisas trataram da validade das provas objetivas, a primeira, de 1976, verificou a relação entre “Medidas da expressão escrita e prova objetiva”, e a segunda, de 1979, pesquisou a “Validade de conteúdo de uma prova de comunicação e expressão”.

Vianna (1986b) também menciona o modelo alternativo de seleção proposto pela Fundação Cesgranrio, em 1985, que previa a realização de uma avaliação contínua ao longo do 2° grau. De acordo com o autor, a ideia de uma avaliação sequencial, no curso de 2° grau, objetivaria eliminar o caráter episódico do exame vestibular empregado, assim como visaria acompanhar o desenvolvimento do aluno ao longo dos três anos estudados. Esse tipo de avaliação possibilitaria, segundo o autor, um perfil dos conhecimentos e aptidões dos estudantes ainda durante o curso para melhor situá-los em sua vida universitária e garantisse o posterior ajustamento às carreiras. No entanto, Vianna (1986b, p. 75) destaca que “o modelo sugerido, [...], não teria condições de ser implementado, pelo menos a curto prazo, pela impossibilidade técnica e financeira de gerar o instrumental necessário para fins de seleção” (VIANNA, 1986b, p. 75).

As experiências sobre avaliação do rendimento apresentadas por Gatti (1987) e Vianna (1980; 1986b; 1988c) são representativas da ideia de vinculação entre avaliação e medidas de seleção. Essas ideias se veem refletidas na elaboração das questões do Exame Nacional de Cursos (ENC/1995), que ficou conhecido como “Provão”, na década de 1990, que acabou se baseando na tecnologia dos exames vestibulares para a organização da prova que era aplicada aos formandos das Instituições de Ensino Superior brasileiras entre os anos de 1997 a 2003 (BARREYRO; ROTHEN, 2008a), com destaque para a ideia de competição entre indivíduos decorrentes da sistemática aplicada pelos exames vestibulares.

No caso da avaliação da pós-graduação brasileira, são os funcionários da CAPES que coletam os dados e os consultores externos avaliam, cabendo, assim, à equipe interna buscar informações sobre os cursos, sua depuração e crítica, e aos consultores, que são recrutados entre renomados especialistas da comunidade acadêmica, julgá-los (CASTRO; SOARES, 1983). Nesse processo, os consultores não se preocupam com a coleta de dados (CASTRO; SOARES, 1983) e acabam não dando muita importância aos dados quantitativos (SCHWARTZMAN, 1982). Entretanto, Castro e Soares (1983) ressaltam que esta divisão de trabalho é extremamente útil, na medida em que as informações sistemáticas são complementadas pelos conhecimentos dos consultores, assim como os julgamentos dos consultores permitem a identificação de falhas nos dados coletados.

Desde seu início, em 1977, os pares se tornaram uma das principais fontes dos julgamentos da pós-graduação no Brasil. Schwartzman (1988) entende que os processos de avaliação devem ser feitos ou validados por pessoas que façam parte da comunidade acadêmica, e que suas decisões sejam tomadas com absoluta independência, tendo como base somente sua competência e sentido de responsabilidade profissional e social. Por isso, segundo o autor, para evitar qualquer tipo de armadilha, é necessário que os membros que compõem os órgãos de julgamento por pares, fossem selecionados como agentes independentes e livres, e fossem igualmente conhecidos e respeitados por seus colegas, bem como mantivessem uma imagem pública de experiência e probidade (SCHWARTZMAN; SOUSA, 1984).

Os mecanismos de avaliação por pares na pós-graduação criados e endossados por agências como CAPES e CNPq para o ensino na pós-graduação e na pesquisa cientifica no país, acabaram estabelecendo o que se denomina por padrões de qualidade para o ensino na pós-graduação e pesquisa cientifica no país. No caso da avaliação por pares, especificamente, os padrões de qualidade seriam definidos pela autoridade científica e acadêmica que os consultores detêm no campo de conhecimento que atuam. Demais informações que indicariam quais eram os bons e os não tão bons programas viriam de indicadores quantitativos como: publicações, teses aprovadas, titulação de professores, número de livros na biblioteca, dentre outros resultados mensuráveis.

Os autores que discutem a avaliação como resultado numa perspectiva diagnóstica destacam três pontos específicos, tratam do papel do professor no processo avaliativo, de alternativas para a aplicação dos exames vestibulares e dos cuidados na avaliação da pós-graduação brasileira. No primeiro caso, Barretto e Alves (1987) e Barretto (1987), ao relatarem o processo de implantação do ciclo básico que reorganizou gradativamente a escola pública de primeiro grau na rede estadual paulista, mostram que adoção de uma nova sistemática de avaliação nas escolas resultou de uma ação conjunto de órgãos centrais, professores e especialistas. As autoras mencionam que, a insistência e revindicação por uma forma de registro da avaliação e acompanhamento dos resultados obtidos pelos alunos, que fosse mais coerente com a proposta educacional do ciclo básico, partiram principalmente dos professores.

Barretto e Alves (1987) salientam que coube aos professores o questionamento substantivo da forma de registro de avaliação, tendo em vista que, com o ciclo básico, os professores começaram a sentir os efeitos da mudança na sala de aula. Os professores queriam algum tipo de registro que descrevesse o que havia sido trabalhado com o aluno para que mais

a frente outro professor pudesse ter uma orientação no seu trabalho. A demora na resposta e regulamentação dos órgãos centrais fez com que cada rede e escola elaborassem suas próprias fichas de avaliação, sendo posteriormente padronizadas numa ficha que apresentava uma relação do que era trabalhado nas diferentes áreas curriculares.

Ainda a respeito do trabalho do professor enquanto agente responsável pela avaliação, Lüdke (1988b) chama atenção de até que ponto os professores e toda a equipe escolar estão conscientes da importância das consequências estigmatizadoras da complexa operação que decide se o aluno é aprovado ou reprovado ao final do ano escolar. A autora aponta como decisivo, nesse processo de coleta de informações, positivas e negativas, oriundas de observações diárias, provas, conselhos de classe e etc., que compõem o boletim dos alunos, a preparação específica do professor para trabalhar com a avaliação. A questão da formação para a avaliação está estreitamente relacionada ao questionamento sobre a formação geral do professor para atuar na escola básica, vez que é essa que acaba influenciando o processo de avaliação, pois o professor avalia seus alunos tal como foi avaliado.

Especificamente sobre os testes nos exames vestibulares, Castro (1982) destaca o amadurecimento das equipes nas grandes universidades e em fundações especializadas na preparação e aplicação dos testes, tendo sido essas últimas as principais responsáveis pelo processo de seleção. Com isso as instituições de ensino superior se tornaram apenas observadoras passivas do processo, sem qualquer envolvimento no processo seletivo de acesso ao ensino superior. A fim de corrigir esse problema, o autor sugere que as fundações que preparam os exames fossem usadas de duas formas: preparar provas mais ajustadas às necessidades de cada instituição e pequenas instituições poderiam incluir entrevistas, arguições e outros instrumentos complementares no processo de seleção.

A questão de quem é o direito de avaliar as atividades de pesquisa e desenvolvimento científico é pontuada por Schwartzman e Sousa (1984) como uma tarefa que exige certo grau de autoavaliação e autonomia, na medida em que o caráter altamente especializado do trabalho científico e tecnológico dificilmente poderia ser julgado por leigos, mesmo porque os pesquisadores científicos normalmente formam um grupo que dificilmente estão abertos a interferências externas. Na tentativa de resolver esse problema, os autores apontam como alternativa para a avaliação da pesquisa e desenvolvimento científico o sistema de avaliação por pares, justamente por se tratar de um mecanismo que reúne quem possui conhecimento necessário para avaliação e que consequentemente são aceitos como legítimos por aqueles que estão sujeitos ao processo de avaliação.

Saul (1988) também entende que o processo de avaliação da produção da universidade deveria ter seu suporte na autoavaliação, sendo assim, os responsáveis pela avaliação deveriam ser aqueles que vivem o cotidiano da universidade, e estão, de certo modo, comprometidos com o delineamento e com a execução de um projeto de universidade. Saul, Tesser, Lüdke e Sá (1987), por sua vez, propõem que a avaliação da pós-graduação e de sua produção fosse realizada por uma comissão de consultores da CAPES eleita entre os pares da comunidade dos programas de pós-graduação da área, que de posse da memória dos programas e apoiando-se nos relatórios da autoavaliação, indicassem as medidas de apoio técnico-científico e financeiro para cada um dos programas.

Schwartzman (1980) ressalta que a questão da avaliação da pesquisa e da pós- graduação sempre traz consigo a pergunta de quem avalia. Segundo o autor essa avaliação pode ser feita ou por uma avaliação extrínseca ou por uma avaliação intrínseca. Na avaliação extrínseca, os programas seriam avaliados pelos seus produtos, e essa avaliação deveria ser feita por agências governamentais ou setores da sociedade que sustentam esses programas. Na avaliação intrínseca, se defende que somente os especialistas dentro de cada área teriam condições de dizer o que é qualidade, e por isso apenas cientistas e professores envolvidos nos programas teriam condições de se autoavaliar. Em ambos os casos o autor adverte que pode ocorrer problemas, no caso da avaliação intrínseca ela pode se resumir numa ação entre amigos em defesa de seus interesses, e no caso da avaliação extrínseca é impossível um leigo avaliar uma área de pesquisa científica.

A respeito dos atores da avaliação na abordagem de avaliação como resultado, os autores mencionam como uma das principais dificuldades a necessidade de formação especializada para os que realizam as atividades exigidas pelo processo avaliativo. Desse modo, o avaliador deve possuir maturidade, experiência profissional e treinamento na área de medidas, para, assim, realizar um trabalho científico e complexo. Na escola o avaliador por excelência é o professor, cabe a ele o questionamento das formas de registro de avaliação e a decisão sobre o futuro dos seus alunos. No caso do processo de seleção aplicado nos exames vestibulares, destaque para a presença das grandes universidade e fundações especializadas na preparação e aplicação dos instrumentos de seleção. Na avaliação da pesquisa e da pós- graduação os avaliadores são os próprios funcionários das agências e os renomados especialistas da comunidade acadêmica.

6.3.2. Avaliação como processo

Nas produções que discutem a avaliação como processo, os autores enfatizam que o avaliador precisa ser conhecedor do objeto avaliado, mais que isso, deve ser membro da comunidade avaliada, e por mais que defendam o profissionalismo do avaliador, não desconsideram o conhecimento profundo de quem faz parte da realidade avaliada.

Na linha de estudos que apresentam um fundamento teórico sobre avaliação enquanto processo, Demo (1984) menciona que, na esfera do governo, é comum que a avaliação seja feita intramuros, por propositores e gestores das políticas, que se utilizam de indicadores sociais em séries históricas e análises de custo-benefício. Em outros casos, a avaliação é realizada extramuros, ou seja, por gente de fora, o que evitaria a tendência autoprotetora. Segundo o autor, seria preferível que a avaliação fosse feita de modo participante, ou seja, pelos interessados, por aqueles que entendem as suas próprias necessidades. Para tanto, o avaliador participativo precisa primeiramente estar sintonizado com o planejamento participativo e com a pesquisa participante, em seguida deve identificar- se com os dominados e fazer o que diz, e em terceiro lugar, se tratando de avaliadores ligados ao governo, necessita estar atento às chances de manipulação que são maiores. Obedecendo a essas premissas, a avaliação participativa estaria promovendo sua finalidade que é promover a própria participação.

Desse modo, Demo (1987; 1988) acentua que para avaliar processos participativos, o avaliador precisa participar, não basta a mera observação participante, é preciso tempo de convivência e compromisso comprovado, estar junto do fenômeno, com presença física constante. Não se trata de uma avaliação externa, pois o que se espera é um autodignóstico da comunidade, que só é possível com a vivência e a autoavaliação, pois