Avaliação sumativa externa

Os exames nacionais no final do ensino secundário foram instituídos no nosso sistema educativo, com funções de certificação e de seleção no acesso ao ensino superior, em 1993, pelo Despacho Normativo n.º 338/93, de 21 de outubro, após um período de cerca de vinte anos (desde o início do regime democrático, em Portugal, até à publicação do referido despacho) sem quaisquer exames ou outro tipo de avaliação externa para efeitos da certificação da conclusão do ensino secundário. Para além das funções de certificação e seleção, Fernandes (2008) refere também as funções de controlo, que permite aos órgãos centrais assegurarem a lecionação, nas escolas, de acordo com o currículo nacional, de monitorização, associada à prestação de contas e de motivação, considerada uma função principal nos casos em que os exames não têm qualquer efeito na vida escolar dos alunos, mas no caso em que têm efeitos sobre o seu progresso escolar, os exames podem ser desmotivadores, especialmente para os alunos que os consideram difíceis.

Kellaghan e Madaus (2003), citados em Fernandes (2008), identificam algumas características dos exames comuns a um elevado número de países e que passamos a apresentar:

i) os exames são externos, ou seja, são preparados, elaborados e controlados por uma ou várias entidades externas às escolas;

86

ii) a administração dos exames é controlada pelo órgão central, ou por si supervisionada;

iii) os exames são construídos a partir dos conteúdos constantes no currículo, o que normalmente significa que se dá mais enfase ao conhecimento dos mesmos;

iv) as provas de exame são iguais para todos os alunos e aplicadas de acordo com procedimentos estandardizados;

v) o conteúdo, os critérios de correção e os resultados dos exames são divulgados publicamente.

Com as características e funções dos exames que acabamos de apresentar, estes podem ter as mais variadas consequências. Fernandes (2008) destaca alguns efeitos ou impactos que os exames podem ter em diferentes níveis, como sejam os seguintes: na vida pessoal, social e académica dos alunos; nas formas como as escolas e os professores se organizam e desenvolvem o currículo; no que é ensinado e como é ensinado; no que é avaliado e como é avaliado e na credibilidade do sistema educativo. Também Romberg e Zarinnia (1987, p. 153) admitem que “a avaliação tem um impacto direto quer naquilo que se ensina, quer no modo como se ensina”.

É inegável a pressão social exercida, especialmente pelos pais e encarregados de educação. Com a intervenção da comunicação social, a importância dos exames, representada pelos seus resultados, tem-se tornado socialmente significativa.

Os exames nacionais foram objeto de reflexão por Fernandes (2008a) que, a partir da análise da literatura, formula um conjunto de questões sobre o tema. Desde logo questiona se os exames serão igualmente justos para todos os alunos. O que os exames avaliam efetivamente também pode ser questionado, tendo ainda em atenção o currículo que é avaliado. A propósito da correção e dos resultados, também questiona a sua

87

consistência, assim como a aceitabilidade da análise, apresentação e divulgação dos resultados. Por último, e não menos pertinente, que consequências se retiram dos resultados dos exames e da análise dos dados?

Os exames nacionais, com peso relativamente significativo para determinar o acesso ao

ensino superior, enquadram-se num tipo de teste que pode ser classificado como de

“elevado impacto” (Heubert e Hauser, 1999), ao contrário de outros instrumentos de avaliação realizados ao nível de escola, cujos resultados não têm implicação tão direta

no acesso ao ensino superior. Algumas reformas ocorridas, incluindo no nosso país, envolveram a introdução de testes de “elevado impacto”, o que pode criar efeitos negativos como “ensinar para o teste” (Jäger, Maag Merki, Oerke, e Holmeier, 2012). Numa cultura de avaliação baseada nos exames, é difícil a implementação de práticas de avaliação formativa (Berry, 2011).

Numa seleção de candidatos por exame, função que os exames do ensino secundário também têm, se tiver lugar uma replicação desse mesmo exame, coloca-se a questão de saber se os candidatos selecionados se mantêm os mesmos ou não. Se sim, então o exame é considerado fiável e, em última análise, tratou com equidade todos os candidatos. Se não, o exame permitiu que para a seleção de candidatos contribuíssem “outros fatores que não os conhecimentos ou as reais aprendizagens adquiridas pelos candidatos” (Fernandes, 2008a, p.214).

A partir da literatura, Fernandes (2008a, p.114) também identifica fatores que influenciam a fiabilidade do exame:

i) em momentos diferentes, os alunos podem ter desempenhos diferentes na resolução; ii) condições externas ao próprio exame podem influenciar os desempenhos dos alunos;

88

iii) os desempenhos dos alunos podem variar em função das questões que têm de resolver;

iv) em determinadas questões não objetivas, por exemplo de resposta aberta, as correções dos exames podem variar em função de quem corrige.

Para minimizar as ameaças à fiabilidade dos exames, o que normalmente se faz é padronizar as condições de administração, detalhar e clarificar os critérios de correção, e uniformizar os procedimentos dos corretores. Ainda em relação aos critérios de avaliação, tem sido prática apresentar aos corretores itens corrigidos e as respetivas explicações para as pontuações atribuídas. Assim, quanto mais apertadas forem as condições impostas na correção, mais limitações se criam quanto ao tipo de tarefas a incluir no exame e, por consequência, de conhecimentos ou domínios do currículo que se podem avaliar (Fernandes, 2008a, p.114).

Em Portugal, os exames apresentam as seguintes características (Fernandes, 2008a): i) ocorrem no ano terminal da disciplina que, em alguns casos, coincide com o final do

ciclo de escolaridade, tendo um peso de 30% na avaliação final dessa mesma disciplina;

ii) o número de exames que cada aluno tem de realizar, no ensino secundário, varia entre três e quatro;

iii) os exames são elaborados e supervisionados por diversas entidades externas à escola, as quais também são responsáveis pelo processo de classificação, que está assim centralizado;

iv) os exames são elaborados com base nos conteúdos estabelecidos nas orientações curriculares, enfatizando mais o conhecimento dos conteúdos do que a competência de resolução de problemas;

89

v) os exames são aplicados da mesma maneira para todos os alunos, com recurso a provas iguais e procedimentos normalizados;

vi) após a realização dos exames, o conteúdo, os critérios de correção e os resultados são tornados públicos.

Para além destas, a nossa experiência permite-nos acrescentar mais algumas relacionadas com o processo de correção e classificação das provas:

vii) são tomadas medidas para garantir o anonimato relativamente ao aluno e estabelecimento de ensino onde realizou a prova;

viii) são elaboradas duas versões de enunciados para a mesma prova, em provas de exame de várias disciplinas;

ix) são estabelecidos critérios para a seleção de professores classificadores e disponibilizada formação para estes;

x) há a possibilidade de requerer reapreciação da prova e de reclamação do resultado da reapreciação;

xi) são adotadas medidas diversas de combate a fraudes, promovidas pelas próprias escolas e a nível nacional.

Fernandes (2008b) lembra a dificuldade em determinar com profundidade e com rigor os saberes que efetivamente os alunos possuem, reconhecendo as limitações das avaliações externas na determinação destes saberes e o papel que as avaliações internas deveriam desempenhar nesse processo. Defende que as políticas educativas deveriam investir na valorização da avaliação que se faz dentro das salas de aula, para que seja possível caracterizar de forma mais abrangente e profunda o que os alunos realmente sabem e são capazes de fazer. No ensino secundário, com uma organização por cursos e com múltiplas disciplinas que podem ser objeto de exame, é possível ter uma visão mais

90

abrangente dos saberes que o sistema se mostra capaz de desenvolver nos seus alunos, embora seja muito provável que “os saberes dos alunos do ensino secundário estejam bastante limitados pelo que sai nas provas de exame” (Fernandes, 2008b, p.290).

Os exames podem incorporar uma variedade de questões como tarefas ou problemas, ensaios, resposta curta e escolha múltipla. As questões mais abertas, tipo problemas, tarefas ou ensaios, apresentam vantagens como permitir analisar os processos e estratégias utilizados pelos alunos na resolução de problemas novos, avaliar as capacidades dos alunos para integrarem, relacionarem, aplicarem e organizarem conhecimentos, avaliar as capacidades dos alunos para analisarem, sintetizarem e avaliarem a informação constante numa grande diversidade de textos ou de situações problemáticas, e ainda avaliar aspetos originais e criativos do pensamento dos alunos. Mas as questões deste tipo apresentam os seguintes problemas no contexto de um exame nacional: são difíceis de elaborar, bem como os respetivos critérios de correção, consomem bastante tempo para corrigir, e a fiabilidade do exame e entre os corretores tende a baixar (Fernandes, 2004).

As provas de escolha múltipla, como as que se utilizam nos sistemas nacionais de avaliação, constituem “provas referidas à norma”. O propósito destas provas consiste em determinar posições e estabelecer rankings entre os indivíduos examinados. Casassus (2009) considera um erro de natureza conceptual dizer que este tipo de provas mede o que os alunos sabem e/ou sabem fazer, pois a qualidade educativa não é proporcional a pontuações, mas sim à capacidade que a instituição escolar tem de contribuir para que as pessoas se tornem melhores pessoas. A importância que é dada a este tipo de provas tem como efeitos que o foco da educação se centre nestas provas e não no ensino, relegando para segundo plano o desenvolvimento da personalidade, a cidadania, entre outros (Casassus 2009).

91

As avaliações baseadas apenas em questões de resposta construída, questões que normalmente implicam maior investimento por parte dos avaliadores, ou baseadas apenas em questões de escolha múltipla, produzem variações nas classificações que são similares àquelas observadas em testes diferentes, ou seja, os itens de resposta construída não parecem ser melhores indicadores de níveis superiores de aprendizagem como se poderia esperar (Hickson, Reed e Sander, 2012).

Apesar da utilização de exames na avaliação ser uma prática que se tornou comum no nosso país, e até com uma tendência recente para aumentar, esta apresenta potencialidades mas também inconvenientes. Com base na literatura apresentamos de seguida, nas Tabelas 1.2 e 1.3, listas de argumentos a favor e contra os exames, segundo dois autores nacionais (Fernandes, 2008a e Alves, 2013), ambos citando autores estrangeiros como Gipps (1994) e Landsheere (1976).

Tabela 1.2

Potencialidades e inconvenientes da avaliação externa (exames), com base em Fernandes (2008a, p.116).

Potencialidades Inconvenientes

- Efeito moderador na avaliação interna

- Induzir novas práticas no ensino e na avaliação

- Avaliação do sistema educativo, proporcionando informação para tomada de decisões (pelas autoridades nacionais, pelas escolas e pelos próprios professores)

- Maior ênfase nos conhecimentos e menos atenção nas competências úteis

- Condicionam os objetivos, as estratégias, o envolvimento e a atitude dos alunos em relação às aprendizagens

- Podem induzir práticas fraudulentas

- Podem induzir as escolas a concentrarem os seus esforços nos alunos que têm mais possibilidade de ter sucesso nos exames, com o risco de discriminação de alunos

92

Tabela 1.3

Argumentos de defesa e críticos da avaliação externa (exames), com base em Alves (2013, pp.155-168).

Argumentos de defesa Argumentos críticos

- A medida rigorosa é impossível - Validade limitada mas real

- Bom instrumento para criar resistência para a vida

- Permitem aos alunos situarem-se por relação aos outros

- Proporcionam um esforço de síntese e integração de conhecimentos

- Aferem (de certo modo) a qualidade do trabalho das escolas e dos professores

- Proporcionam um feedback para a ação do professor

- Fixam o essencial que é preciso ensinar e aprender, aumentam a pressão sobre alunos e professores, criam a montante ambientes de exigência que melhoram os desempenhos dos intervenientes

- Elementos estranhos ao processo educativo - Fator de ansiedade e stress

- Instrumentos ao serviço da consagração da desigualdade e da injustiça

- O fracasso gera o fracasso (e o êxito gera o êxito)

- Introduzem ruturas entre o ensinado, o aprendido e o examinado

- Resultados não fiáveis (desacordo entre classificadores)

- As classificações atribuídas pelo mesmo classificador à mesma prova podem variar em função das circunstâncias

- As classificações podem ser afetadas pelo efeito de halo

- A ordem de correção pode afetar os resultados - Muitas vezes, não são válidos (não medem o que é suposto medir)

- São um instrumento de imobilismo social (consagram desigualdades sociais)

- São instrumentos de avaliação “pobres”

- Os professores julgam melhor os seus alunos do que instrumentos externos ao processo de ensino- aprendizagem

- Num sistema em que os exames têm um peso significativo, o ensino e a aprendizagem são determinados não pelo currículo e pelo programa mas pelo exame

Da análise comparativa do conteúdo das tabelas 1.1 e 1.2, podemos verificar que os argumentos a favor e contra os exames, apresentados pelos dois autores que tivemos em conta, se completam, permitindo assim obter uma visão mais global sobre a polémica em torno da sua aplicação. De salientar que os argumentos contra são em maior número, dos quais destacamos, pela nossa própria experiência profissional, a ansiedade e o stress que tais provas de “elevado impacto” acarretam para alunos e professores, bem como a tendência para a valorização dos conhecimentos em detrimento de competências/valores

93

e atitudes e para o ensino e a aprendizagem passarem a ser determinados em função dos exames, em detrimento do currículo ou do programa.

A propósito da ansiedade e do stress, Alves (2013) refere que a tensão emocional associada à resolução de uma prova do tipo do exame nacional, que determina a progressão escolar e académica, pode ser um obstáculo de tal modo considerável, que a prova deixa de avaliar os conhecimentos ou as aprendizagens para passar a medir a “capacidade de resistência e de resiliência das pessoas” (Alves, 2013, p.156) face a esse obstáculo. Quanto ao empobrecimento do currículo, o mesmo autor realça que se o exame se torna o programa, deixa de valer a pena dedicar tempo a competências como pesquisar, debater, trabalhar em equipa, trabalhar em laboratório, ou a metodologias como visitas de estudo, estudos de campo, entre outras (Alves, 2013).

É ainda de referir que o mesmo argumento pode ser visto como potencial ou inconveniente. É o caso da pressão criada pelos exames sobre alunos e professores, da qual podem resultar novas práticas no ensino e na avaliação (Fernandes, 2008a) ou criar ambientes de exigência que melhoram os desempenhos dos intervenientes (Alves, 2013), aspetos que podemos ver como positivos, mas desta pressão também pode resultar ansiedade e stress (Alves, 2013), um aspeto reconhecido como negativo.

Uma lista ordenada das escolas secundárias tendo por base os resultados dos exames nacionais do 12.º ano foi publicada pela primeira vez, em Portugal, em 2001 (Neto- Mendes, Costa e Ventura, 2003). Tal medida foi objeto de discussão desde o início, evidenciando a pressão a que as escolas estão sujeitas nesta matéria, mas estimulando uma discussão pública no âmbito da regulação externa das escolas e também sobre os fatores de sucesso dos alunos sujeitos a exame nacional.

A propósito da problemática dos rankings, Neto-Mendes, Costa e Ventura (2003) realizaram um estudo centrado em dois indicadores: a habilitação académica dos pais e

94

encarregados de educação e a frequência de “explicações”. Com base nos referidos indicadores, compararam quatro escolas secundárias de um concelho do litoral centro de Portugal com diferentes posições nos rankings. Verificaram a existência de uma relação entre ambos os indicadores e o posicionamento das respetivas escolas no ranking nacional, com escolas melhor posicionadas a apresentar maior percentagem de pais diplomados (ensino superior) e maior percentagem de alunos a frequentar explicações. Um outro dado relevante é que, mesmo na escola menos bem posicionada, a percentagem de alunos a frequentar explicações atinge os 50%. Estes resultados põem em causa, como referido pelos autores, «leituras simplistas que façam coincidir os bons resultados dos alunos em exame com os “bons” professores e as “boas” escolas, e vice- versa» (Neto-Mendes, Costa e Ventura, 2003).

Também Zierer (2013), apresenta uma visão crítica da orientação moderna para medir, avaliar e classificar programas na área educacional. Utilizando o modelo quadrante epistemológica de Ken Wilber, analisa a questão: "O que é uma boa escola?" e considera que medidas como o Programa Internacional de Avaliação de Alunos (PISA), as Tendências em Estudos Internacionais de Matemática e Ciência (TIMSS) e do Progresso em Estudos Internacionais de Literacia de Leitura (PIRLS) sugerem que estamos a viver uma época de competição. Na opinião de Zierer (2013), o problema de uma análise parcial do que constitui uma "boa escola" é que a redução, (de acordo com Wilber), só pode proporcionar uma metade, ou melhor, um quarto de uma verdade. As avaliações tradicionais olham apenas para esta questão do ponto de vista empírico, através das lentes da eficácia e com base numa validade que reivindica a verdade proposicional. Os outros domínios da veracidade, a adequação cultural e o ajuste funcional, são negligenciados na maioria dos casos.

95

Não é portanto consensual que os sistemas de avaliação das escolas se baseiem apenas, ou mesmo principalmente, em dados derivados da avaliação sumativa dos alunos. Tais dados devem ser relatados, e interpretados, no contexto de um conjunto alargado de indicadores de eficácia escolar (Harlen, 2010). Em relação à monitorização de padrões de desempenho dos alunos, ao nível do sistema, os dados devem derivar de uma base mais alargada de evidências do que os resultados dos testes de avaliação de cada aluno.