Orientador: Vítor D. Teodoro
Maria Cecília Martins Ferreira da Silva, ceciliasilva@netcabo.pt
Palavras-chave: Evaluation Models; Measurement Techniques; Educational and Evaluation Standards
Questões/objectivos de investigação. Sua relevância. Revisão de literatura
A problemática central deste estudo consiste, em primeiro lugar, na análise do nível de desempenho dos examinandos, por amostragem, num determinado conjunto de escolas. A análise procura respostas para as seguintes questões:
Podem ser detectadas diferenças no desempenho global dos alunos? Os resultados obtidos nos vários métodos psicométricos aplicados são semelhantes?
Existem diferenças no desempenho item a item?
É possível caracterizar, com base numa análise cognitiva complexa, um conjunto de itens de exames?
São questões pertinentes porque, todos os anos, sem excepção, debate-se o grau de dificuldade dos exames nacionais em consonância com as expectativas relativas ao ensino aprendizagem e com o desempenho dos examinandos.
Por outro lado, para compreender em que medida as modificações ocorridas no conteúdo, na estrutura dos exames e nas técnicas adoptadas se repercutem, no grau de dificuldade, é necessário uma reflexão feita com base em contextos sociais, políticos e no âmbito das diversas reformas educativas que ocorreram ao longo do tempo.
Definimos, ainda, como objectivos da nossa investigação a construção de um arquivo digital contendo os exames nacionais de Física e Química, para permitir a toda a comunidade a análise e consulta dos mesmos a partir da Internet.
Na escolha da problemática estiveram presentes critérios de praticabilidade, amplitude crítica, interesse, valor teórico e valor prático (Tuckman, 2005, p. 54-55), em particular, factores associados aos recursos e ao tempo exigido por este tipo de investigação.
Subjacente ao objectivo desta investigação existem constrangimentos físicos, relacionados com a inexistência de um arquivo nacional de exames o que leva à dispersão de enunciados por diversos jornais, revistas e
evolução do sistema educativo, das práticas escolares e dos princípios de natureza diferenciada que as sustentam.
Para ajudar a ultrapassar estes factores de natureza prática, propusemo-nos construir um arquivo digital de exames nacionais, acessível pela Internet. A criação de arquivos de exames visa contribuir para a conservação de uma memória da história do ensino e da pedagogia, mas igualmente da história das mentalidades, da história económica e social, da história das ciências e da técnica (Belhoste, 2002, p. 211). Numa primeira fase, os exames compilados e respectivas propostas de correcção serão objecto de digitalização em formato PDF, com vista a sua posterior análise e organização num arquivo. A construção um arquivo digital contendo os exames nacionais de Física e Química, tornará acessível a análise e consulta por interessados, prevendo-se a sua possível expansão através da intervenção dinâmica de toda a comunidade.
Naturalmente que a pesquisa documental não está restringida aos exames, pois a apreciação destes instrumentos de avaliação obriga-nos a questionar e a reflectir sobre alguma da teorização mais relevante da especialidade e a elaborar um quadro metodológico específico. Segundo Murphy (1993, p. 14), muitas das alterações nos exames resultam da pressão exercida pela “comunidade escolar”, não sendo possível descartar a pressão “social, internacional, institucional e pedagógica” (Figari, 1994, p. 28).
Metodologia, métodos, instrumentos de pesquisa
Os dados relativos aos enunciados e resultados dos exames, questionários e à análise cognitiva dos itens foram extraídos, compilados e agrupados temporalmente, de acordo com as reformas educativas.
Atendendo aos dados estatísticos existentes e ao formato dos itens nas provas de exame, a aplicação de métodos psicométricos combinou diversas adaptações, a saber:
No período entre 1950 e 1999,
Método de Beuk (anos entre 1956 e 1984);
Método dos Grupos Distintos – variação assente nos valores das médias das classificações dos itens – Irwin, Bunckendahl e Poggio (2007).
No período entre 2000 e 2005,
Método de Beuk (anos de 2004 - 2005);
Método de Angoff Modificado (anos de 2004 - 2005) – variação Angoff Verdadeiro/Falso – Impara e Plake (1998, p. 69) e a extensão do Método de Angoff – Hambleton e Plake (1995, p. 41);
Método dos Grupos Distintos – adaptação do modelo de regressão linear – Cizek e Bunch (2007, p. 109).
Privilegiámos na nossa investigação a procura de influências recíprocas entre a construção teórica e os dados empíricos através da análise cognitiva de itens, num processo permanente de redefinição, de reexame e de confronto.
Resultados e conclusões
Nos resultados procedemos à análise por década da estrutura, dos conteúdos dos enunciados e dos resultados dos examinandos visto existir uma rede de intersecções e inter-relações permanente entre os mesmos. Pareceu-nos ser esta a melhor opção no que concerne à apresentação e discussão dos resultados obtidos porque o objetivo da avaliação não deve ser apenas o de constatar eventuais diferenças, mas de interpretá-las adequadamente para que se possam tomar decisões eficazes no processo de ensino/aprendizagem. Se, por um lado, uma maior exigência pode ter consequências negativas e conduzir a uma desmoralização e desinteresse pela disciplina por parte dos alunos, por outro lado, o nível de desempenho dos examinandos deve reflectir e encorajar actividades de aprendizagem associadas a competências mais complexas para que a avaliação possa modelar as aprendizagens. Procedemos também à análise dos exames como instrumentos de políticas educativas através de artigos de imprensa, com especial incidência nas décadas de 50-70, embora com algumas incursões, ainda que fugazes, entre os anos 80 e 2000.
A conclusão contém uma síntese dos resultados obtidos e, atendendo a que as aprendizagens são indissociáveis da avaliação, são apontados, ainda, algumas orientações e horizontes de investigação possíveis que poderão, eventualmente, emergir, a partir deste estudo.
Referências
Belhoste, Bruno (diréction) (2002). Histoire d’Education: L'examen - évaluer
sélectionner, certifier XVI-XX siècles. Paris: I.N.R.P., 94.
Cizek, G. J., e Bunch, M. B. (2007). Standard Setting. Thousand Oaks, London and New Delhi: Sage Publications.
Figari, Gérard (1994). Évaluer: quel référentiel? (27-31) Bruxelas: De Boeck. Hambleton, R. K., e Plake, B. S. (1995). Using an Extended Angoff
Procedure to Set Standards on Complex Performance Assessments.
Applied Measurement in Education, 8(1), 41-55.
Impara, J. C., e Plake, B. S. (1998). Teachers’ ability to estimate item difficulty: A test assumptions in the Angoff standard setting method. Journal of Educational Measurement, 35(1), 69-81.
Irwin, P., Buckendahl, C. W., e Poggio, A. (2007). Examinee-Centered
Standard Setting: An Alternative Approach. Paper presented at the Annual
Meeting of the National Council on Measurement in Education. Murphy, R. (1993). GCSE - a positive indication of success? British Journal
of Curriculum and Assessment, 4, 1.