Na quinta fase para uma apreciação global de cada exame adotámos um Índice que, com base na ponderação da categorização do conjunto de itens colocadas, nos permitiu apurar e comparar o grau de dificuldade de cada prova.
Este Índice permitiu-nos analisar o comportamento da complexidade dos exames ao longo dos anos e relacionar as variáveis Índice SOLO e média nacional, permitindo-nos responder aos objetivos ou as questões propostas neste estudo.
O valor apurado através da determinação do Índice SOLO de cada exame permitiu-nos efetuar uma análise comparativa entre os diferentes exames, bem como relacionar o grau de dificuldade com os resultados obtidos pelos alunos.
Para a elaboração da fórmula mantivemos a classificação proposta na Taxonomia SOLO, por coerência e facilidade de exposição, mas também por refletir de forma adequada os conceitos inerentes ao grau de dificuldade que procuramos determinar.
Assim, para cada nível pré-estrutural, uni-estrutural, multi-estrutural, relacional e abstrato, atribuímos um valor numa escala de 0 a 20, que ponderámos depois pela incidência de cada item no exame em concreto. O valor apurado permitiu-nos uma análise comparativa entre os diferentes exames, com especial incidência nas diferenças entre as primeiras e segundas fases de exame de cada ano.
Mais importante, no entanto, a determinação do Índice SOLO de cada exame permitiu- nos relacionar grau de dificuldade com resultados obtidos pelos alunos, de forma que consideramos sustentada e conclusiva.
Na análise da complexidade dos exames, em cada ano especificamente e comparativamente ao longo do período de análise criámos uma fórmula para quantificação do Índice SOLO de cada exame, nos termos seguintes, que entendemos refletir todos os critérios de ponderação relevantes: Índice SOLO = 𝐶𝑃 ×(𝐼𝐶) 200+ 𝐶𝑈 × (𝐼𝐶) 200+ 𝐶𝑀 × (𝐼𝐶) 200+ 𝐶𝑅 × (𝐼𝐶) 200+ 𝐶𝐴 × (𝐼𝐶) 200
45 Em que, CP = Cotação Pré-estrutural CU = Cotação Uni-estrutural CM = Cotação Multi-estrutural CR = Cotação Relacional CA = Cotação Abstrato IC = Índice da categoria
Na variável “Índice da categoria”, definimos um valor correspondente ao diferente nível de exigência, nos seguintes termos:
Nível Pré-estrutural – 4 Nível Uni-estrutural – 8 Nível Multi-estrutural – 12 Nível Relacional – 16 Nível Abstrato – 20
O resultado obtido reflete o nível global de complexidade do exame em causa.
Esta fórmula demonstrou-se particularmente eficaz na análise de duas variáveis – comparação de exigência entre diferentes exames e comparação do nível de exigência requerido com os resultados finais obtidos pelos alunos.
Por fim, observámos o comportamento da média nacional de Matemática A ao longo do período de análise elaborando as conclusões daí decorrentes, de acordo com a metodologia proposta e o âmbito deste trabalho.
5.6 Validação
A validação deste modelo de categorização dos itens dos exames pode aferir-se, nos termos propostos por Schoenfeld (2008) e bem sintetizados por Ceia (2018), que seguimos de perto, no sentido de que o modelo será válido quando consiga oferecer um forte suporte a seu favor, os resultados obtidos sejam confiáveis e o modelo possa ser solidamente justificado. Este autor propõe um conjunto de critérios com vista à avaliação de modelos – poder descritivo, poder explicativo, campo de ação, poder preditivo, rigor e especificidade, falsificabilidade, replicabilidade, generalidade, credibilidade e múltiplas linhas de evidência. Com exceção do critério de poder preditivo, que assinala a possibilidade do modelo prever alguns fenómenos e
46
que entendemos que não é aplicável a um modelo de categorização, entendemos que os demais critérios se encontram preenchidos, de forma a considerar o modelo como válido.
O primeiro critério, o poder descritivo, é a capacidade do modelo em descrever de forma fiel o essencial do fenómeno que pretende descrever.
O modelo que pretendemos seguir, cumpre este critério, na medida em que apresenta as soluções hipotéticas de forma detalhada, identificando os conhecimentos envolvidos na sua elaboração, mostrando que estas soluções são razoáveis, ou seja, correspondem ao que é exigido aos alunos nos exames em causa. Por outro lado, explica de forma clara cada uma das categorizações feitas, mantendo os critérios estabelecidos para as diferentes itens. Identifica os casos em que surgem discrepâncias, casos que não são explicáveis pelo modelo ou que o contradizem.
O segundo critério, o poder explicativo, indica o grau de explicação do modelo, nomeadamente como e porquê o modelo se aplica, no sentido em que retrata em detalhe o significado de cada parâmetro, os diferentes grupos dentro de cada parâmetro e como os parâmetros se relacionam entre si. Indica as ocorrências que não têm uma explicação inequívoca ou que podem apresentar categorizações distintas para o mesmo item.
O terceiro critério, o campo de ação, revela a variedade de fenómenos a que se refere. Revelamos os exames a que se aplica o modelo, neste caso, os exames nacionais de Matemática A do 12º ano, sendo que outros autores têm vindo igualmente a aplicar o modelo para outros níveis de ensino.
O quarto critério, o poder preditivo, como dissemos, entendemos que não é enquadrável num modelo de categorização.
O quinto critério, rigor e especificidade, refere-se à necessidade de especificar o conjunto de objetos e das relações existentes entre eles.
Os termos utilizados neste modelo foram definidos de forma precisa e objetiva, de forma a serem identificáveis quer isoladamente, quer na relação entre si, correspondendo ao que efetivamente pretendem representar.
O sexto critério, da falsificabilidade, refere-se à necessidade de requerer que as afirmações ou previsões produzidas sejam não tautológicas, podendo ver a sua exatidão testada empiricamente.
A terminologia deve ser rigorosa, não repetindo termos com significados distintos ou ambíguos.
47 O sétimo critério, replicabilidade, generalidade e credibilidade depende do rigor colocado na construção do modelo. O modelo tem sido testado em diversos graus de ensino, de forma consistente e coerente. Estas replicações só puderam ser conseguidas porquanto as categorias e os critérios de categorização foram claramente definidos e são claramente entendidos pelos aplicadores do modelo. A viabilidade da replicação aponta, assim, para a replicabilidade, generalidade e credibilidade do modelo.
Por fim, o oitavo critério, múltiplas linhas de evidência (triangulação), consiste em procurar diversas fontes de informação sobre o modelo, que garantam que o modelo se mantém consistente. A forma como o modelo é aplicado e aplicável aos diversos exames, nos diferentes níveis de ensino contribui para que se possa considerar também esse critério como verificado.
Validada a proposta metodológica, ensaiaremos propostas conclusivas relativas à qualidade, critérios e exigência da avaliação da disciplina de Matemática A no período e com o âmbito definidos.
Estas propostas conclusivas diferenciam-se de conclusões propriamente ditas, porquanto têm como objetivo, tão-só, demonstrar a pertinência da metodologia enquanto instrumento de análise. As conclusões propriamente ditas sobre a qualidade da avaliação necessitarão sempre de uma abordagem holística ao sistema, que não se resume à aplicação da Taxonomia enquanto instrumento.
Partindo deste modelo, adaptámos o modelo de categorização ao contexto baseado no programa oficial do ensino da Matemática A do 11º e 12 º ano de escolaridade (Programa e
Metas Curriculares Matemática A1), bem como no conteúdo dos documentos de apoio
elaborados pelo Ministério da Educação.
1 www.dge.mec.pt
49 6 Análise e categorização SOLO de itens dos exames Nacionais de Matemática A