3.2.1 A primeira fase
Na primeira fase, isto é, da pré-análise, organizamos as provas da amostra obtida. Cada uma das duzentas e sessenta e uma (261)30 provas pertencentes à amostra foi nomeada de modo a possibilitar a sua identificação, para a qual utilizamos cinco dígitos e quatro letras. Por exemplo, a prova PRC02E024 indica que ela pertence à amostra de alunos paranaenses (PR), do caderno 02 (C02) e que foi a vigésima quarta prova corrigida (E024).
A partir disso, realizamos uma leitura das resoluções, observando os procedimentos desenvolvidos pelos alunos ao resolver cada item, com o intuito de nos familiarizarmos com os registros escritos apresentados nas provas. Duas leituras foram realizadas: uma leitura vertical das resoluções, que consistiu em estudar as resoluções de todas as questões de um mesmo aluno; uma leitura horizontal, na qual averiguamos os procedimentos utilizados para a resolução da primeira questão e os respectivos itens de todas as provas, em seguida da segunda questão de todas as provas e assim por diante.
3.2.2 A segunda fase
Na segunda fase, a da exploração do material, resolvemos todas as questões presentes na prova, identificamos os conteúdos matemáticos requeridos para a resolução, fizemos um levantamento dos conteúdos utilizados pelos alunos na resolução das questões, identificamos as estratégias e os procedimentos por eles desenvolvidos e compusemos um gabarito para nos auxiliar durante o processo de correção. Elaboramos, também, os critérios de correção e de descrição para cada item da prova.
Fizemos uma correção baseada no Manual para correção das provas com questões abertas de matemática AVA/2002 (BURIASCO; CYRINO;e SOARES, 2003). Para a correção, utilizamos os códigos 2, 1, 0 e 9 para classificar as resoluções de cada item. As resoluções foram consideradas totalmente corretas quando o aluno elaborava uma estratégia
30 A amostra continha 345 cadernos da prova, porém apenas 261 cadernos continham questões de Matemática.
que resolvia o problema e desenvolvia corretamente o procedimento. Essas receberam crédito completo representado pelo Código 2. Também receberam crédito completo a apresentação apenas da resposta correta, pois consideramos que os estudantes podem ter realizado os cálculos mentalmente ou com o auxílio da calculadora, cujo emprego era permitido na aferição do PISA/2006.
O crédito parcial, representado pelo Código 1, foi utilizado para representar as resoluções consideradas parcialmente corretas, ou seja, aquelas nas quais a estratégia utilizada pelo aluno para resolver o problema estava correta, porém apresentava algum procedimento desenvolvido incorretamente.
As resoluções incorretas, nas quais os alunos optaram por empregar uma estratégia que não resolvia o problema, mesmo que os procedimentos fossem desenvolvidos corretamente, ou as resoluções nas quais os alunos apresentaram outras estratégias que não resolviam o problema receberam nenhum crédito representado pelo Código 0 (zero). Também receberam código 0 os alunos que apenas apresentaram uma resposta diferente da considerada correta.
Receberam Código 9 os itens das questões em que não havia registro escrito, ou seja, a resposta ao item foi deixada “em branco”, não apresentando indícios da tentativa de resolução, ou que continha expressões do tipo “não sei” ou “não deu tempo de resolver”.
Por meio da correção realizada, foi possível ter um conhecimento geral das resoluções apresentadas pelos alunos em cada item da prova. Após as correções, o próximo passo foi realizar as descrições das resoluções encontradas em cada item. Feitas as descrições de cada uma das resoluções, passamos a um processo de validação mediante a estratégia da validação pelos pares e, para isso, dois outros participantes do GEPEMA31 examinaram, individualmente, cada descrição, aprovando-a ou propondo ajustes. O modelo utilizado para a validação foi:
31 GEPEMA - Grupo de Estudos e Pesquisa em Educação Matemática e Avaliação - Universidade Estadual de Londrina.
Questão Nome da questão (Item - de -) Cadernos 04 - 07- 08 - 09
Quadro 11 - Modelo utilizado para a validação das descrições das questões.
A partir do processo de descrição dos registros escritos dos alunos, passamos para uma fase de classificação desses registros escritos, os quais foram agrupados de acordo com o tipo de estratégia utilizada e o procedimento desenvolvido. Esses agrupamentos foram construídos independentemente do crédito atribuído a questão. Desse modo, criamos grupos de provas, mediante a identificação das estratégias semelhantes utilizadas pelos alunos para resolver o item e os subgrupos, segundo os procedimentos semelhantes que foram desenvolvidos.
3.2.3 A terceira fase
Após a fase de classificação dos registros escritos em agrupamentos, partimos para a última etapa, caracterizada, segundo Bardin (2004), por inferência e interpretação. A partir dos agrupamentos realizados, passamos a analisar os registros escritos dos alunos pertencentes a cada subgrupo, buscando fazer inferências sobre: a) como eles interpretaram o enunciado das questões; b) quais conteúdos matemáticos utilizaram para resolvê-las; c) como lidaram com as técnicas operatórias dos algoritmos; d) as dificuldades apresentadas; e) a utilização de âncoras durante a resolução; f) como empregaram as estratégias requeridas na resolução; g) os procedimentos desenvolvidos.
Além da análise descritiva e interpretativa dos registros escritos, buscamos apresentar uma discussão à luz do referencial teórico adotado. O relato dessas análises e dos aportes com a literatura pertinente constitui a seção 5, intitulada de Leituras.
4 DAS CARACTERÍSTICAS DOS ITENS
Nesta parte do trabalho, apresentamos algumas considerações a respeito do enunciado de cada item, suas características segundo os documentos do PISA, o conteúdo matemático necessário para resolver o problema proposto, o desempenho dos alunos, as estratégias utilizadas pelos alunos ao resolver o problema proposto em cada item e os agrupamentos realizados. O relato que segue foi organizado conforme itens dessa aferição.