Instrumentos e métodos de recolha de informação

No âmbito do PISA 2000 e 2003, como instrumentos de recolha de informação foram utilizados testes escritos de “papel e lápis” organizados em unidades13 baseadas num texto ou num gráfico que apresentavam uma situação concreta o mais próxima possível das que poderão encontrar-se na vida real, unidades essas que incluíam itens de escolha múltipla e itens de resposta aberta que requeriam dos alunos a produção de respostas, umas mais curtas outras mais elaboradas. Todo o aluno participante no PISA realizou, assim, um teste escrito com a duração de duas horas para avaliação dos seus conhecimentos e competências e respondeu a dois questionários, quando envolvido no PISA 2000: (i) para responder em cerca de trinta minutos, um tendo em vista a recolha de dados sobre si próprio e sobre o estabelecimento de ensino que frequentava e (ii) outro com a duração de quinze minutos para prestar informações sobre práticas de estudo e de aprendizagem, autoconceito e motivação; ou apenas a um questionário sobre os seus conhecimentos básicos, hábitos de estudo, empenhamento, motivação e percepções sobre o ambiente de aprendizagem durante aproximadamente trinta minutos, no âmbito do PISA 2003. Também o Presidente do

12 _{Países participantes no PISA 2006: Argentina, Alemanha, Austrália, Áustria, Azerbeijão, Bélgica,}

Brasil, Bulgária, Canadá, Chile, Colômbia, Coreia, Dinamarca, Eslovénia, Eslováquia, Espanha, Estados Unidos da América, Estónia, Federação Russa, Finlândia, França, Grécia, Hong Kong – China, Hungria, Indonésia, Islândia, Irlanda, Israel, Itália, Japão, Jordânia, Letónia, Liechtenstein, Lituânia, Luxemburgo, Macau – China, México, Montenegro, Noruega, Nova Zelândia, Países Baixos, Polónia, Portugal, Qatar, Quirguizistão, Reino Unido, República Checa, República da Croácia, Roménia, Sérvia, Suécia, Suíça, Tailândia, Taipei – China, Tunísia, Turquia, Uruguai (Bibweb, [2]).

13 _{Unidade – vários itens ligados por um estímulo comum – permitindo que o aluno se envolva num contexto ou}

Conselho Executivo de cada escola envolvida no estudo PISA respondeu a um questionário sobre a sua escola, que avaliava a qualidade do ambiente de aprendizagem e incluía características demográficas (OCDE, 2005). Com estes questionários14 foi possível coligir informação acerca das escolas, para poder identificar factores associáveis a melhores e a piores desempenhos dos estudantes.

A construção dos instrumentos utilizados no PISA ocorreu com base nos enquadramentos conceptuais elaborados para o efeito para cada um dos domínios em avaliação e em especificações dos testes consensualmente aceites pelos diversos países membros da OCDE. Vários países colaboraram na sua elaboração propondo problemas nos domínios em avaliação: leitura, matemática e ciências (para o primeiro ciclo do PISA); leitura, matemática, ciências e a área transversal de resolução de problemas (domínios trabalhados no PISA 2003).

Nos países participantes do PISA 2000, foi realizado previamente em 1999 um estudo piloto, o qual permitiu seleccionar e validar as unidades a aplicar no ano 2000. Neste sentido, ao representante de cada nação foi pedida uma apreciação da adequação dos itens em termos de língua, cultura, relevância curricular e nível de dificuldade. Foi possível a inclusão de opções nacionais. Foram construídos nove cadernos com combinações várias de questões de literacia em leitura, matemática e ciências (ME-GAVE, 2001, 2002); a cada aluno correspondeu apenas um; quatro dos cadernos incluíam questões de matemática (ME-GAVE, 2002) centradas nos conceitos envolventes mudança e relações e espaço e forma, apesar do enquadramento conceptual elaborado para este domínio considerar ainda um terceiro conceito envolvente quantidade e incerteza.

É objectivo deste estudo localizar os alunos numa escala de proficiência criada para cada um dos domínios avaliados. A escala utilizada foi construída de modo a que, no conjunto dos países da OCDE, o valor médio da escala fosse 500 pontos e que o desvio padrão fosse de 100 pontos – cerca de dois terços dos alunos obteriam entre 400 e 600 pontos –. No entanto, para o PISA de 2000, só se definiram níveis de proficiência para o domínio da leitura uma vez que o estudo comportou mais questões sobre esta temática, pelo que, em termos da

matemática foram apenas apresentadas descrições gerais de categorias de questões em que a classificação está afastada da escala construída (ME-GAVE, 2001).

Em Portugal a aplicação dos instrumentos de recolha realizou-se entre Abril e Maio de 2000 por 29 colaboradores do Gabinete de Avaliação Educacional do Ministério da Educação devidamente formados para este efeito.

Também no âmbito do PISA 2003, foi realizado um estudo-piloto em 2002 nos vários países participantes neste segundo ciclo, a partir de um vasto conjunto de itens que permitiu estabelecer a dificuldade de cada item, com o intuito de ser feita a selecção das questões a aplicar no estudo principal. Neste sentido, no estudo principal que ocorreu em 2003 foram envolvidas 54 unidades com 85 itens de matemática; 8 unidades (28 itens) de leitura; 13 unidades (35 itens) de ciências e 10 unidades (19 itens) na área da resolução de problemas (OECD, 2004). Os testes de “papel e lápis” elaborados foram em tudo semelhantes aos feitos em 2000, com a excepção de ter sido dado um enfoque especial à literacia matemática em 2003 e consequentemente os testes incluem mais unidades referentes a este domínio. Estas unidades estão agrupadas em quatro categorias: “quantidade, espaço e forma, mudança e relações e incerteza”, abrangendo esta última a estatística. Os itens foram organizados em blocos de 30 minutos e foram preparados 13 cadernos distintos (formados por quatro desses blocos) totalizando assim provas de avaliação de duas horas com combinações variadas de unidades de itens (cada item aparece no mesmo número de cadernos; cada bloco aparece nas quatro posições possíveis dentro do caderno) correspondendo a um total de seis horas e trinta minutos de avaliação (três horas e trinta minutos para Matemática e uma hora para cada uma das restantes áreas: leitura, ciências e resolução de problemas).

No nosso país, no PISA 2003, tal como no PISA 2000, a aplicação destes instrumentos de recolha de informação esteve a cargo de colaboradores do GAVE devidamente formados para este intento (segundo normas estabelecidas pelo centro internacional e registadas num manual de aplicação). Esta recolha de informação (segundo ciclo do PISA) ocorreu nos meses de Abril e Maio de 2003 e envolveu 28 colaboradores (ME-GAVE, 2004a).