Dos recursos ao processo de notas e espaço amostral do PISA

De modo semelhante, como na avaliação do PISA 2000, os recursos utilizados na avaliação do PISA 2003 foram organizados em torno de unidades de avaliação: um encadeamento de textos complementados por questões em torno de vários elementos existentes no texto, cujo objetivo foi trazer questões com maior familiaridade relacionadas com situações adversas enfrentadas na sociedade.

As questões foram estruturadas de forma volátil. Todavia, por meio de cada campo da avaliação de matemática, ciências e leitura, um total de 50% dessas questões requeria que os estudantes elaborassem suas próprias soluções, seja por intermédio de um cálculo simples (itens respostas curtas) seja por meio da elaboração de um cálculo mais preciso (itens questões abertas), possibilitando, assim, um amplo campo de pesquisa de perspectiva de respostas individuais diferentes e perspectivas de observação distintas.

Foi concedida importância parcial aos cálculos parcialmente corretos ou menos elaborados, e as notas para todas as questões foram atribuídas por especialistas. Na tentativa de assegurar credibilidade no processo de concessão de notas, as questões consideradas mais complexas foram avaliadas por, no mínimo, quatro especialistas da área, e assim atribuída a nota. Ademais, um grupo de especialistas independentes, subjugados a uma formação concentrada, forneceu notas a uma amostra pequena de respostas de estudantes de cada país participante, para certificar-se de que o procedimento de atribuição de notas acontecesse de modo igual nos demais países. Os resultados apresentados certificam a regularidade da atribuição de notas decorrentes nos países.

O processo de atribuição de notas a questões e a soluções de resolução aberta foi uma etapa significativa para assegurar a qualidade e a comparabilidade dos resultados do PISA.

Orientações detalhadas deram suporte para um processo mais apurado na atribuição de notas ocorrentes em todos os países. Tais orientações de notas abarcavam manuais, material de habilitação de pesquisadores nacionais. Em um momento anterior à formação nacional, a organização do PISA promoveu sessões de treinamento para coordenadores, apresentando o material e capacitando pesquisadores em todos os países integrantes, que em um momento posterior qualificavam os demais participantes em seus respectivos países.

Para cada questão avaliada, o manual de atribuição de notas equivalente relatava o objetivo da questão e como agrupar as soluções dos estudantes. Essa enumeração detalhada

compreendia o reconhecimento dos créditos-crédito total, parcial ou sem crédito, relativa às categorias de soluções prováveis. O PISA 2003 também utilizou uma esquematização de escrita em códigos de dois dígitos para as questões de matemática e ciências, onde o primeiro dígito simbolizava o escore e o segundo as diferentes soluções e técnicas utilizadas pelos estudantes na resolução de problemas. O segundo dígito implementou a criação de especificidades das técnicas, procedimentos e produções incorretas dos estudantes. Como ilustração, os manuais de atribuição de notas abrangem exemplos cotidianos de estudantes (analisados em experimentos iniciais), complementado por uma justificativa para sua categorização.

Em cada país participante, quatro pesquisadores da área efetuaram a menção de notas a uma pequena amostra de folhetos que foram examinados pela organização do PISA. Para investigar a veracidade dessa estrutura de atribuição às notas de forma mais detalhada em cada país, e para fazer a estimativa da abrangência dos elementos ligados ao desempenho dos pesquisadores, o PISA dirigiu uma pesquisa de fidelidade entre os pesquisadores e as pequenas amostras nos folhetos examinados. Uma investigação de caráter uniforme foi empregada aos agrupamentos de soluções múltiplas ocorrente em cada país e estabelecer relações com os efeitos dos resultados do experimento de campo (OCDE, 2003).

Para possibilitar a comparação entre países, desenvolveu-se uma pesquisa de credibilidade em um universo de elementos que a constituem. O propósito foi apurar se a atribuição de notas pelos pesquisadores era realizada com a mesma assiduidade em todos os países envolvidos, tanto de modo integral quanto para questões particulares. Neste seguimento, efetuou-se uma atribuição de notas de modo independente dos folhetos originais, por grupos especializados em diferentes idiomas, que foi estabelecido relações com os diferentes pesquisadores de outros países. Os resultados evidenciaram que os registros desenvolvidos pelos pesquisadores em cada país foram muito congruentes.

Os indicadores médios de “concordância” na pesquisa de confiabilidade nos países foram de 92% (em 71.941 soluções de estudantes que assinalaram de modo independente pelos parâmetros internacionais).

“Concordância” refere-se a duas circunstâncias diferentes: as ocorrências em que o parâmetro internacional concordou com pelo menos três pesquisadores nacionais; e as ocorrências em que o parâmetro divergiu dos pesquisadores nacionais; entretanto, na avaliação do grupo de trabalho de testes dos organizadores do PISA, a conclusão foi de que, ao analisar as soluções apresentadas pelos estudantes, os pesquisadores atribuíram uma menção correta.

Somente seis países tiveram um percentual de concordância abaixo de 90% (sendo 86% a Espanha, região da Catalunha). Na média, o cálculo de atribuição de notas foi altamente específico em 1,86% das circunstâncias e muito transigente em 3,1%. O percentual de notas mais altas e rigorosas (7%) foi analisado para itens de ciências em Portugal, e a percentagem mais elevada de notas excessivamente tolerantes (10%) foi analisada para itens de ciências na Indonésia. Uma definição ampla deste processo e dos seus resultados pode ser explorada no relatório técnico PISA 2003 (OCDE, 2003c).

Para assegurar a uniformidade dos resultados apresentados pelos países, é necessário que o PISA tenha como investigação uma população-alvo uniforme. Desigualdades entre os países acerca das características e da dimensão da educação, como: a educação na infância, a idade de entrada na escolarização básica obrigatória e a organização do sistema educacional não possibilitam que as séries escolares sejam determinadas a termos de comparação internacional. Nesse ínterim, para um melhor alcance internacionalmente válido no desempenho educacional, deve delimitar sua amostra de estudantes, tendo como parâmetro uma idade-alvo.

O PISA compreende um público de estudantes com idade a partir de 15 anos e 3 meses e 16 anos e 2 meses no instante da avaliação, de modo independente da série ou do tipo de instituição que o estudante esteja vinculado, e se estes estudam em período integral ou parcial. A finalidade dessa faixa etária no PISA, com a contribuição dos diversos países integrantes, possibilita uma melhor comparação, mais coerente a respeito do desempenho dos estudantes, próximos ao fim de sua educação obrigatória.

Como resultado, a cada edição do PISA são apresentados relatórios que trazem noções elementares sobre as competências e os conhecimentos de uma população com a mesma faixa etária, e que ainda coabitam em um sistema educacional aos 15 anos de idade, no entanto com diferentes perspectivas educacionais tanto na escola quanto no meio social. A quantidade de séries escolares em que esses estudantes estão ingressados subordina-se às políticas educacionais de cada país. Todavia, em determinados países, estudantes que contribuíram para a amostra de população do PISA constituem diferentes sistemas, políticas ou diretrizes educacionais.

Nesse sentido, estabeleceram-se padrões técnicos altamente exigentes para a escolha da amostra populacional de cada nação. O PISA descarta a participação de estudantes de 15 anos de idade que não estejam frequentando a escola. Em semelhança com outras investigações, a abrangência da escolha da amostra de uma população composta por 15 anos de idade no âmbito

da educação é muito elevada, sendo poucas as escolas classificadas como inelegíveis para a participação, seja por sua localização distante seja até mesmo por um número de estudantes com necessidades especiais (OCDE, 2003).

Em um total de 24, dos 41 países integrantes, o percentual de exclusões do nível de escolas não atingiu 1%, com exceção do México (3,6%), Suíça (3,4%), Reino Unido (3,4%) e de outros países parceiros como: Letônia (3,8%) e Sérvia (5,3%), nos demais países não chegou a 3%. Tendo como norte inicial a exclusão de determinadas escolas e de estudantes que não se enquadravam nos critérios estabelecidos internacionalmente5_{, os índices de exclusão elevam}

moderadamente.