As escalas obtidas no processo de equalização ordenam os desempenhos dos alunos (do nível mais baixo ao mais alto) e os parâmetros dos itens em um continuum e precisam ser interpretadas para ganharem sentido prático. As escalas são interpretadas através da escolha de pontos, chamados de níveis âncoras, que permitam descrever as habilidades que os alunos demonstraram possuir quando situados em torno desses pontos. Portanto, níveis âncora são pontos selecionados na escala da habilidade para serem interpretados pedagogicamente. Geralmente, escolhe-se a média como um ponto para nível âncora, e os demais pontos em intervalos de um desvio padrão ou meio desvio padrão.
Cada nível âncora definido na escala é caracterizado por conjuntos de itens, denominados itens âncoras, que servem para explicar ou interpretar o nível efetuando uma ligação dos valores da escala com os conteúdos verificados nos itens.
Um Item é definido como âncora de um nível Z, quando atendem as três condições abaixo satisfeitas simultaneamente, onde Y e Z são níveis âncoras consecutivos com Y < Z (Andrade, Tavares & Valle, 2000):
1. P(U = 1|θ = Z) ≥ 0,65; 2. P(U = 1|θ = Y) <0,50;
3. P(U = 1|θ = Z) − P(U = 1|θ = Y)≥ 0,30
Em outras palavras, para um item ser âncora em um determinado nível âncora da escala, ele precisa ser respondido corretamente por uma grande proporção de alunos (pelo menos 65%) com este nível de habilidade e por uma pequena proporção de alunos (no máximo 50%)
com o nível de habilidade imediatamente anterior. Além disso, a diferença entre a proporção de alunos com esses níveis de habilidade deve ser de pelo menos 30%. Assim, um item âncora é típico daquele nível, ou seja, bastante acertado por alunos com aquele nível de habilidade e pouco acertado por alunos com um nível de habilidade imediatamente inferior (Valle, 2001).
A metodologia para interpretação das escalas inclui dois procedimentos principais: identificação de itens âncoras pela análise estatística e a apresentação desses itens a especialistas para descrição do nível âncora a partir do estudo do conteúdo abordado no conjunto de itens que definem cada nível âncora, lembrando que na prova Belém elaborou-se cada item associado a apenas um descritor da matriz de referência.
Esse critério de seleção dos itens âncoras foi utilizado nos SAEB 95 e 97, porém foram observados vários problemas (Klein, 2003): (a) para ter muitos itens âncora, os níveis selecionados têm que ser bem espaçados; (b) para ter mais itens para auxiliar a interpretação é necessário ampliar o conceito de nível âncora para quase âncora; (c) dificuldade dos membros dos painéis de especialistas de utilizarem o conceito de discriminação entre níveis, só usando praticamente itens considerados dominados pelos alunos em torno do nível; (d) alguns descritores cobertos por alguns itens não aparecerem na descrição, pois mesmo sendo bons itens, não foram classificados como itens âncora.
A decisão tomada pelo SAEB para enfrentar os problemas encontrados foi selecionar os pontos da escala em intervalos de meio desvio padrão (25), incluindo o ponto da média arbitrada da distribuição de proficiências da 8a série/9º ano EF nas disciplinas de Língua Portuguesa e Matemática (250). E para cada item foi estimado o percentual de acerto dos alunos em cada nível, calculando-se o percentual de acerto dos alunos com proficiência no intervalo que contém o nível.
Nesta nova abordagem, um item é dito "âncora" em um nível se: (a) O número de alunos no nível que respondeu ao item é maior que 50; (b) O percentual de acerto do item nos níveis anteriores é menor que 65%; (c) O percentual de acerto do item no nível considerado e nos níveis acima é maior ou igual a 65%; (d) O ajuste da curva é bom, com parâmetro “a” elevado (Klein, 2003).
Nesse estudo os níveis âncoras foram escolhidos de 25 em 25 pontos na escala (250;50), iniciando a partir de 125 pontos, de acordo como foram definidos na escala SAEB. Os itens foram posicionados nos níveis, levando
em consideração a proficiência necessária para que o aluno tivesse uma probabilidade de 0,65 de acertar o item.
4 RESULTADOS
Esse capítulo apresenta os resultados encontrados na pesquisa, iniciando por Língua Portuguesa e na sequência Matemática. Os parâmetros dos itens e as proficiências foram estimados na escala SAEB (0;1), ou seja, com média 0 e desvio padrão 1 e posteriormente transformadas para a escala SAEB (250;50), através dos valores de transformação utilizados pelo INEP, informados na seção 3.3. Também são apresentados os resultados encontrados nas gerações dos dados das bases clones para equalização de Língua Portuguesa e de Matemática.
Os níveis definidos pelo SAEB para o 5º ano do ensino fundamental e as categorias de desempenhos propostos pelo Sistema Paraense de Avaliação Educação (SisPAE) - programa de avaliação permanente, aplicado anualmente nas escolas paraenses, para orientar o planejamento das ações das Secretarias de Educação foram utilizados neste trabalho. Em 2014, participaram do SisPAE estudantes dos 4º, 5º, 8º e 9º anos do Ensino Fundamental e das 1ª, 2ª e 3ª série do Ensino Médio, com os seus resultados equalizados na escala do SAEB em Língua Portuguesa e Matemática.
Para a equalização dos itens da prova Belém, os parâmetros dos itens e as proficiências foram estimados supondo-se que os alunos pertenciam a um dos seguintes grupos: Grupo1, alunos do 9º ano - Prova Brasil 1997, considerado como referência, usando um banco de respostas simuladas a 39 itens calibrados na escala SAEB; Grupo 2, alunos do Ciclo II 2º ano (5º ano EF); e Grupo 3, alunos do Ciclo II 1º ano (4º ano EF). Desta forma, as estimativas dos parâmetros dos itens e proficiências foram automaticamente obtidas na mesma escala estabelecida para o grupo de referência.
Para as estimativas dos parâmetros e das proficiências dos alunos utilizou-se o software Bilog-MG, para os 3 grupos, como definido acima, fixando os parâmetros conhecidos do Grupo 1 (referência). Na fase 1 do programa foram calculados, entre outros, os valores das correlações bisseriais, utilizados para detectar problema no funcionamento do item. Utilizou-se o critério proposto pelo INEP (Andrade, Laros & Gouveia, 2010), que estabelece que o item deva ser revisto quando o coeficiente bisserial: (a) do gabarito for menor 0,15; (b) de dois distratores forem maiores que 0,10; ou (c) de um distrator for maior que da alternativa correta.
Na segunda rodada, os valores dos parâmetros foram estimados na mesma escala do grupo de referência (escala SAEB), em seguida foram analisados os valores, bem como a curva característica do item
(CCI) e na última rodada as proficiências dos alunos foram geradas. Os resultados desses passos foram apresentados nesse capítulo utilizando-se de tabelas e gráficos.
Em relação aos dados, consideraram-se todas as respostas dos alunos presentes, mesmo daqueles que deixaram o cartão em branco ou fizeram várias marcações no mesmo item, como também dos alunos com necessidades especiais e de turmas multisseriadas da região das ilhas. Portanto, não foi aplicado nenhum filtro aos dados brutos coletados.
Por fim, tratou-se da interpretação da escala de desempenho, que significa escolher alguns níveis na escala e descrever os conhecimento e habilidades que os alunos demonstram possuir quando situados em torno desses níveis. Os níveis foram definidos variando de ½ desvio padrão, iniciando no 5º ano do Ensino Fundamental, com nível 0 para os alunos com proficiências menores que 125, tanto para Língua Portuguesa como para Matemática. Conclui-se exemplificando a interpretação pedagógica de alguns itens aplicados na avaliação e posicioná-los nos níveis âncoras da escala.