Organização e análise dos testes de proficiência

Os testes de proficiência do SPAECE são organizados seguindo o modelo Blocos Incompletos Balanceados (BIB), o que propicia a avaliação de habilidades mensuráveis previstas nas disciplinas de Língua Portuguesa e Matemática para o EF e EM a serem desenvolvidas durante a escolarização do estudante, bem como a comparabilidade dos resultados ao longo dos anos.

Os testes de Língua Portuguesa e Matemática são organizados em blocos que farão parte de cadernos de provas diferentes, dispostos da seguinte forma:

• SPAECE-ALFA (2º ano) – os alunos são avaliados através de um teste de proficiência único, organizado em 24 itens de múltipla escolha, alguns dos quais recebem comando para o aplicador realizar a leitura;

• 5º ano do EF – são utilizados 77 itens para cada disciplina avaliada; estes itens são distribuídos em blocos, onde cada prova é organizada em 7 blocos contendo 11 itens, gerando 21 modelos de cadernos de provas. Nestes cadernos, estão contidos dois blocos de itens para cada disciplina, ou seja, 22 itens de Língua Portuguesa e 22 itens de Matemática, o que totaliza 44 itens a serem respondidos pelo aluno desta série, Ceará (2008g);

• 9º ano do EF e 1ª 2ª e 3ª séries do EM – há utilização de 91 itens para Língua Portuguesa e 91 para Matemática; estes itens são distribuídos em 7 blocos de 13 itens cada um, resultando na organização de 21 modelos de cadernos de provas. Cada caderno possui dois blocos por disciplina, assim os alunos responderão a 52 itens no SPAECE, equivalendo a 26 itens para Língua Portuguesa e 26 itens para Matemática (CEARÁ, 2008g).

Após a aplicação dos testes nas escolas públicas, os supervisores dos polos encaminham os testes para suas respectivas CREDEs, onde está concentrada a Coordenação Regional. Geralmente, quem integra essas equipes de coordenação são técnicos disponibilizados pela SEDUC e/ou CREDE com considerável experiência no processo de aplicação do SPAECE.

Depois de conferido o material recebido pelos supervisores dos polos, com seus respectivos relatórios, as provas são encaminhadas à SEDUC e, em seguida, entregues ao Centro de Políticas Públicas e Avaliação da Educação (CAEd), que desde o ano de 2008 é responsável pelo processo de correção dos cadernos de prova do EF e EM.

O resultado da correção destas provas gera um banco de dados com uma gama considerável de informações relacionadas à proficiência dos estudantes, as quais serão selecionadas e analisadas considerando a necessidade do uso destes resultados para cada interessado envolvido na avaliação. No processo de análise, é utilizada a TRI, que segundo KLEIN (2005, p. 121) se define como:

[...] um conjunto de modelos matemáticos onde a probabilidade de resposta a um item é modelada como função da proficiência (habilidade) do aluno (variável latente, não observável) e de parâmetros que expressam certas propriedades dos itens. Quanto maior a proficiência do aluno, maior a probabilidade de ele acertar o item.

O uso desta teoria possibilita a utilização da comparabilidade entre anos de edições do SPAECE, analisando os valores agregados nas séries avaliadas. O desempenho dos alunos é avaliado tendo como parâmetro a utilização de uma escala de proficiência de 0 a 500 pontos, que faz o diagnóstico do que o aluno sabe no momento em que foi avaliado, bem como o que deveria saber para a série cursada. Vale ressaltar que a análise utiliza os dados quantitativos para estabelecer um estudo qualitativo sobre a qualidade da educação cearense.

Gráfico 10 – Níveis de proficiência em Língua Portuguesa no SPAECE 2008.

Fonte: CEADE/SEDUC.

Esses resultados representam a média proficiente em Língua Portuguesa dos estudantes avaliados pelo SPAECE no ano de 2008 de todas as séries avaliadas, de acordo com os resultados divulgados na apresentação da equipe da Célula de Avaliação do Desempenho Acadêmico (CEADE) da SEDUC, com algumas adequações para melhor compreender o nível dos nossos alunos.

As cores da reta representam intervalos na escala, a saber: laranja, quando a proficiência é menor que 225 (< 225), o que significa que os alunos estão em um nível muito crítico; amarelo, que compreende o intervalo crítico (225 |-- 275); verde claro, que representa o intervalo intermediário (275 |-- 325); e verde escuro, quando os alunos estão no nível adequado (> 325), ou seja, com as competências e habilidades previstas para a série em curso.

Na análise do Gráfico 10, evidencia-se uma agregação considerável de conhecimentos no EF, ao contrário do crescimento entre as séries do EM. Os alunos da 3ª série do EM, que possivelmente concluíram no ano de 2008, estavam com a média no intervalo crítico, com uma distância considerável para o intervalo adequado (> 325). Considerando a escala de proficiência do SPAECE, segue o Quadro 9, com o retrato do que os alunos dominam em Língua Portuguesa (CEARÁ (2008e).

Quadro 9 – Competências e habilidades que os alunos dominam em Língua Portuguesa.

Fonte: Ceará (2008e), Boletim Pedagógico de Avaliação: Português, Ensino Médio.

A descrição das competências e habilidades que os alunos das escolas públicas cearenses dominam é elementar, demonstrando dificuldades em leitura e interpretação textual. A seguir, o que os alunos deveriam saber ao término da 3ª série do EM, conforme mostra o Quadro 10.

OS ALUNOS DEVERIAM DOMINAR EM LÍNGUA PORTUGUESA

INTERVALO PERFIL DESCRIÇÃO SINTÉTICA

ACIMA DE 325

LEITOR PROFICIENTE

Mobiliza, na leitura de textos de gêneros variados, um amplo repertório de conhecimentos linguísticos aliados à sua experiência de mundo. É capaz de interagir adequadamente com textos ligados a diferentes áreas dos conhecimentos.

Quadro 10 – Competências e habilidades que os alunos deveriam dominar em Língua Portuguesa.

Fonte: Ceará (2008e), Boletim Pedagógico de Avaliação: Português, Ensino Médio.

O aluno que tem o domínio da leitura, escrita e interpretação textual terá facilidade na aprendizagem dos conteúdos das demais disciplinas lecionadas no EM. Como experiência na docência de Matemática, muitas foram as situações em que os alunos pediam para que fossem lidas as questões das atividades propostas, pois não conseguiam compreender o que liam, impossibilitando a resolução. Importante constatar que em muitas ocasiões, após ter sido feita a leitura do enunciado da questão, alguns estudantes conseguiram resolver. Daí se evidencia

OS ALUNOS DOMINAM EM LÍNGUA PORTUGUESA

INTERVALO PERFIL DESCRIÇÃO SINTÉTICA

175 A 225 LEITOR

ATIVO

Realiza inferências mais sofisticadas, que permitem uma percepção mais clara do texto como um todo e de informações que podem ser identificadas nas entrelinhas do texto. Essa capacidade é um traço distintivo entre leitores que apresentam o perfil do leitor ativo e aqueles com perfil do leitor iniciante. Este é o perfil desejável a alunos ao término do 5º ano de escolarização.

225 A 275 LEITOR

INTERATIVO

Diferencia-se do leitor ativo por possuir maior experiência de leitura, o que permite que mobilize estratégias mais sofisticadas para estabelecer relações entre partes de um texto no processo de produção de sentidos para o que lê. Por esta razão, adota uma postura interativa frente ao conteúdo de textos de diferentes gêneros que circulam nas várias esferas sociais.

que as dificuldades em leitura e interpretação prejudicam o desempenho acadêmico dos estudantes não só em Língua Portuguesa, mas também nas demais disciplinas/áreas.

Além da falta de compreensão do que se lê, outra dificuldade constatada não só pelos professores de Matemática, mas também pelas avaliações em larga escala (SAEB; SPAECE) é o domínio das quatro operações. O Gráfico 11 a seguir apresenta a média da proficiência dos alunos do estado do Ceará na disciplina de Matemática nas séries avaliadas.

Gráfico 11 – Proficiências diagnosticadas em Matemática no SPAECE 2008.

Fonte: CEADE/SEDUC.

O Gráfico 11 tem a média proficiente de todas as séries avaliadas em 2008, e as cores da reta representam intervalos na escala de proficiência em Matemática, a saber: laranja, quando os alunos estão em um nível muito crítico (< 250); amarelo, que compreende o intervalo crítico (250 |-- 300); verde claro, que representa o intervalo intermediário (300 |-- 350); e verde escuro, quando os alunos estão no nível adequado (> 350), ou seja, com as competências e habilidades previstas para a série em curso.

À primeira vista, seria possível concluir que o desempenho acadêmico em Matemática está melhor do que o desempenho em Língua Portuguesa. Entretanto, a escala de Matemática tem uma diferença de 25 pontos a mais em relação à escala de Língua Portuguesa. Daí a realidade de que os alunos têm mais dificuldades em Matemática, sendo compreensível levando em consideração as dificuldades diagnosticadas pelo SPAECE em Língua Portuguesa.

O crescimento no desempenho acadêmico é maior entre as séries do EF, tendo uma agregação menor de competências e habilidades no período da escolaridade do EM. A média de proficiência do 5º e 9º anos do EF se encontra no intervalo muito crítico, enquanto as séries do EM estão no nível crítico. Diante deste gráfico, surge o questionamento: o que será que nossos alunos dominam em Matemática? É o que mostra o Quadro 11 seguinte.

OS ALUNOS DOMINAM EM MATEMÁTICA

INTERVALO PERFIL DESCRIÇÃO SINTÉTICA

175 ATÉ 225 GRAU II

Os alunos localizam objetos numa representação gráfica ou em um referencial quadriculado; identificam figuras geométricas planas a partir de alguns atributos; leem horas e minutos em relógio digital; resolvem problemas relacionando diferentes unidades de uma mesma medida; utilizam algoritmos para efetuar adições com reserva, subtrações com até quatro algarismos, multiplicações com números de dois algarismos e divisões exatas por número de um algarismo; leem e interpretam informações em tabelas de dupla entrada e em gráficos de colunas.

225 ATÉ 275 GRAU III

Os alunos identificam características relacionadas aos sólidos geométricos e suas planificações; diferenciam poliedros de corpos redondos; resolvem problemas envolvendo as quatro operações; representam números racionais na forma fracionária com apoio de representação gráfica; calculam porcentagens simples; representam números inteiros e decimais na reta numérica; relacionam gráficos entre si e com dados apresentados na forma textual e/ou tabelas; identificam gráficos de colunas correspondentes a um gráfico de setores; localizam dados em tabelas de múltiplas entradas.

Quadro 11 – Competências e habilidades que os alunos dominam em Matemática.

Fonte: Ceará (2008f), Boletim Pedagógico de Avaliação: Matemática, Ensino Médio.

Após evidenciar os conhecimentos básicos que os alunos dominam, comparemos com o que eles deveriam dominar ao término da 3ª série do EM com o estudo da Matemática, através do Quadro 12.

OS ALUNOS DEVERIAM DOMINAR EM MATEMÁTICA

INTERVALO PERFIL DESCRIÇÃO SINTÉTICA

ACIMA DE

350 GRAU V

Resolvem problemas envolvendo o Teorema de Pitágoras, a Lei Angular de Tales e aqueles que utilizam a razão de semelhança entre polígonos; estabelecem relações utilizando elementos geométricos, como raio, diâmetro e cordas; diferenciam figuras.

Quadro 12 – Competências e habilidades que os alunos deveriam dominar em Matemática.

Quadro 12 – Continuação

OS ALUNOS DEVERIAM DOMINAR EM MATEMÁTICA

INTERVALO PERFIL DESCRIÇÃO SINTÉTICA

ACIMA DE

350 GRAU V

Representam e localizam pontos, retas e circunferências no plano cartesiano; resolvem problemas envolvendo relações métricas em um triângulo retângulo; resolvem problemas envolvendo as grandezas de volume e capacidade, estabelecendo a relação entre suas medidas; calculam o perímetro de polígonos sem o apoio de malhas quadriculadas; áreas de semicírculo e trapézio retângulo e volume.

Quadro 12 – Competências e habilidades que os alunos deveriam dominar em Matemática.

Fonte: Ceará (2008f), Boletim Pedagógico de Avaliação: Matemática, Ensino Médio.

O grande desafio aos docentes da disciplina de Matemática é como contextualizar os conteúdos organizados na Matriz Curricular, pois a forma como isso vem sendo trabalhado distancia cada vez mais os alunos de uma aprendizagem significativa. Os discentes não conseguem identificar a utilidade dos assuntos estudados em virtude, sobretudo, da metodologia pedagógica arcaica e/ou do livro didático adotado.

A grande concentração de aulas expositivas na disciplina de Matemática, dando ênfase ao exercício constante do cálculo matemático, com propostas de atividades descontextualizadas, dificulta cada vez mais a aproximação e a apreciação da disciplina pelo aluno. Com tudo isso, o ensino da Matemática precisa passar por uma reestruturação que só será possível se os docentes abrirem mão de reproduzir o ensino do qual foram vítimas no período de sua escolarização e/ou formação/habilitação.

Com todas as problemáticas evidenciadas ao longo dos resultados do SPAECE, possibilitando ao docente o acesso a uma ferramenta pedagógica que lhe fornece subsídios para decidir qual direção seguir junto a seus alunos, questiona-se sobre quais mudanças ocorreram e/ou estão ocorrendo no âmbito da escola. Enquanto os resultados do SPAECE não forem incorporados ao cotidiano escolar como indicador da gestão escolar e da qualidade do ensino oferecido pela escola, pouco avanço haverá para propiciar a melhoria da aprendizagem dos alunos.

3 PERSPECTIVA DO ACOMPANHAMENTO LONGITUDINAL ATRAVÉS DO SPAECE

A avaliação censitária do EM possibilitou o acompanhamento do desempenho escolar do mesmo grupo de alunos no decorrer das três séries do EM. Foi possível identificar quais competências e habilidades foram agregadas ano a ano, além de analisar o crescimento evolutivo nas disciplinas de Língua Portuguesa e Matemática no SPAECE.

Os professores podem utilizar o SPAECE como ferramenta diagnóstica para melhoria do planejamento e prática pedagógica, através da compreensão do significado e utilização da média de proficiência da escola por série avaliada. Assim, saberá o estágio em que o aluno se encontra e a qual ele precisa chegar para conclusão do Ensino Médio com as competências e habilidades previstas.

A compreensão e a utilização dos resultados do SPAECE longitudinalmente pelos educadores poderão desenvolver no meio escolar uma cultura de avaliação formativa em que todo o processo de desempenho escolar do aluno é monitorado e acompanhado durante três anos, cuja perspectiva é fortalecer o planejamento escolar com estratégias metodológicas que propiciem ensino diferenciado para os alunos e leve-os a alcançar aprendizagens significativas neste percurso.

A seguir, será realizada uma análise longitudinal dos alunos da 1ª série do EM (ano de 2008) e 2ª série do EM (ano de 2009). Estes dados serão apresentados em gráficos com as médias do Ceará, da região da amostra 10ª CREDE, e das escolas que serão pesquisadas in loco, estas últimas representadas pelas letras do alfabeto para garantir o anonimato. Vale ressaltar que poucas avaliações proporcionam a possibilidade de ter o mesmo grupo de alunos sendo avaliados censitariamente; o desafio será fazer uso destes dados a favor da melhoria da aprendizagem no EM.