Os PCN, o SAEB, o CBC e o Conteúdo da Matemática Avaliada no PISA

voltada para a formação de cidadãos que possuíssem novas habilidades para ingressarem num mundo de trabalho competitivo e marcado por avanços científicos e tecnológicos. De maneira geral, essa demanda suscitou polêmicas em diferentes espaços e, de forma particular, o currículo de Matemática teve de ser repensado. É nesse cenário que os PCN de Matemática (Brasil, 1998) foram elaborados, procurando, de um lado, respeitar toda a diversidade existente em nosso país e, ao mesmo tempo, considerar a necessidade de construir referências nacionais comuns ao Ensino de Matemática, de modo a proporcionar o acesso ao conjunto de conhecimentos socialmente elaborados e reconhecidos como necessários aos alunos brasileiros no exercício da cidadania.

Serão fixados conteúdos mínimos para o ensino fundamental, de maneira a assegurar formação básica comum e respeito aos valores culturais e artísticos, nacionais e regionais. (BRASIL, 1988, art. 210)

Esses parâmetros se configuram como um referencial que orienta a prática escolar no Brasil. Em relação ao Ensino de Matemática, eles definem a resolução de problemas como o ponto de partida da atividade matemática e adotam como critérios para a seleção dos conteúdos a serem desenvolvidos em sala de aula a sua relevância social e a sua contribuição para o desenvolvimento intelectual do aluno. No que diz respeito ao conteúdo de Matemática, os PCN também utilizam uma organização bem semelhante à do PISA, embora apresente nomes ligeiramente diferentes: Espaço e Forma, Grandezas e Medidas, Números e Operações, Tratamento da Informação.

O Sistema de Avaliação da Educação Básica no Brasil é composto por dois exames complementares: o SAEB e a Prova Brasil. Diferentemente das provas tradicionais aplicadas nas salas de aula, a metodologia utilizada no SAEB e na Prova Brasil é adequada para avaliar redes ou sistemas de ensino, e não alunos individualmente. Essas avaliações nos permitem ter uma visão mais detalhada do desempenho escolar em relação a algumas habilidades específicas. O SAEB e a Prova Brasil utilizam, em sua metodologia, Matrizes de Referência com a descrição das competências e habilidades que os alunos devem dominar em cada série avaliada. A Matriz de Referência é o referencial curricular do que é proposto para ser avaliado em cada disciplina e série e foi elaborada com base nos PCN (BRASIL, 2009). Ela apresenta temas com descritores que indicam as habilidades avaliadas e são usados para guiar a produção dos itens a serem utilizados nos testes. Um descritor pode ser entendido como um comando para a redação de um item ou uma forma de descrever o item já redigido.

A estruturação da Matriz de Referência constitui uma etapa importante do processo de avaliação porque ela é o instrumento que determina o que será medido através dos itens. Assim, a competência matemática avaliada pelo SAEB e pela Prova Brasil é caracterizada pela capacidade de o aluno resolver itens delimitados pelas especificações da Matriz de Referência. Como principal fonte de referência, essa

matriz utiliza os PCN, dada a sua aceitação no meio escolar e a influência do mesmo nos currículos e nas práticas educativas.

Para a 8ª série/9a _{ano do Ensino Fundamental, cuja faixa etária faz correspondência} com a do PISA, a Matriz de Referência do SAEB possui os seguintes temas: Espaço e Forma, Grandezas e Medidas, Números e Operações/Álgebra e Funções, Tratamento da Informação. Apresentamos, no Anexo VI, a matriz de referência do SAEB 2001 para a 8ª série do Ensino Fundamental, que será utilizada na análise dos itens de Incerteza.

A Secretaria de Estado da Educação de Minas Gerais, nos anos de 1997 e 1998, deu início à realização de um projeto com o objetivo de reformular os currículos do Ensino Fundamental e do Ensino Médio da rede estadual. Implantado em 2005, o CBC, assim como os PCN, procura oferecer às escolas estaduais do estado de Minas Gerais uma base curricular comum permitindo aos alunos o acesso ao conjunto de conhecimentos socialmente elaborados e reconhecidos como indispensáveis ao exercício da cidadania. O CBC serve de base para que sejam estabelecidos os parâmetros para a elaboração das avaliações em larga escala dos alunos do estado de Minas Gerais da rede pública estadual e para o planejamento de políticas educacionais. Apresentamos, no Anexo VII, o CBC para o Ensino Fundamental – 6º ao 9º anos (SEEMG, [s.d]).

O PISA dispõe de uma escala de proficiência em Matemática – que apresenta tal área do conhecimento de uma maneira global – e de outras subescalas, uma para cada subárea da Matemática, que relaciona as habilidades específicas que os estudantes devem possuir e as competências gerais que eles devem apresentar em cada nível de proficiência. Essas escalas de proficiência também serão utilizadas nas análises que serão apresentadas posteriormente e, portanto são apresentadas no Anexo V.

A correspondência entre as subáreas da Matemática avaliadas no PISA com os temas da Matemática dos PCN pode ser estabelecida de forma análoga à realizada para a Matriz de Referência do SAEB e para o CBC de Minas Gerais, apresentada no Capítulo 1.

Buscando estimar a proficiência ou habilidade de jovens estudantes, avaliando-os quanto à capacidade de participação ativa na sociedade, o PISA tem utilizado de um modelo estatístico para a estimação de proficiência desses estudantes, intitulado Teoria de Resposta ao Item, que será apresentado no próximo capítulo.

3 A MEDIDA DA COMPETÊNCIA MATEMÁTICA

3.1 INTRODUÇÃO

Não resta dúvida de que cabe aos estatísticos o ajuste dos modelos utilizados para o cálculo da proficiência dos alunos bem como a elaboração das escalas de dados cognitivos no que se refere à parte matemática do processo. Entretanto, com o aumento do interesse dos educadores em compreender os modelos que ultimamente estão sendo utilizados nas avaliações em larga escala e os resultados que vêm sendo divulgados, a fim de aproveitarem as informações obtidas em tais avaliações e poderem de fato compreendê-las e utilizá-las em prol da melhoria da qualidade do ensino ofertado nas escolas brasileiras, consideramos pertinente apresentar uma visão geral, embora simplificada, da TRI, especialmente dos modelos estatísticos utilizados no PISA e no SAEB para o cálculo da proficiência dos alunos.

Apesar de a TRI ser muito utilizada na área educacional, o uso desses modelos também pode ser estendido às ciências sociais, humanas e médicas. Nessas áreas, é frequente a necessidade de medir construtos que não são observáveis de forma direta. Para exemplificar, podemos considerar um estudo em que se tem interesse em registrar o peso ou a altura de um indivíduo. Essas variáveis, peso e altura, podem ser medidas diretamente. Porém, se o interesse for avaliar o capital cultural da família, o nível socioeconômico de um indivíduo ou a competência de um aluno em Matemática, deve-se proceder de forma indireta para obter uma estimativa para esses construtos, devido à impossibilidade de observá-los diretamente. Isso é feito a partir da observação de variáveis indicadoras sobre uma determinada característica não observável (construto latente), suposta contínua, do indivíduo e, então, através do modelo da TRI, consegue-se obter uma estimativa dessa característica para cada elemento da amostra. Às variáveis não observáveis, supostas contínuas, dá-se o nome de variáveis latentes e são denotadas por . A escala para avaliação de tais construtos é produzida baseando-se em instrumentos de coletas de dados (questionários, testes, entre outros), que são compostos por itens que operacionalizam o construto de interesse.

Na área educacional, esse modelo é especialmente útil na estimação da proficiência de um aluno, que pode ser entendida como a medida da sua competência, que depende essencialmente de quantos e quais itens ele acertou e não apenas do total de acertos em um teste, como na TCT. Para tal, esse modelo possibilita representar a relação entre a probabilidade de um aluno responder corretamente a um item e sua habilidade na área de conhecimento avaliada.

Não há dúvidas, do ponto de vista pedagógico, de que em um teste existem itens mais difíceis do que outros, assim como há itens que separam melhor os indivíduos que possuem habilidades diferentes, e que, além disso, um aluno pode responder acertadamente um item sem ter conhecimento do assunto. No contexto da TRI, essas características são denominadas parâmetros dos itens, e essa teoria agrega tais informações de modo que a probabilidade de acerto no item dependa não apenas da proficiência do aluno, mas também de algum e/ou alguns desses parâmetros. Assim, a TRI é um conjunto de modelos matemáticos que relacionam a proficiência do aluno com os parâmetros dos itens de modo que quanto maior a proficiência, maior a probabilidade de acerto no item.

Contudo, os dados das avaliações educacionais disponíveis informam apenas as respostas dos alunos e, a partir dessas informações, devemos estimar tanto a proficiência dos alunos como os parâmetros do modelo. Como fazer isto? Em avaliações educacionais, como o PISA, o SAEB e o ENEM, estimam-se os parâmetros dos itens a partir de aplicações preliminares, denominadas pré-testes. A realização do pré-teste é fundamental para estimar o(s) parâmetros(s) do modelo da TRI. Para tal, vários itens são aplicados a uma amostra de alunos comparáveis aos que serão submetidos à avaliação em questão. Uma vez aplicado o pré-teste, começa a fase da análise estatística. Inicialmente, uma determinada distribuição para proficiência dos indivíduos pode ser considerada.

Os programas computacionais assumem que os respondentes constituem uma amostra aleatória de uma população de proficiências, que pode ter uma distribuição normal padrão, uma distribuição discreta especificada pelo usuário ou uma distribuição empírica (ANDRADE e TAVARES, 2000). Partindo dessa distribuição,

estimam-se os parâmetros da TRI, fase que é denominada de calibração dos itens24_. Uma vez calibrados os itens, os testes podem ser posteriormente montados levando em consideração as estimativas dos parâmetros dos itens. Depois de aplicar os testes na amostra do estudo principal, a proficiência de cada aluno pode ser estimada considerando-se as respostas dadas por cada aluno a um item e os parâmetros anteriormente calibrados. Assim, o procedimento mais usual é determinar as estimativas que tornam mais prováveis as respostas observadas. Com base no Método da Máxima Verossimilhança, o valor que dá a maior probabilidade de se observar o perfil de respostas produzido por cada aluno é a proficiência estimada do aluno.

Evidentemente, devido à grande quantidade parâmetros que exigem compilação e à complexidade das operações a serem realizadas, isso deve ser feito por um programa computacional. Os modelos da TRI podem ser ajustados por vários programas computacionais, entre eles o BILOG, que é o software mais utilizado em avaliações educacionais no Brasil.

A literatura dispõe de vários modelos de TRI, e a escolha do modelo adotado em uma análise depende essencialmente de três fatores: (i) da natureza do item (dicotômico ou não), (ii) da quantidade de populações envolvidas, (iii) do número de traços latentes (habilidade) que está sendo medido (ANDRADE et al., 2000).

O modelo logístico de 1 parâmetro, denominado modelo Rasch, é o modelo usado no PISA para estimar a proficiência dos alunos, razão pela qual se justifica a próxima seção. O modelo logístico de 3 parâmetros é o modelo mais utilizado para estimar a proficiência de alunos nas avaliações em larga escala brasileiras. Assim, esse modelo também será apresentado neste capítulo.