1.1 A avaliação externa no Brasil: O SAEB
1.1.1 A avaliação em larga escala e seus contextos de realização: mecanismos de
1.1.1.1 Matrizes de Referência
O processo avaliativo realizado pelo SAEB e pelos Sistemas de Avaliação da Educação de alguns estados, como o de Goiás (SAEGO), objeto de análise desta dissertação, procura conhecer as habilidades matemáticas, no caso específico de interesse desta pesquisa, que são requeridas para a construção de determinadas
competências. Essas habilidades, por sua vez, são consideradas por especialistas da área e educadores, como importantes para a formação intelectual, artística, política e crítica dos jovens durante o período escolar avaliado. No caso de matemática, procura-se observar, por meio dessas habilidades, a capacidade dos alunos em resolver problemas.
A matriz de referência para a avaliação é elaborada por meio de um “consenso” alcançado pela maioria desses representantes da sociedade, e também deve levar em consideração os aspectos supracitados em sua estrutura. Tal afirmativa surge com base em nossa experiência enquanto responsável por ajudar no processo de elaboração e revisão de matrizes de referência de alguns estados avaliados pelo Centro de Políticas Públicas e Avaliação da Educação (CAEd/UFJF). Entre estes, citamos os estados do Amazonas, Rio de Janeiro, Espirito Santo, Paraíba, Piauí, Pernambuco, Ceará, Mato Grosso do Sul, Acre e os municípios de Belo Horizonte (MG), Rio de Janeiro (RJ) e Teresina (PI).
Em todos esses lugares, o ponto de partida para a elaboração das matrizes se deu a partir do Currículo do referido estado ou município e também com base nos Parâmetros Curriculares Nacionais (PCN) e Diretrizes Curriculares Nacionais (DCN). Após um estudo prévio desses documentos oficiais, os profissionais envolvidos no processo de elaboração das Matrizes de Referência em Avaliação traziam suas concepções de ensino/aprendizagem e estabeleciam uma relação com o que consideravam básico e fundamental que o aluno devesse dominar do conteúdo de matemática, de acordo com a etapa escolar em que tivesse inserido. Muitos conteúdos foram sugeridos, mas não puderam fazer parte do documento devido à limitação estrutural que a matriz apresenta em função do tipo dos itens que são elaborados a partir dela, algo que será esclarecido mais adiante. Após várias reuniões, discussões e reflexões sobre o ensino/aprendizagem de Matemática e também sobre alguns dos aspectos estruturantes da construção do pensamento matemático, esses profissionais decidiam, em um consenso definido pela maioria, sobre quais habilidades passariam a fazer parte da Matriz de Referência em Avaliação.
Em resumo, pode-se dizer que uma matriz de referência é formada por um conjunto de descritores, que é uma associação entre conteúdos curriculares e
operações mentais desenvolvidas pelos alunos, traduzindo determinadas habilidades e competências (OLIVEIRA, 2008). Cada conjunto de descritores, por sua vez, concorre para atender a uma determinada competência cognitiva. Essas competências atendem a grandes marcos de uma área do conhecimento, que é a base do currículo. Segundo Pestana et al. (1997):
Competências cognitivas são modalidades estruturais da inteligência, isto é, operações que o sujeito realiza para estabelecer relações com e entre os objetos, situações, fenômenos e pessoas (observar, representar, imaginar, reconstruir, comparar, classificar, ordenar, memorizar, interpretar, inferir, criticar, supor, levantar hipóteses, escolher, decidir etc.). Já as habilidades instrumentais referem-se especificamente ao plano do „saber fazer‟ e decorrem diretamente do nível estrutural das competências adquiridas que se transformaram em habilidades (PESTANA et al., 1997, p. 7).
A Matriz de Referência tem se constituído em um apoio para gestores definirem o que avaliar e muitas vezes o que ensinar. Isso não se descola do currículo. Todavia é necessário possibilitar acessos a conhecimentos para muito além daquilo que se pretende aferir em avaliações em larga escala. Ter clareza de quais competências e habilidades são prioritárias a cada etapa de escolarização permite a gestores e professores atuarem no que é base e no que caracteriza progressão ao longo da Educação Básica. O foco desta dissertação é a ponta final desse processo. Defendemos que é preciso saber o que ensinar sobre um determinado assunto em cada ano especificamente, sem perder de vista a ideia de que o pensamento matemático não se constrói de forma linear.
É interessante notar que, apesar de uma Matriz de Referência16, como por exemplo, a do SAEGO, apresentar as habilidades organizadas em uma tabela, isso não implica na forma como os conteúdos devem ser trabalhados, e sim um modo de organização das informações por ela transmitidas. De acordo com INEP (2009):
a Matriz de Referência de Avaliação não pode ser confundida com orientações metodológicas para o professor e nem com uma lista de conteúdos para o desenvolvimento das ações do professor em sala de aula, pois, estes elementos devem estar presentes de forma abrangente na Matriz Curricular, não em uma Matriz de Referência de Avaliação. Além disso, a Matriz de Referência de Avaliação não tem por finalidade abranger todo o currículo previsto para um ciclo educacional, mas apenas verificar aspectos básicos do universo trabalhado em sala de aula, que podem ser
mensuráveis, nesse caso, em um teste de múltipla escolha. Essa é a primeira limitação da Matriz de Referência de Avaliação a qual nos referimos. Ela deve dar origem a itens em forma de teste de múltipla escolha, mas nem sempre todos os conteúdos conceituais, procedimentais e atitudinais importantes de serem desenvolvidos pelos professores em sala de aula e apontados em Matrizes Curriculares podem ser abordados nesse formato de teste (INEP, 2009, p. 17).
As habilidades matemáticas avaliadas, nos testes de larga escala aplicados hoje à maioria dos estados brasileiros, e também pelo SAEGO, fazem parte da Matriz de Referência adotada pelo SAEB, que foi elaborada a partir dos currículos escolares e com base nos Parâmetros Curriculares Nacionais. Entretanto, conforme já se esclareceu, não se espera que as matrizes sejam confundidas com os parâmetros curriculares ou com o currículo, uma vez que as primeiras descrevem habilidades mínimas que são passíveis de serem aferidas pelo tipo de instrumento de medida17 utilizado nas avaliações. Dessa forma, portanto, muitos conteúdos que poderiam ser avaliados, não o são, conforme se observa numa nota do próprio INEP. Isso porque o teste é formado por um conjunto de questões de múltipla escolha, as quais, no caso do ensino médio, são elaboradas por meio de cinco alternativas de respostas, correspondentes ao gabarito e a quatro distratores18(CAEd, 2014). Esse modelo de questão acaba limitando a avaliação de determinados conteúdos. E, devido a essa limitação, ou seja, ao fato de o item ser de múltipla escolha, muitos dos conteúdos que poderiam ser avaliados, não o são, e acabam ficando fora do processo avaliativo.
Isto posto, percebe-se, por exemplo, que, no campo geométrico, não se avaliam construções geométricas, ou seja, se o aluno sabe ou não traçar as cevianas de um triângulo utilizando compasso e régua, ou por meio de uma dobradura de papel. Mas isso não significa que o professor não deva desenvolver essa habilidade em seus alunos, pelo simples fato de os testes padronizados não a avaliarem, e que a matriz não está alinhada ao currículo. Pelo contrário, é preciso que os profissionais da educação reflitam acerca do quanto essa habilidade pode contribuir para o processo de desenvolvimento do pensamento geométrico do aluno ou não. Da mesma forma, devem levantar questionamentos sobre a identidade
17 O instrumento utilizado neste caso são os itens de múltipla escolha.
18 Distratores têm a função de apontar lacunas no processo de ensino/aprendizagem. Essas lacunas são mostradas por meio de possíveis erros que os alunos podem cometer ao resolver uma questão. Dessa forma, portanto, os distratores estão atrelados às alternativas erradas, mas plausíveis.
escolar no tocante à formação social do aluno, ou seja, em que medida essa habilidade contribui para aquilo que o aluno pode se tornar em relação aos próprios interesses e aos interesses sociais, culturais e trabalhistas. Bem como observar quais habilidades podem contribuir para que o estudante seja capaz de se apropriar de forma significativa da linguagem simbólica tão própria da matemática; ser capaz de validar argumentos; descrever modelos e utilizar a Matemática na interpretação e intervenção de fenômenos reais.
Por outro lado, o elaborador19 de itens para a avaliação externa, também precisa conhecer tais aspectos relacionados à aprendizagem escolar, às propostas e objetivos de aprendizagem para a etapa para o qual está elaborando as questões, com o propósito de garantir resultados que se coadunem com a realidade avaliada. Essa exigência é necessária tendo em vista que os itens que comporão o teste têm como referência a Matriz de Avaliação, cuja função é mostrar o que será medido e como isso será realizado (HORTA NETO, 2013).
Nessa perspectiva, um problema que merece destaque é a não- compreensão, por parte dos atores educacionais, da relação conceitual que envolve a tríade currículo – avaliação em larga escala – ensino de Matemática. Neste ponto, chamamos a atenção para a inversão que vem ocorrendo na relação currículo escolar e na matriz de referência para a avaliação. Os conteúdos cognitivos que fazem parte da matriz de referência não possuem uma abrangência curricular. Contudo, acreditamos que tem havido um uso reducionista do currículo por conta da implantação da política da accountability20 gerada pelos resultados do Índice de
Desenvolvimento da Educação Básica (Ideb) e outros, ou pela falta de conhecimento do currículo adotado pela rede de ensino, ou, ainda, pela falta do próprio documento. Horta Neto (2013, p. 158) chama a atenção para o fato de que, por conta da pressão por melhorias dos indicadores escolares, esteja havendo uma redução do currículo, que estaria, segundo ele, se moldando às Matrizes de Referência.
A matriz de referência em Matemática do ensino médio do SAEB se relaciona diretamente com os temas estruturadores do ensino de Matemática sugeridos pelo
19 O elaborador de itens precisa ser especialista na área para qual irá elaborar as questões e ser conhecedor das técnicas de elaboração.
20 Entendemos como responsabilidade com ética e que remete à obrigação de membros de um órgão administrativo ou representativo de prestar contas a instâncias controladoras ou a seus representados.
documento de Orientações Complementares aos Parâmetros Curriculares Nacionais (PCN +) para o Ensino Médio (BRASIL, 2002), a saber: Álgebra: Números e Funções; Geometria e Medidas, e Análise de Dados. Essa Matriz de Referência, também se encontra alinhada com os cincos eixos de matemática que orientam a formulação dos objetivos de aprendizagem e desenvolvimento propostos pelo documento preliminar da Base21 Nacional Comum Curricular (BNCC) para essa etapa de escolaridade, sendo eles: Números e Operações, Geometria, Grandezas e Medidas, Álgebra e Funções, Estatística e Probabilidades (BRASIL, 2016, p.134).
Observa-se que as Matrizes de Competências são e devem ser construídas para refletir não só as recomendações contidas nos Parâmetros Curriculares Nacionais, como também as diferentes concepções de aprendizagem que se manifestam nas matrizes curriculares utilizadas pelos diferentes sistemas estaduais. Portanto, elas devem traduzir a associação entre os conteúdos praticados nas escolas e as competências cognitivas e as habilidades utilizadas pelos estudantes no processo de construção do conhecimento (SOARES, 2004, p.91)
Estruturalmente, a Matriz do 3º ano do ensino médio de matemática do SAEB, que é a mesma utilizada pelo SAEGO, apresenta uma lista de 35 habilidades que são distribuídas de acordo com as competências às quais pertencem. Neste caso, utilizam-se 10 habilidades para avaliar o Tema I (Espaço e Forma), 3 habilidades para avaliar o Tema II (Grandezas e Medidas), 20 habilidades para avaliar o Tema III (Números e Operações/Álgebra e Funções) e 2 habilidades para avaliar o Tema IV (Tratamento da informação). A partir da interpretação dessas habilidades é que o teste será montado seguindo critérios estatísticos e pedagógicos.
Cabe observar, portanto, que, para se construir um teste padronizado, é preciso que exista o instrumento a priori (matriz). Os descritores que a constituem são os responsáveis por orientar todo o processo de elaboração de itens que irão compor o teste.
21 De acordo com o MEC (2016), a Base Nacional Comum Curricular é uma das estratégias estabelecidas pelo Plano Nacional de Educação (PNE) para melhorar a educação básica, que abrange a educação infantil, o ensino fundamental e o médio. Tem como objetivo estabelecer os conhecimentos e habilidades essenciais que todos os estudantes brasileiros devem aprender em sua trajetória na educação básica, desde a educação infantil até o ensino médio. A Base será mais uma ferramenta que, segundo seus defensores, ajudará a orientar a construção do currículo das mais de 190 mil escolas de Educação Básica do país, espalhadas de Norte a Sul, públicas ou particulares. No momento ela encontra-se em sua segunda versão preliminar.