Trabalhos encontrados
4.1 Os fios que alinhavam a leitura: a proposta de construção de itens
Até aqui, procurei puxar os fios que tecem o bordado do ENEM como uma política de avaliação com características próprias com as quais venho dialogando, mantendo o foco nos sentidos disputados de conhecimento escolar. Puxo ainda mais um fio para dar outro ponto neste bordado: as questões/itens que compõem esta avaliação.
Tomá-las como objeto de análise implica encontrar um caminho metodológico que permita "ler" os itens sem ter roteiros previamente definidos com perguntas a serem respondidas. Optei por buscar no entendimento da composição do item alguns pontos de apoio que me permitissem mergulhar na gramática dessas questões e, por meio dela, perceber
os movimentos de definição da fronteira entre o que é e o que não é conhecimento escolar.
Como já mencionado, privilegio o entendimento do item como elemento simbólico do momento de decisão na indecibilidade, isto é, da seleção das unidades diferenciais – em meio a tantas disponíveis mobilizadas pelas demandas endereçadas à escola – que configuram o conhecimento escolar, cujo aprendizado será avaliado. Compreender a lógica da composição deste texto/item é pensar "em termos de regras que combinam diferentes elementos entre si, de tal maneira que essa relação produz sentido" (BURITY, 2008:39) nomeando o que será
privilegiado como conhecimento escolar de qualidade. Por isso mesmo, interessa-me
perceber no jogo de elaboração do item que cortes antagônicos marcam as fronteiras do "escolar".
Proponho, por meio da análise das questões, construir a compreensão do item como um mecanismo retórico que, por meio de operações metonímicas e metafóricas, procura garantir a objetividade e a qualidade do conhecimento na pauta do ensino/aprendizagem na Educação Básica.
179
Para tal, explorei o documento "Guia de Elaboração e Revisão de Itens", produzido pelo INEP em 2010, diretamente relacionado à construção e validação das questões/itens das avaliações de larga escala.
Logo nas primeiras páginas, o documento faz menção à matriz como um elemento que orienta a construção de itens, sendo este documento a referência para a elaboração daqueles que serão incluídos no exame. Neste documento, podemos ver a seguinte definição de item:
Item consiste na unidade básica de um instrumento de coleta de dados, que pode ser uma prova, um questionário etc. Nos testes educacionais, item pode ser considerado sinônimo de questão, termo mais popular e utilizado com frequência nas escolas. (Brasil. INEP, 2010.p.7)
Entendidos desta forma, os itens objetivos70, como é no caso do ENEM, têm a função
de verificar conhecimentos ensinados/aprendidos que envolvem tanto "memorização e reconhecimento" quanto "compreensão, aplicação, análise, síntese e avaliação" (INEP, 2010 p.8). Somado a essa ideia, as orientações defendem que os itens objetivos "permitem uma cobertura completa do conteúdo" (p.8). Resta-nos saber qual o sentido de conteúdo.
O item é, pois, um texto curricular com características específicas que metonimicamente combina unidades diferencias na mesma cadeia de equivalência – competência/habilidade, ciência/conteúdo disciplinar – por meio das quais faz a gestão das demandas que interpelam o sistema escolar. Isso significa reconhecer que nessas questões se condensam significantes mobilizados tanto pela lógica disciplinar, tendo a ciência como referência de legitimidade (conteúdo disciplinar validado), como pela lógica da competência, do saber-fazer. Neste jogo discursivo, o item é o elemento que (des)estabiliza os sentidos de conhecimento escolar, enfatizando umas em detrimento de outras demandas.
Percebe-se, por exemplo, a presença de demandas pedagógicas que mobilizam teorias da aprendizagem que exigem uma articulação estreita do conhecimento escolar com a realidade do aluno ou com a cultura do aluno em algumas elaborações do terreno de uma situação-problema. Chamo atenção que esse sentido pedagógico aparece descrito como orientação para elaboração das questões "incorporar situações vivenciadas e valorizadas no contexto em que se originam para aproximar os temas escolares da realidade extraescolar" (INEP,2010 p.8). Esse exemplo permite recuperar um sentido de demanda social articulada à demanda pedagógica, bastante recorrente nas políticas de avaliação e trabalhada no capítulo anterior.
70 O item pode ser assumir a dois formatos: resposta livre (dissertativa) ou orientada/objetivo (múltipla-
180
A orientação para elaboração do item é que este texto seja produzido de forma a contemplar uma única habilidade descrita na matriz, seguindo uma estrutura com três elementos articulados entre si: texto-base, comando da questão, alternativas, conforme apresentado na figura a seguir.
Figura 4 - Apresentação do item nas avaliações
Fonte: Guia de elaboração de itens/ INEP 2010.
O texto- base é uma superfície textual (verbal ou não verbal – gráficos, imagens, tabelas), que contextualiza a situação- problema criada para ser resolvida. Como parte inicial do item, apresenta informações necessárias para suprir o leitor/aluno de elementos que permitam a solução do problema apresentado. A recomendação é de que: "deve-se evitar informações simplesmente decoradas, [...], detalhes que não avaliam a habilidade, mas privilegiam a memorização" (p.10). O texto-base apresenta o objeto de avaliação: o conteúdo disciplinar eleito, sendo este uma unidade diferencial, em meio a outras.
O enunciado, que vem logo a seguir, traz o comando da questão. A prescrição de uma instrução objetiva ao leitor/aluno para que a tarefa possa ser realizada podendo ser transcrita em forma de pergunta ou frase a ser completada pela alternativa correta. É o enunciado que estabelece o limite da cadeia de significação do conhecimento escolar, sendo ele o momento de decisão do que será avaliado. Entendo, pois, que esta é uma pista importante para perceber em que medida as demandas do "pedagógico" e do social" são acionadas, afinal, é o enunciado que marca os limites do conhecimento cuja aprendizagem é avaliada.
181
E completando esse tríade, as alternativas oferecem as possibilidades de resposta, uma delas é o gabarito (o saber legitimado e validado) e as demais alternativas são nomeadas distratores.
Os distratores são alternativas que, embora sejam coerentes com a situação apresentada, não atendem completamente ao comando da questão. Isto significa que todas as alternativas têm uma plausibilidade de resposta e, por isso, têm a função na avaliação de mapear as hipóteses de raciocínio na busca da resposta, procurando delinear "uma dificuldade real do participante com relação à habilidade" (INEP, 2010 p.11). Nas orientações de elaboração há a ressalva de que não podem ser alternativas que induzam ao erro, nem mesmo absurdas, tendendo para evidenciar a resposta correta. Este elemento me ajuda a pensar que sentidos de conhecimento embora acionados pelo item são deixados de fora, ou seja, não
alçam à condição de conhecimento escolar de qualidade. No documento do INEP (2010) é
possível ler:
[...] Na elaboração do item, é necessário estar atento para evitar o que tem se mostrado muito comum em itens utilizados em vestibulares e concursos: a indução ao erro (“pegadinha”). Essa estratégia cria quase sempre situações que exigem do participante atenção a detalhes que o levam a errar o item não porque não domina, necessariamente, a habilidade testada. (p.8)
Após sua elaboração, o item é revisado, passa por uma avaliação no contexto do INEP e quando aprovado é pré testado, ou seja, aplicado de forma amostral. Após essa aplicação, as questões podem ganhar um peso maior ou menor de acordo com o desempenho dos estudantes no pré-teste. Todas as questões são então categorizadas como fáceis, médias e difíceis e sigilosamente armazenadas no Banco de Itens (BI).
Tendo essas construções como referência, lanço mão de algumas pistas para fazer a leitura dos itens da avaliação. Entendendo ser este um exercício que propicia a inteligibilidade das formas de aproximação com um volume significativo de dados, informações e expressões. Organizo as seguintes pistas: (i) Observar as unidades diferenciais que compõem o campo semântico dos textos-base, que têm a função de iniciar a abordagem do conteúdo disciplinar. (ii) Identificar no enunciado a presença ou exclusão das expressões/palavras do campo semântico construído a partir do texto-base, procurando estar atenta às repetições, uso de sinônimos, utilização de plurais, substituição de palavras e emprego de metáforas e metonímias. (iii) Ao procurar por essas pistas, organizá-las de acordo com as ênfases nas demandas "pedagógica" e/ou "social", do mesmo modo que fiz com as matrizes. E nesse exercício, perceber os fluxos de significantes – como ciência, conteúdo disciplinar, cultura,
182
cidadania, identidade – que vão assumindo centralidade, os que ficam de fora, ou até mesmo aqueles que permanecem na cadeia discursiva em posição subalternizada.
Além do exercício proposto para a abordagem do item, outro aspecto metodológico
que foi necessário enfrentar diz respeito ao quantitativo de questões selecionadas para análise.
Embora, conforme anunciado no capítulo anterior, tenha optado por analisar os itens referentes à área das Ciências Humanas, no ENEM, ainda permaneceu um número extenso de itens das avaliações para serem analisados (63 referentes ao ENEM.1 e 180 questões do ENEM.2, ou seja, 243 itens). Foi preciso, assim, buscar novos critérios de corte.
Como uma possibilidade de refinamento dos dados empíricos, retomei as lentes
utilizadas para a leitura das matrizes de referência a partir das categorias demanda social e
demanda pedagógica e passei a olhar atentamente para os enunciados tentando perceber algumas marcas discursivas que indicassem a incorporação de um sentido particular de demanda social discutido no terceiro capítulo. Refiro-me à ideia de demandas de direito – de
igualdade e da diferença – formuladas nos e pelos movimentos sociais. A escolha desse
critério de corte se justifica pelo fato de que essas demandas particulares tendem a desestabilizar as fronteiras hegemônicas que fixam o conhecimento escolar.
Desse modo, interessa-me compreender como essas demandas de direito se hibridizam com quais demandas pedagógicas. Ao fazer esta escolha, entendo que ao mesmo tempo que não nego a especificidade pedagógica do conhecimento escolar, amplio essa cadeia discursiva para operar no entrecruzamento das demandas e focalizar minha análise na fronteira, lugar de produção de hegemonias e antagonismos.
Dito isto, passei a "peneirar" essas provas pelo comando das questões procurando por palavras, expressões ou ideias que acionassem a demanda social na perspectiva dos direitos sociais.
Em uma primeira leitura em busca de palavras e expressões71 contabilizo o seguinte
quantitativo:
71 Inclui para esta busca as seguintes palavras ou metáforas que acionassem sentidos de: democracia, política,
183
Tabela 7 - Construção do acervo pelo comando da questão
Ano Seleção pelo comando da questão Total geral de questões
2008 11 6372 2009 17* 45 2010 22* 45 2011 22** 45 2012 20* 45 Total 92 243
*Dados referentes à prova azul, ou seja, numeração das questões na sequência em que elas aparecem na prova . ** Dados referentes à prova amarela.
Nesse empreendimento de ler o enunciado de todas as provas da área de Ciências Humanas em busca dessas expressões, verifiquei que alguns deles, embora não trouxessem no comando os termos por mim selecionados, exigiam a leitura do texto-base para a identificação do conteúdo tratado. Nestes casos, foi comum encontrar as construções: "um exemplo acerca do que está exposto no texto acima é", "a análise do mapa permite concluir que", "Segundo as ideias de Francisco Campos" entre outros , como enunciados.
Desse modo, quando havia referência ao texto-base, recorri a essa leitura para tomar a decisão de incluí-lo ou não no acervo a ser analisado. A tabela 8 ilustra esse movimento da avaliação e a inclusão de outras questões dessa natureza.
Tabela 8 - Construção do acervo incluindo texto-base
Ano Seleção pelo comando Após leitura do
texto- base Total de questões 2008 11 3 14 2009 17 2 19 2010 22 1 23 2011 22 1 23 2012 20 0 20 Total 92 7 99
Com esse exercício, posso afirmar uma diferenciação entre as duas fases do ENEM, na área de Ciências Humanas: até 2008 as demandas sociais na perspectiva aqui privilegiada
72 Este número representa o quantitativo geral de questões e não apenas as de Ciências Humanas, pois esta se
184
ficam subalternizadas em meio às demandas de ordem pedagógica, como discutido no terceiro capítulo.
Passo então, na seção seguinte, a explorar os fluxos de sentido de conhecimento de qualidade fixados nestes itens.