Aspectos quantitativos da análise dos itens da prova do Enem

Dalt on F. Andrade Ruben Klein

A prova do Enem é compost a de uma part e objet iva e uma reda- ção. Para cada uma dessas duas part es é at ribuída uma not a “global”, que varia de 0 a 100, e not as para cada uma das 5 compet ências, vari- ando t ambém de 0 a 100.

Os objet ivos dest e t rabalho são apresent ar a const rução dessas not as, a met odologia de seleção dos it ens e da análise dos result ados da part e objet iva da prova do Enem e, por últ imo, alguns desaf ios met odológicos.

Parte objetiva da prova

A part e objet iva é compost a de 63 it ens de múlt ipla escolha com 5 alt ernat ivas cada, corrigidos como cert o ou errado. Para cada uma das 21 habilidades são selecionados 3 it ens a part ir de crit érios que serão discut idos mais adiant e. Além da not a “global” def inida a part ir “do número” de acert os nos 63 it ens, def ine- se t ambém uma not a para

cada uma das 5 compet ências, a part ir “do número” de acert os nos it ens associados a cada uma das compet ências, conf orme represent ado no M odelo de Análise de Desempenho na part e objet iva da prova.

O quadro a seguir apresent a o número de habilidades e de it ens associados a cada uma das compet ências.

Pode- se not ar que um mesmo it em pode ent rar na composição da not a de duas ou mais compet ências. Por exemplo, um it em relat ivo à Habilidade 1 ent ra nos cálculos das not as das Compet ências I, II e III, porém é cont ado uma única vez no cálculo da not a “global”.

Análise de Item

A Teoria Clássica de Medida (TCM) possui uma série de est at íst icas para a análise de it em do t ipo múlt ipla escolha com uma única alt ernat iva corret a. Ent re elas, dest acamos a porcen- t agem de respost a para cada uma das alt ernat ivas, o grau de dif iculdade e o grau de discrimi- nação. Essas porcent agens de respost a devem ser calculadas para o grupo de examinados como um t odo e t ambém para o grupo de examinados que t iveram os melhores escores t ot ais (grupo superior) e para o grupo de examinados que t iveram os piores escores t ot ais (grupo inf erior). O “grau de dif iculdade” é def inido como sendo a porcent agem de acert o de t odo o grupo de examinados e o “grau de discriminação” é def inido como sendo a dif erença ent re as porcent a- gens de acert o dos grupos superior e inf erior. Usualment e, o grupo superior é f ormado pelos 27% dos examinados que t iveram os melhores escores t ot ais e o grupo inf erior pelos 27% dos examinados que t iveram os piores escores t ot ais. Espera- se que as porcent agens de respost a dos examinados do grupo superior, quando comparados com as porcent agens do grupo inf e- rior, sejam maiores na alt ernat iva corret a e menores nos dist rat ores (alt ernat ivas não corret as).

Uma out ra est at íst ica igualment e import ant e para a análise de it ens é o “coef icient e bisserial”. Esse coef icient e é relacionado ao coef icient e de correlação de Pearson ent re a vari- ável 0- 1 e a medida de rendiment o do aluno (por exemplo, a not a global). Esse coef icient e é calculado para cada uma das alt ernat ivas do it em e dizemos que um it em t em bom desempe- nho quando esse coef icient e t em valor “alt o” posit ivo associado à alt ernat iva corret a e valores negat ivos associados aos dist rat ores. Quando há algum valor posit ivo associado a um dist rat or, isso signif ica que a alt ernat iva at raiu alunos com bom desempenho no t est e. Sugere- se os t rabalhos de Lord e Novick (1968) e Vianna (1987) para maiores det alhes da TCM.

A seguir exemplif icamos o uso dessas est at íst icas na análise de t rês it ens da prova do Enem 1999. A dist ribuição da not a global est á apresent ada a seguir.

Tabela 1 – Estatísticas descritivas

Pode- se concluir que o it em f oi f ácil para o grupo de candidat os e que t eve bom desem- penho, t endo em vist a que quase a t ot alidade dos candidat os do grupo superior (0,91 ou 91%) e um número bem menor dos candidat os do grupo inf erior (0,45 ou 45%) acert aram o it em (grau de discriminação igual a 0,46). Dois out ros pont os import ant es são que os dist rat ores f oram igualment e pref eridos e que t odos os valores do coef icient e bisserial f oram negat ivos para os dist rat ores e posit ivo e “alt o” para a alt ernat iva corret a (0,51).

Exemplo 2 – Questão 8 – Enem/99

Tabela 2 – Estatísticas descritivas

O it em most rou ser mais dif ícil do que o ant erior e t ambém t eve um bom grau de discri- minação e um coef icient e bisserial posit ivo “alt o” (0,44). Um pont o que merece at enção é a alt a porcent agem de respost as dada ao dist rat or D, quando comparada com as porcent agens

dadas aos out ros dist rat ores. Por out ro lado, dos valores dos coef icient e bisserial pode- se concluir que não f oram os candidat os do grupo superior que f oram at raídos pelo dist rat or D (coef icient e bisserial - 0,28).

Exemplo 3 – Questão 33 – Enem/99

Tabela 3 – Estatísticas descritivas

It em mais dif ícil (grau de dif iculdade 0,28 ou 28%) e com baixo grau de discriminação e baixo valor para o coef icient e bisserial. Ressalt a- se, t ambém, a alt a porcent agem de respost as dada ao dist rat or C, que deve t er at raído bons candidat os t endo em vist a o valor posit ivo do coef icient e bisserial associado a essa alt ernat iva.

Os it ens f oram t ambém analisados pela Teoria da Respost a ao It em (TRI), que será comen- t ada post eriorment e.

M ontagem da parte objetiva da prova

A part e objet iva da prova é mont ada a part ir da seleção de it ens do Banco de It ens do Enem, const ruído a part ir de it ens elaborados especialment e para o Enem e pré- t est ados. A

seleção dos it ens é f eit a levando em cont a aspect os pedagógicos e a análise est at íst ica dos it ens, ut ilizando- se 20% de it ens f áceis, 40% com grau de dif iculdade médio e 40% dif íceis.

Análise da parte objetiva da prova

A análise da part e objet iva da prova, em t ermos quant it at ivos, é f eit a a part ir da aplica- ção das t écnicas descrit as acima.

Boletim

Cada candidat o recebe, no endereço indicado por ele no at o da inscrição, um bolet im com as not as “globais” da part e objet iva da prova e da redação. O candidat o recebe uma not a “global” e uma not a para cada uma das 5 compet ências. Seu desempenho no Enem é analisado dent ro de t rês f aixas de desempenho: Insuf icient e a Regular (not a de 0 a 40, “inclusive”),

Regular a Bom (not a de 41 a 70, “inclusive”) e Bom a Excelent e (71 a 100, “inclusive”). A média geral de t odos os candidat os t ambém é apresent ada para que o candidat o possa analisar o seu desempenho em relação ao desempenho da população de t odos os candidat os. Essas not as são t ambém apresent adas na f orma de gráf icos de barras.