3 Análise Técnica da Prova
3.2 Análise das Questões Objetivas
3.2.2 Componente Específico
A Tabela 3.7 apresenta as estatísticas básicas em relação às questões objetivas do Componente Específico da prova. Nesse conjunto de questões, seguindo a tendência geral da prova, os estudantes concluintes obtiveram desempenho superior, com nota média 39,3, em relação aos alunos ingressantes, que obtiveram nota média 31,8. A vari-abilidade de notas foi menor no grupo dos ingressantes, consoante se pode constatar a partir da análise do desvio padrão e da amplitude total das notas. Este último dado – am-plitude total das notas – foi equivalente a 90,5 para o grupo dos ingressantes e a 100,0 para o grupo dos concluintes. Com relação à mediana, no grupo dos concluintes, esta foi igual a 38,1 estando ligeiramente mais próxima da média do que no grupo dos ingressan-tes, cuja mediana foi igual a 33,3, indicando maior assimetria na distribuição de suas no-tas.
Tabela 3.7 – Estatísticas Básicas das Questões Objetivas de Componente Específico por grupo de estudantes – ENADE/2006 – Ciências Econômicas
Grupo Estatísticas Total
Ingressantes Concluintes
População 19.495 9.201 10.294
Tamanho da amostra 15.075 7.194 7.881
Presentes 12.159 5.431 6.728
Média 35,8 31,8 39,3
Erro padrão da média 0,1 0,1 0,1
Desvio-padrão 16,2 14,6 16,8
Nota mínima 0,0 0,0 0,0
Mediana 33,3 33,3 38,1
Nota máxima 100,0 90,5 100,0
Fonte : MEC/INEP/DEAES - ENADE2006
A Tabela 3.8 apresenta as classificações das 27 questões objetivas da parte da prova relativa ao Componente Específico, segundo o índice de facilidade. A partir dos índices obtidos, pode-se concluir que as questões objetivas da prova foram consideradas, no seu todo, difíceis. Das 27 questões, apenas uma foi classificada como fácil; a quatro delas foi atribuído grau de dificuldade médio; dezenove foram classificadas como difíceis e, finalmente, três, como muito difíceis. Ou seja, houve 18,5% de questões fáceis e mé-dias, e 81,5%, de difíceis e muito difíceis. Nenhuma questão foi classificada como muito fácil.
Tabela 3.8 - Classificação das questões objetivas de Componente Específico segundo índice de facilidade – ENADE/2006 – Ciências Econômicas
Índice de Facilidade Classificação Questões
≥ 0,86 Muito fácil
0,61 a 0,85 Fácil 17
0,41 a 0,60 Médio 18, 21, 26, 35
0,16 a 0,40 Difícil 11, 14, 15, 16, 19, 20, 22, 23, 24, 25, 28, 29, 30, 31, 32, 33, 34, 36, 37
≤ 0,15 Muito difícil 12, 13, 27
Fonte : MEC/INEP/DEAES - ENADE2006
Os índices obtidos, indicados na Tabela 3.8, coincidem com a percepção de apro-ximadamente 58,0% dos alunos ingressantes e de aproapro-ximadamente 40,0% dos concluintes, que avaliaram esta parte da prova como difícil ou muito difícil. Vale destacar que 60,0% dos ingressantes e 20,0% dos concluintes consideraram que o desconhecimento do conteúdo foi a principal dificuldade para responder à prova. Por outro lado, na percepção de 65,0% dos ingressantes e de menos de 5,0% dos concluintes, o que mais influenciou o seu desempenho nesta prova foi o fato de não terem estudado ainda a maioria dos conteúdos avaliados. Estes e outros dados referentes à percepção dos alunos sobre a prova encontram-se no Capítulo 4.
Na Tabela 3.9 são apresentados os índices de discriminação das questões objeti-vas do Componente Específico da prova. Observa-se, segundo os índices obtidos, que a capacidade de discriminação destas questões objetivas da prova é considerada, para a maioria das questões (17 das 27), como muito boa ou boa, enquanto que quatro foram classificadas como médias e seis, como fracas. O índice de discriminação médio destas questões é 0,30. Pode-se afirmar, assim, que a prova – no que se refere ao Componente Específico – apresentou boa capacidade de discriminar aqueles que dominam ou não o conteúdo. Relacionando esse resultado com o apresentado na Tabela 3.8, é possível
Tabela 3.9 - Classificação das questões objetivas de Componente Específico segundo índice de discriminação – ENADE/2006 – Ciências Econômicas
Índice de Discriminação Classificação Questões
≥ 0,40 Muito Bom 18, 22, 35
0,30 a 0,39 Bom 11, 15, 17, 21, 24, 25, 26, 29, 30, 31, 32, 33, 34, 36 0,20 a 0,29 Médio 14, 16, 19, 23
≤ 0,19 Fraco 12, 13, 20, 27, 28, 37
Fonte : MEC/INEP/DEAES - ENADE2006
No Quadro 3.2 estão especificadas, por questão, as habilidades aferidas pelas questões do Componente Específico da prova de Ciências Econômicas, bem como os resultados da análise relativa aos índices de facilidade e de discriminação de cada ques-tão. As questões 17, 18 e 35 foram as que alcançaram os maiores índices de facilidade, a saber 69%, 57% e 54%, respectivamente, combinados a bons índices de discriminação, que variaram de 0,37 a 0,45. As questões 22 e 25, embora com menores índices de faci-lidade – 0,35, para ambas – também obtiveram altos índices de discriminação, de 0,40 e 0,39, respectivamente.
As questões 12 e 27 foram consideradas as mais difíceis, apresentando, também, o menor poder discriminatório: a questão 12 alcançou índice de facilidade de 0,11 e de dis-criminação 0,15; e a questão 27 alcançou índice de facilidade de 0,10 e de disdis-criminação também de 0,10. Ambas essas questões buscavam aferir as mesmas habilidades, quais sejam: desenvolvimento de raciocínios com consistência lógica, leitura e compreensão de tex-tos econômicos e utilização adequada de conceitex-tos teóricos fundamentais.
Quadro 3.2
Habilidades Aferidas nas questões objetivas de Componente Específico ENADE/2006 – Ciências Econômicas
(continua)
Questão Conteúdos
Predominantes Habilidades Aferidas Índice
de
Desenvolvimento de raciocínios com consis-tência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos fundamentais.
0,22 0,37
12 Formação Geral:
Estatística.
Desenvolvimento de raciocínios com consis-tência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos fundamentais.
0,11 0,15
13 Formação Geral:
Matemática.
Desenvolvimento de raciocínios com consis-tência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos fundamentais.
0,13 0,18
14 Formação Geral:
Matemática.
Desenvolvimento de raciocínios com consis-tência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos fundamentais.
0,27 0,23
15 Formação Geral:
Contabilidade Em-presarial.
Desenvolvimento de raciocínios com consis-tência lógica.
Utilização adequada de conceitos teóricos fundamentais.
0,39 0,32
16 História Econômica:
Economia Brasileira Contemporânea.
Desenvolvimento de raciocínios com consis-tência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos fundamentais.
Utilização pertinente do instrumental econômi-co para análise de situações históricas econômi- concre-tas.
0,18 0,24
17 História Econômica:
Economia Brasileira Contemporânea.
Desenvolvimento de raciocínios com consis-tência lógica.
Utilização adequada de conceitos teóricos fundamentais.
Utilização pertinente do instrumental econômi-co para análise de situações históricas econômi- concre-tas.
0,69 0,37
18 História Econômica:
Formação Econô-mica do Brasil.
Desenvolvimento de raciocínios com consis-tência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos fundamentais.
Utilização pertinente do instrumental econômi-co para análise de situações históricas econômi- concre-tas.
0,57 0,42
Quadro 3.2
Habilidades Aferidas nas questões objetivas de Componente Específico ENADE/2006 – Ciências Econômicas
(continuação) Questão Conteúdos
Predominantes Habilidades Aferidas Índice
de
Desenvolvimento de raciocínios com consis-tência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos fundamentais.
Utilização pertinente do instrumental econômi-co para análise de situações históricas econômi- concre-tas.
0,27 0,28
20 História Econômica:
História Econômica Geral.
Desenvolvimento de raciocínios com consis-tência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos fundamentais.
Utilização pertinente do instrumental econômi-co para análise de situações históricas econômi- concre-tas.
0,16 0,16
21 Formação Teórico-Quantitativa:
Microeconomia.
Desenvolvimento de raciocínios com consis-tência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos fundamentais.
0,44 0,31
22 Formação Teórico-Quantitativa:
Microeconomia.
Desenvolvimento de raciocínios com consis-tência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos fundamentais.
0,35 0,40
23 Formação Teórico-Quantitativa:
Microeconomia.
Desenvolvimento de raciocínios com consis-tência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos fundamentais.
Desenvolvimento de raciocínios com consis-tência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos fundamentais.
0,40 0,30
25 Formação Teórico-Quantitativa:
Macro-economia.
Desenvolvimento de raciocínios com consis-tência lógica.
Utilização adequada de conceitos teóricos fundamentais.
0,35 0,39
26 Formação Teórico-Quantitativa:
Macro-economia.
Desenvolvimento de raciocínios com consis-tência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos fundamentais.
Desenvolvimento de raciocínios com consis-tência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos fundamentais.
0,10 0,10
Quadro 3.2
Habilidades Aferidas nas questões objetivas de Componente Específico ENADE/2006 – Ciências Econômicas
(continuação) Questão Conteúdos
Predominantes Habilidades Aferidas Índice de
Facilidade
Desenvolvimento de raciocínios com consistência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos funda-mentais.
Desenvolvimento de raciocínios com consistência lógica.
Utilização adequada de conceitos teóricos funda-mentais.
Desenvolvimento de raciocínios com consistência lógica.
Utilização adequada de conceitos teóricos funda-mentais.
Desenvolvimento de raciocínios com consistência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos funda-mentais.
Utilização pertinente do instrumental econômico para análise de situações históricas concretas.
0,31 0,38
Desenvolvimento de raciocínios com consistência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos funda-mentais.
Desenvolvimento de raciocínios com consistência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos funda-mentais.
Desenvolvimento de raciocínios com consistência lógica.
Utilização adequada de conceitos teóricos funda-mentais.
Desenvolvimento de raciocínios com consistência lógica.
Utilização adequada de conceitos teóricos funda-mentais.
Desenvolvimento de raciocínios com consistência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos funda-mentais.
0,27 0,33
37 Formação Teóri-co-Quantitativa:
Econometria.
Desenvolvimento de raciocínios com consistência lógica.
Leitura e compreensão de textos econômicos.
Utilização adequada de conceitos teóricos funda-mentais.
0,27 0,19
A Fig. 3.2 analisa graficamente o comportamento do item 11 de Componente Espe-cífico. Neste gráfico, cada uma das cinco curvas representa o percentual de respostas em determinada alternativa do item, em função do escore total dos alunos. Nesta análise alguns aspectos devem ser ressaltados com relação às alternativas deste item. A alterna-tiva correta, E, representada no gráfico pela curva em vermelho, escolhida por apenas 21,5% dos estudantes, teve os maiores percentuais de escolha correspondendo aos alu-nos com escores mais altos – melhor desempenho na prova como um todo. Algumas observações devem ser destacadas: o percentual de alunos que selecionaram a alterna-tiva correta (E) cresce à medida que o escore total aumenta, exceto na faixa de escores acima de 90 pontos, onde o percentual de alunos cai drasticamente até o escore 95 a partir do qual nenhum aluno acertou a questão. Soma-se a este o fato de que a alternati-va correta também foi selecionada por percentual significativo de alunos em faixas mais baixas de desempenho. Já as alternativas incorretas foram selecionadas por alunos nas faixas mais baixas de nota, mas, especialmente as alternativas A, C e D apresentaram alto percentual de alunos, inclusive com escores mais altos, que as escolheram como a resposta correta ao item.
Os gráficos relativos às demais questões de Componente Específico constam do Anexo I.
0,0 20,0 40,0 60,0 80,0 100,0
0,0 10,0 20,0 30,0 40,0 50,0 60,0 70,0 80,0 90,0 100,0 Escores
% de alunos
A% B% C% D% E%
Figura 3.2 – Análise gráfica do item 11 - Componente Específico – ENADE/2006 – Ciências Econômicas
Fonte : MEC/INEP/DEAES - ENADE2006
3.3 Análise das Questões Discursivas