3.4 DESEMPENHO DOS ACADÊMICOS NAS PROVAS DO ENADE
3.4.2 ENADE 2009
QUADRO 08 – Comparativo do domínio cognitivo das questões e das disciplinas de maior desempenho de 2006.
QUESTÃO DOMÍNIO COGNITIVO DA QUESTÃO
DISCIPLINA RELACIONADA
DOMÍNIO COGNITIVO DA DISCIPLINA
13 Análise Gestão de Custos Aplicação
14 Conhecimento Administração de Recursos Humanos (5º p.)
Compreensão
18 Aplicação Administração de Recursos
Humanos (6º p)
Compreensão Fonte: Elaborado pela autora, 2014.
A questão com maior percentual de acerto na edição do ENADE 2006 (14) estava no domínio cognitivo do “conhecimento”, enquanto a disciplina que aborda a sua temática foi desenvolvida no nível da “compreensão”, justificando o desempenho elevado (96% de acerto). Em contrapartida, as questões 13 e 18 exigiam domínios cognitivos de maior complexidade aos almejados nas disciplinas e mesmo assim o desempenho dos acadêmicos foi superior a 75%.
inclusive, estão presentes em mais de uma disciplina, possibilitando abordagens diferentes para o mesmo conteúdo.
Contudo, alguns pontos merecem atenção. A temática motivação não é trabalhada no âmbito da gestão das pessoas, somente com o enfoque psicológico, criando uma lacuna quando se refere à importância desta no desenvolvimento de políticas de recursos humanos. Conforme já mencionado anteriormente, a
“Administração de Serviços” não é contemplada na matriz curricular do curso, sendo que este conteúdo é um tópico da disciplina “Administração da Produção e Operações”, sendo também abordado na disciplina “Administração Mercadológica (5ºp.)” quando se caracteriza o “produto” (bens e serviços) no composto mercadológico. As doutrinas éticas e sua relação com a administração também são temáticas pouco enfatizadas no conteúdo curricular da disciplina “Filosofia e Ética”.
A categorização da Prova do ENADE 2009 pelo domínio cognitivo e tipologia das questões está exposta no Apêndice G. As 27 questões da prova objetiva do ENADE 2009 são assim caracterizadas:
Quanto ao domínio cognitivo: 2 questões da categoria Conhecimento; 3 questões de Compreensão; 4 questões de Aplicação; 13 questões de Análise; 1 questão de Síntese e, 4 questões de Avaliação.
Quanto à tipologia das questões: 5 questões são de resposta única; 5 questões de resposta múltipla; 3 questões de afirmação incompleta; 4 questões de interpretação; 5 questões de asserção e razão; e, 2 questões pictóricas. Questões que se utilizassem de item de associação e item de lacuna não foram identificadas. As questões 21, 22, 24 utilizaram duas tipologias na sua construção, sendo asserção razão e pictórica (21) e interpretação e múltipla escolha (22 e 24)
A Prova do ENADE 2009 é composta por questões mais complexas quando comparada à Prova do ENADE de 2006. Cerca de 60% das questões estão entre os níveis de analise e avaliação, domínios que exigem processos cognitivos mais elaborados para a sua resolução. No que se refere à tipologia, entre os períodos analisados, observa-se que para a construção das questões tem-se uma tendência em utilizar dois tipos de itens, exemplo: interpretação e múltipla escolha.
O desempenho dos acadêmicos ingressantes e concluintes por questão é apresentado no Quadro 09, a seguir. Lembra-se que as questões destacadas foram anuladas pelo MEC/INEP.
QUADRO 09 – Categorização do desempenho dos acadêmicos no ENADE 2009
QUESTÃO CONTEÚDOS TEMÁTICA DOMÍNIO
COGNITIVO TIPO DE QUESTÃO
DESEMPENHO INGRESSANTES
(%)
DESEMPENHO CONCLUINTES
(%) Questão 11 Formação Profissional: Teorias
da administração e das organizações
Evolução das teorias da administração.
Conhecimento .
Item de Múltipla escolha.
21,4% 42,2%
Questão 12 Formação Profissional: Teorias da administração e das organizações
Evolução das teorias da administração.
Compreensão Item de Resposta única.
- -
Questão 13 Formação Profissional: Teorias da administração e das organizações
Processo Decisório. Conhecimento Item de Afirmação incompleta.
53,2% 59,5%
Questão 14 Formação Profissional:
Administração de recursos humanos
Formação Básica: Estudos psicológicos
Motivação. Síntese Item de
Interpretação.
13,9% 36,2%
Questão 15 Formação Profissional:
Administração de recursos humanos
Formação Básica: Estudos psicológicos
Motivação. Compreensão Item de Afirmação incompleta.
- -
Questão 16 Formação Profissional: Mercado e marketing
Formação Básica: Estudos psicológicos e sociológicos
Comportamento de consumo.
Análise Item de Asserção e razão.
- -
Questão 17 Formação Profissional:
Administração de recursos humanos
Treinamento e desenvolvimento.
Compreensão Item de Múltipla escolha.
- -
Questão 18 Formação Profissional:
Administração de recursos humanos
Planos de incentivo de grupo.
Análise Item de Resposta única.
76,1% 91,4%
Questão 19 Formação Básica: Estudos psicológicos
Relacionamento interpessoal.
Análise Item de Asserção e razão.
22,4% 31,0%
Questão 20 Formação Profissional: Finanças Gestão de vendas. Avaliação Item de Pictórica. - -
QUESTÃO CONTEÚDOS TEMÁTICA DOMÍNIO
COGNITIVO TIPO DE QUESTÃO
DESEMPENHO INGRESSANTES
(%)
DESEMPENHO CONCLUINTES
(%) e orçamento, marketing e
mercado
Questão 21 Formação Profissional: Mercado e marketing
Marketing de relacionamento.
Gestão de vendas.
Análise Item de Asserção e razão e Pictórica
15,4% 29,3%
Questão 22 Formação Básica: Economia Práticas concorrenciais.
Análise Item de Interpretação e Múltipla escolha
43,3% 42,2%
Questão 23 Formação Profissional: Finanças e orçamento
Retorno sobre investimento.
Aplicação Item de Afirmação incompleta
19,9% 27,6%
Questão 24 Formação Básica: Contabilidade Método de custeio. Aplicação Item de Interpretação e Múltipla escolha
21,9% 27,6%
Questão 25 Formação Profissional:
Planejamento estratégico
Situação
competitividade.
Análise Item de Resposta única
38,8% 54,3%
Questão 26 Formação Profissional:
Administração de serviços
Características dos serviços.
Análise Item de Asserção e razão
- -
Questão 27 Formação Profissional: Finanças e orçamento
Custo de capital. Avaliação Item de Interpretação 41,3% 47,4%
Questão 28 Formação Profissional:
Administração de materiais
Gestão de estoque. Aplicação Item de Interpretação 11,4% 19,8%
Questão 29 Formação Profissional:
Administração de materiais e produção
Gestão de estoque. Aplicação Item de Interpretação - -
Questão 30 Formação Profissional: Mercado e marketing.
Previsão de vendas. Análise Item de Asserção e razão
36,3% 40,5%
Questão 31 Formação Profissional: Logística Desempenho logístico.
Avaliação Item de Múltipla escolha
18,4% 44,8%
Questão 32 Formação Profissional:
Administração de materiais Estudos Quantitativos e suas Tecnologias: Modelos estatísticos
Gestão de estoque e Desvio padrão.
Análise Item de Pictórica - -
Questão 33 Formação Profissional: Sistemas de informação
Formação Básica: Tecnologias da informação
Segurança da informação.
Análise Item de Múltipla escolha
46,3% 59,5%
QUESTÃO CONTEÚDOS TEMÁTICA DOMÍNIO
COGNITIVO TIPO DE QUESTÃO
DESEMPENHO INGRESSANTES
(%)
DESEMPENHO CONCLUINTES
(%) Questão 34 Formação Profissional: Sistemas
de informação
Formação Básica: Tecnologias da informação
Características de
sistemas de
informação (intranet)
Avaliação Item de Resposta única
46,3% 69,8%
Questão 35 Formação Básica: Ético- profissionais
Visão utilitarista da ética.
Análise Item de Múltipla escolha
21,9% 25,0%
Questão 36 Formação Básica: Ciências jurídicas
Formulação das políticas públicas.
Análise Item de Resposta única
51,2% 71,6%
Questão 37 Formação Básica: Estudos psicológicos e sociológicos Formação Profissional:
Administração de recursos humanos
Cultura
organizacional.
Análise Item de Asserção e razão
31,3% 58,6%
Fonte: Elaborado pela autora, com base em MEC/INEP/ (2009), 2014.
Os desempenhos de ingressantes e concluintes novamente tiveram comportamentos similares. O menor desempenho de ambos foi na questão 28, relativa a uma situação-problema na área de “Administração de Materiais”, em que se deveria interpretar um gráfico de estoque para calcular o tempo do pedido de suprimento até a sua entrada no estoque (conceito de lead time). A questão foi de complexa resolução, uma vez que além de conhecer o conceito era necessário interpretar o gráfico identificando os elementos necessários para o cálculo do lead time. Já a questão de maior acerto foi a 18, na qual novamente uma situação- problema foi apresentada, em relação à implantação de um plano de incentivos de grupo (Administração de Recursos Humanos). Cada alternativa apresentava uma resolução à situação, que deveria ser analisada quanto à sua pertinência, para a opção de apenas uma.
A relação dos desempenhos com o domínio cognitivo de cada questão indica que as questões que exigiam a “Aplicação” foram as que tiveram os desempenhos mais baixos. O maior percentual de acerto nas questões deste domínio foi 27,6%
para os concluintes e 21,9% para os ingressantes. A questão de menor percentual de acerto nesta prova era pertencente a este domínio cognitivo.
A análise das tipologias das questões indicou que os itens de resposta única têm maior percentual de acerto no grupo de ingressantes e concluintes. Os menores desempenhos deste tipo de questão são maiores que os desempenhos das outras tipologias, bem como os maiores desempenhos também o são. As demais tipologias portam-se de forma similar.
A invalidação de algumas questões após a realização do exame deixou a distribuição dos conteúdos bastante dispersos. As dezenove questões ficaram distribuídas em doze conteúdos. Os desempenhos dos ingressantes e concluintes nas questões dos conteúdos sobre “Administração de Sistemas da Informação” e de
“Administração de Recursos Humanos” obtiveram as maiores médias gerais, respectivamente: 46,3% e 64,6%; 40,4% e 62,1%. O pior desempenho foi em uma questão de “Administração de materiais”.
A Tabela 07 apresenta a distribuição das notas.
TABELA 07 – Distribuição do desempenho de ingressantes e concluintes no ENADE 2009 DISTRIBUIÇÃO DO
DESEMPENHO (EM PERCENTIS)
DESEMPENHO INGRESSANTES
(QUESTÕES)
DESEMPENHO CONCLUINTES (QUESTÕES) Até P25 11, 14, 19, 21, 23, 24, 28, 31,
35
28, 35
De P25 a P50 22, 25, 27, 30, 33, 34, 37 11, 14, 19, 21, 22, 23, 24, 27, 30, 31
De P50 a P75 13, 36 13, 25, 33, 34, 36, 37
Acima de P75 18 18
Fonte: Elaborada pela autora, 2014.
Os desempenhos de ingressantes e concluintes apresentaram-se divergentes no ENADE de 2009. Enquanto o desempenho dos ingressantes concentrou-se até P50, com ênfase no menor quartil; o desempenho de concluintes esteve centrado de P25 a P50. Em comparação com a distribuição dos desempenhos de 2006, percebe- se uma acentuada queda no desempenho dos ingressantes (de uma média geral de 45% para 33%), enquanto o dos concluintes manteve-se equivalente.
Os planos de ensino das disciplinas “Administração de Materiais”, “Filosofia e Ética” e “Administração de Recursos Humanos”, relacionadas às questões de desempenhos extremos opostos, foram analisados e comparados às questões da prova, conforme sintetizados no Quadro 10.
QUADRO 10 - Comparativo do domínio cognitivo das questões e das disciplinas de maior desempenho de 2009.
QUESTÃO DOMÍNIO COGNITIVO DA QUESTÃO
DISCIPLINA RELACIONADA
DOMÍNIO COGNITIVO DA DISCIPLINA
28 Aplicação Administração de Materiais Compreensão
35 Análise Filosofia e Ética Compreensão
18 Análise Administração de Recursos
Humanos (6º p)
Compreensão Fonte: Elaborado pela autora, 2014.
As temáticas cujas questões tiveram os menores percentuais de acerto foram desenvolvidas em níveis de complexidade inferiores aos necessários para a sua resolução. Contudo, a situação da questão de maior percentual de acerto é idêntica a Prova do ENADE 2006: relacionada à disciplina “Administração de Recursos Humanos” e com objetivos de aprendizagem formulados no nível da “compreensão”.
Contudo, os acadêmicos quando colocados em situações para as quais são exigidos níveis de aprendizagem mais complexos, respondem satisfatoriamente.