Evolução da qualidade (resultados) dos cursos de nível superior nas áreas CTEM: padrões observados a partir do ENADE

Evolução da qualidade (resultados) dos cursos de

nível superior nas áreas CTEM:

padrões observados a partir do ENADE

Renato H. L. Pedrosa

Departmento de Política Científica e Tecnológica/ Instituto de Geociências Grupo de Estudos em Educação Superior/Centro de Estudos Avançados Unicamp

Alguns pontos sobre o ENADE

(comparação com ENEM)

ENEM ENADE (componente específico)

Avaliação individual Avaliação de curso/instituição

Exame de alto impacto para estudante Exame de baixo impacto para estudante

Exame de baixo-médio impacto para escola

Exame de alto impacto para curso/instituição

Escala de proficiência calibrada Sem escala de proficiência/calibrado

pela norma

Equalizado temporalmente Sem equalização temporal

Alguns pontos sobre metodologia

• Unidade de estudo é CURSO, não aluno ou instituição

• Como não há equalização temporal, só é possível obter resultados

decorrentes de relações internas aos resultados em cada ano

• Uma vez analisadas relações internas aos resultados de cada ano,

buscar alterações de padrão entre anos distintos

• Como o objetivo é avaliar a qualidade da formação dos concluintes

na COMPONENTE ESPECÍFICA, não é útil empregar os escores

produzidos pelo INEP, como:

• CONCEITO ENADE (2011, pois usa nota da FORMAÇÃO GERAL) • IDD (valor adicionado pelo curso)

Os escores do INEP

ENADE 2011

Categoria

Administrativa Organização Acadêmica Média CE Conc

Nota Enem

Ingressantes Nota IDD CPC Faixa

PÚBLICA UNIVERSIDADES 33,03 49,97 5,00 5

PRIVADA FACULDADES 34,60 52,67 3,97 5

PRIVADA UNIVERSIDADES 38,06 59,00 4,84 5

PRIVADA UNIVERSIDADES 39,73 55,43 4,54 5

PRIVADA CENTROS UNIVERSITÁRIOS 44,67 53,12 4,75 5

PRIVADA FACULDADES 48,02 62,33 5,00 5 PÚBLICA UNIVERSIDADES 49,81 69,25 5,00 5 PÚBLICA UNIVERSIDADES 55,08 65,12 5,00 5 PRIVADA UNIVERSIDADES 55,25 57,70 5,00 5 PÚBLICA UNIVERSIDADES 56,68 67,74 5,00 5 PÚBLICA UNIVERSIDADES 57,24 69,48 4,07 5 PÚBLICA UNIVERSIDADES 57,90 67,82 4,03 5 PRIVADA UNIVERSIDADES 58,28 52,94 5,00 5 PÚBLICA UNIVERSIDADES 59,60 67,76 5,00 5 PÚBLICA UNIVERSIDADES 61,72 64,67 4,41 5 PÚBLICA UNIVERSIDADES 63,80 63,69 4,42 5 PÚBLICA FACULDADES 65,77 74,33 3,79 5 PÚBLICA FACULDADES 70,07 76,01 4,40 5 PÚBLICA FACULDADES 70,54 73,87 4,73 4

Metodologia para análise das

relações internas para cada ano

• Utilizar apenas médias dos cursos para a componente específica (CE) • 2005-2008: ingressantes e concluintes

• 2011: apenas concluintes – para ingressantes: médias dos cursos no ENEM • Separamos os cursos em quintis, pelas médias dos concluintes na CE

• Comparamos lado-a-lado, por quintis

• 2005/2008: médias dos ingressantes e concluintes na CE

• 2011: médias dos ingressantes no ENEM e médias dos concluintes na CE

• O que observar:

• Médias relativas em cada quintil e como depende dos quintis • Público x privado

Engenharias, 2008/2011

0 10 20 30 40 50 60 I II III IV V CE Ingressantes CE Concluintes 0 10 20 30 40 50 60 I II III IV V Enem Ingressantes CE Enade Concluintes Enade 2008 882 cursos R=0,797 Enade 2011 1.060 cursos R=0,540

Correlações Ingressantes x Concluintes

(médias dos cursos)

Engenharias, 2008/2011

Quintil 2008 2011 I 0,266 0,050 II 0,124 0,058 III 0,070 0,135 IV 0,128 0,110 V 0,651 0,282 Geral 0,797 0,540

2008: Conteúdo específico x Conteúdo específico

2011: Enem x Conteúdo específico

Metodologia para análise das

relações temporais

• Utilizar apenas médias dos cursos para a componente específica

(CE)

• Concluintes: 2005/2008/2011

• Separamos os cursos em quintis, pelas médias dos concluintes na

Componente Específica

• Comparamos lado-a-lado, por quintis

• Alguma normalização? (Não) • Observar

• variação relativa entre quintis

Engenharias

Médias concluintes CE

2005/2008/2011

0 10 20 30 40 50 60 I II III IV V 2005 2008 2011

Notas de corte entre grupos

2005 2008 2011 Min 5,7 13,5 8,5 I/II 31,4 29,6 30,2 II/III 36,4 33,9 35,1 III/IV 42,3 39,3 39,3 IV/V 48,2 45,4 45,6 Max 75,5 73,2 70,5 765 cursos 924 cursos 1.150 cursos

Engenharias

Médias concluintes CE - público x privado

2008/2011

0% 20% 40% 60% 80% 100% I II III IV V Total Pública Privada 0% 20% 40% 60% 80% 100% I II III IV V Total Pública Privada

2008

2011

Biologia - Ingressantes x Concluintes

2008/2011

0 10 20 30 40 50 60 I II III IV V CE Ingressantes CE Concluintes 0 10 20 30 40 50 60 I II III IV V Enen ingressantes CE Enade concluintes Enade 2008 378 cursos R=0,696 Enade 2011 520 cursos R=0,448

Biologia

Médias concluintes CE

2005/2008/2011

0 10 20 30 40 50 60 I II III IV V 2005 2008 2011 337 cursos 423 cursos 644 cursos

Notas de corte entre grupos

2005 2008 2011 Max 55,3 65,4 63,9 IV/V 29,5 42,0 48,1 III/IV 26,4 36,7 44,3 II/III 24,4 33,5 41,1 I/II 22,1 30,1 37,0 Min 10,2 9,8 4,4

Biologia

Público x Privado

2008/2011

0% 20% 40% 60% 80% 100% Total I II III IV V 0% 20% 40% 60% 80% 100% Total I II III IV V Pública Privada 2008 ₂₀₁₁

Biologia

Público x Privado

Bacharelado/Licenciatura 2011

0% 20% 40% 60% 80% 100% I II III IV V Pública Privada 0% 20% 40% 60% 80% 100% I II III IV V Total Pública Privada Licenciatura Bacharelado Total

Biologia

Licenciatura x Bacharelado 2011

N cursos por quintil

0 20 40 60 80 100 120 I II III IV V Bacharelado Licenciatura

Biologia

Licenciatura/Bacharelado 2011

Ingressantes x Concluintes

0 10 20 30 40 50 60 I II III IV V Enen ingressantes CE Enade concluintes Licenciatura 360 cursos R=0,438 0 10 20 30 40 50 60 I II III IV V Enen ingressantes CE Enade concluintes Bacharelado 161 cursos R=0,406

Biologia

Licenciatura/Bacharelado 2011

Enade/Enem

0 10 20 30 40 50 60 70 I II III IV V Enem Licenciatura Enem Bacharelado Enem ingressantes 0 10 20 30 40 50 60 I II III IV V Enade Licenciatura Enade Bacharelado Enade concluintes

Conclusões preliminares Engenharias

• A nota dos ingressantes e concluintes, até 2008, eram altamente correlacionadas (R=0,80)

• Isso se alterou com o uso do Enem, com queda significativa na correlação (R=0,54) entre ingressantes e concluintes

• O uso do Enem para estimar o valor adicionado é questionável

• Não há alteração significativa no desempenho dos concluintes ao se observar os exames de 2005-2008-2011, em termos absolutos, e o comportamento relativos à distribuição interna em cada ano também pouco se altera

• O desempenho dos concluintes dos três quintis inferiores esteve, em média, abaixo do dos ingressantes em 2005-2008.

• Não há nada que indique que houve alteração nesse comportamento em 2011 (apesar de não termos os dados dos ingressantes para o ENADE)

• A expansão do sistema se deu tanto no sistema público como no privado, sem alteração significativa das distribuições ao longo dos anos.

Conclusões preliminares

Biologia

• A nota dos ingressantes e concluintes, até 2008, eram bem correlacionadas (R=0,70)

• Isso se alterou com o uso do Enem, com queda significativa na correlação (R=0,45) entre ingressantes e concluintes

• O uso do Enem para avaliar o valor adicionado é questionável

• Há alteração significativa no desempenho dos concluintes ao se observarem os exames de 2005-2008-2011, em termpos absolutos, provavelmente devido a modificações na elaboração do exame

• O comportamento interno a cada ano mostra uma dispersão das médias abaixo da do caso da engenharia (V-I = 24,5 (E) e = 19,8 (B))

• A expansão do sistema se deu tanto no sistema público como no privado, com ligeiro crescimento relativo do setor público; houve uma pequena queda de participação do setor privado nos quintis mais altos de 2008 para 2011 • Não há diferença significativa de comportamento entre bahcarelado e

licenciatura, apenas que o desemepnho dos alunos da licenciatura é um pouco mais baixo, tanto no ENEM como no ENADE (2011)