EXAME NACIONAL DE DESEMPENHO DE ESTUDANTES

O Exame Nacional de Desempenho de Estudantes (Enade) é parte integrante do Sistema Nacional de Avaliação da Educação Superior (Sinaes) que foi instituído pela Lei n° 10.861/04 (INEP, 2004), cuja finalidade é promover a melhoria da qualidade da Educação Superior, orientar a expansão de sua oferta, o aumento permanente da sua eficácia institucional e a efetividade acadêmica, social e o aprofundamento dos compromissos e responsabilidades sociais (TENÓRIO; ARGOLLO, 2009).

O Sinaes tem como objetivo assegurar que o processo de avaliação das instituições de educação superior, dos cursos de graduação e do desempenho acadêmico de seus discentes esteja de acordo com o que estabelece a Lei de Diretrizes e Base da Educação Nacional. A LDB, Lei n° 9.394 de 20 de dezembro de 1996 (BRASIL, 1996), prioriza os processos de avaliação da educação visando à melhoria da qualidade do ensino em geral, no sentido de desenvolver as habilidades e competências dos indivíduos. Com a LDB 9.394/1996, a avaliação da Educação Superior assume um papel importante nas discussões referentes às políticas

69 educacionais, uma vez que é dever do Estado garantir uma educação pública e de qualidade a todos os cidadãos.

De acordo com Paiva (2008), o Sinaes apresentou um novo modelo de avaliação do desempenho acadêmico, com metodologia hábil a soluções dos problemas imputados ao Exame Nacional de Cursos, antigo “provão”, cabendo, ao mesmo a responsabilidade de propor e implementar novas metodologias de avaliação que possam efetivar a atual política de avaliação do Ensino Superior.

Segundo Polodori et al. (2006), o Sinaes possui três componentes principais: a avaliação das instituições, dos cursos e do desempenho dos estudantes. Este modelo de avaliação tem como base a avaliação institucional, que compreende a avaliação externa e a avaliação interna, principalmente com seu componente central, a autoavaliação.

O Enade é um dos elementos integrantes do Sinaes e busca diagnosticar as “habilidades acadêmicas e as competências profissionais” dos estudantes de graduação avaliados (BRASIL, 2004, p.1). De acordo com o artigo 5º, 1º parágrafo da Lei 10. 861 de 2004, o Enade deverá verificar

[...] o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, suas habilidades para ajustamento às exigências decorrentes da evolução do conhecimento e suas competências para compreender temas exteriores ao âmbito específico de sua profissão, ligados à realidade brasileira e mundial e a outras áreas do conhecimento (BRASIL, 2004, p. 2).

Dentre as avaliações que integram o Sinaes, o Enade é a única avaliação voltada para o conhecimento sobre o desempenho dos estudantes de graduação do país com relação às competências, aos conteúdos curriculares e à formação acadêmica e profissional dos estudantes. Por ser uma avaliação dinâmica, o Enade se preocupa em ter informações do “processo educativo” com menor enfoque no “controle e verificação” (DIAS SOBRINHO, P. 214, 2010).

De acordo com a legislação vigente (Lei 10.861 de 2004), o Enade é um componente curricular obrigatório aos cursos de graduação anualmente selecionados pelo Ministério da Educação, tendo sido, inicialmente, aplicado periodicamente aos estudantes de todos os cursos de graduação, durante o primeiro (ingressantes) e último (concluintes) ano do curso. A partir de 2012, passou a ser aplicado apenas aos estudantes concluintes e a avaliação dos estudantes

70 ingressantes passou a ser realizada através do Exame Nacional do Ensino Médio (Enem). Para a realização do Enade, é selecionada uma amostra de estudantes ingressantes (7% a 22% cumpridas a carga horária do curso) e concluintes (80% de conclusão da carga horária do curso), acontecendo a sua aplicação a cada três anos (BRASIL, 2004). A participação do estudante habilitado ao Enade é condição indispensável ao registro da regularidade no histórico escolar, é uma condição imperativa para a expedição do diploma pela instituição de ensino. Seus resultados poderão ser utilizados para auxiliar as definições de ações voltadas à melhoria da qualidade dos cursos de graduação, que são úteis para a sociedade, especialmente aos estudantes, como referência quanto às condições de cursos e instituições.

O Enade é desenvolvido com o apoio técnico de Comissões Assessoras de Avaliação de Áreas e Comissão Assessora de Avaliação da Formação Geral. Estas comissões, compostas por especialistas de notório saber, atuantes na área, são responsáveis pela determinação das competências, conhecimentos, saberes e habilidades a serem avaliadas e todas as especificações necessárias à elaboração da prova a ser aplicada pelo Enade (INEP, 2014a).

Esse exame é formado a partir dos seguintes instrumentos: 1) a prova, composta por uma parte abordando conteúdos de formação geral e uma segunda parte com componentes mais específicos, com questões de múltipla escolha, discursivas e com graus diferentes de complexidade, o que possibilita ser respondida por estudantes que se encontram no início ou no final do seu curso de graduação; 2) o questionário socioeconômico, para contribuir na composição do perfil dos estudantes; 3) o questionário de impressões do estudante sobre a prova; e 4) o questionário do coordenador do curso, buscando coletar informações referentes ao ensino e à parte pedagógica dos cursos (BRASIL, 2004; POLIDORI; MARINHO- ARAUJO; BARREYRO, 2006).

A utilização dos dados do Enade nesta tese é devido ao fato do Enade ser a única avaliação em larga escala nacional que mede os conhecimentos adquiridos pelos estudantes durante o curso de graduação nas Instituições de Ensino Superior e que permite identificar os estudantes que ingressaram no curso de graduação por meio de alguma política de ação afirmativa e inclusão social e seus microdados com as informações dos estudantes que estão facilmente disponíveis no site oficial do Inep.

71 Para Dias Sobrinho (2010), o Enade é uma avaliação dinâmica, formativa por ser uma avaliação processual com menor ênfase no resultado final e associado ao contexto mais amplo dos cursos. Com os resultados do exame, os estudantes têm como possibilidade refletir sobre suas dificuldades ou que aspectos precisam ser revistos em sua formação dentro do espaço acadêmico.

Alguns autores, como Dias Sobrinho (2010), Ristoff (2004) e Rothen e Barreyro (2011), apresentam algumas das limitações dessa avaliação. Para Dias Sobrinho (2010), deve-se ter o cuidado em não ter como referência sobre a qualidade da Educação Superior somente o Enade, nem o foco na classificação da IES. Segundo o referido autor, na criação do Sinaes, deixa-se como brecha a utilização do Enade para a construção de rankings, o que acaba retomando o enfoque “técnico- burocrático”. Esse novo direcionamento tende a dar maior visibilidade e enfoque ao Enade e às avaliações para classificação, o que se assemelha como o perfil estático do Provão. Destaca ainda que um exame aplicado em larga escala tende a levar a uma mudança e consolidação das estruturas curriculares, com enfoque nas exigências desses exames, consequentemente, com enfraquecimento da avaliação institucional. Corroborando com esse autor, Rothen e Barreyro (2011) identificam como limitantes do Enade a manutenção do processo de comparação do desempenho obtido pelas instituições e a simplificação dos resultados das avaliações. Além disso, as avaliações externas realizadas com foco na regulação e controle tendem a comprometer a implementação de políticas públicas voltadas para a democratização e valorização da educação; mesmo sendo direcionadas para a regulação, acabam tendo pouco impacto na diminuição das instituições de baixa qualidade.

A avaliação se completa quando vai além dos índices e escalas comparativas e engendra questionamentos a respeito das significações e valores, interroga sobre as causas e investe em programas e ações para superar os problemas e deficiências. Por isso, não está somente voltada ao já realizado; precisa estar aberta à construção do futuro, a novas interpretações e possibilidades (DIAS SOBRINHO, 2010).

Para Ristoff (2004, p.182-183) as dificuldades não são somente técnicas, mas são também de cunho “acadêmico e político”, pois, considera que há “[...] muito a ser feito para que a avaliação seja percebida no campus, na sua dimensão formativa

72 e pedagógica e não unicamente como uma exigência governamental”. Dentro da compreensão de um sistema, como o Sinaes, o referido autor considera que o Enade é uma avaliação importante, mas há existência de outras que são consideradas significativas.

Considerando essas limitações apresentadas por pesquisadores na temática de avaliação da Educação Superior, Verhine e Dantas (2009) ressaltam que as limitações próprias do Enade devem ser consideradas, mas estas não justificam a não utilização de uma avaliação em larga escala, como o Enade. Os autores apresentam três motivos da validade de uma avaliação como o Enade, apresentados a seguir.

O primeiro motivo seria a criação de um “[...] clima favorável à avaliação da Educação Superior” (VERHINE, DANTAS, 2009, p.186). Mesmo sendo uma necessidade a ocorrência de avaliações em larga escala da Educação Superior, a falta de consenso foi um impeditivo para a realização deste tipo de avaliação. Antes do Exame Nacional de Cursos (1996-2003) e do Exame Nacional de Desempenho dos Estudantes (2004 até os dias atuais), não havia um conjunto de informações consolidadas sobre a realidade da Educação Superior brasileira. Assim, a realização de avaliações contribuiria para a promoção de uma cultura de avaliação (VERHINE, DANTAS, 2009).

O segundo motivo refere-se às informações oriundas dos outros instrumentos de constituição do Enade, que além da prova, possui os questionários voltados para os estudantes, para a coleta de informações sobre o perfil socioeconômico e referente às impressões sobre a prova e um questionário direcionado para o coordenador do curso. Esses instrumentos contribuem para a caracterização do perfil dos estudantes e conhecimento sobre a Educação Superior brasileira. E o terceiro motivo é que, sem esses testes, não teríamos dados ampliados sobre os estudantes desse nível de ensino. Todavia, os autores ressaltam que, mesmo identificando a importância de realização do Enade, essa avaliação não deverá ser utilizada como “única medida de qualidade” (VERHINE, DANTAS, 2009, p.187).

73 3. PROCEDIMENTOS METODOLÓGICOS

No presente capítulo, estão descritos e explicitados os procedimentos metodológicos aplicados na investigação, a partir dos objetivos estabelecidos nesta tese. Inicialmente, apresentamos a origem da base de dados e a população de estudo. Em seguida, procedemos à descrição das variáveis que compõem a base de dados e os critérios de inclusão e exclusão dos sujeitos. Logo após, apresentamos as técnicas estatísticas utilizadas nas análises. E por fim, descrevemos as variáveis latentes construídas para representar as dimensões dos estudantes e da Instituição de Ensino Superior.

A definição das abordagens e dos métodos de análises é essencial para o desenvolvimento da qualquer pesquisa. Cada investigação é uma experiência única que utiliza caminhos próprios cuja escolha está relacionada aos objetivos e hipóteses traçados neste percurso. Portanto, é necessário submeter as hipóteses à comprovação a que se deseja alcançar (QUIVY; CAMPENHOUDT,1998).

O emprego de dados quantitativos nas pesquisas voltadas para a área educacional no Brasil teve um avanço a partir da década de 1990, em virtude dos exames externos de rendimento escolares realizados periodicamente em alguns sistemas educacionais do Brasil. A maioria dessas pesquisas utilizam os métodos estatísticos como ferramentas de análise para identificar e explicar quais fatores sociais, econômicos e políticos estão associados ao desempenho do estudante, a exemplo da pesquisa de Lago et al. (2015), que usou o método dos Mínimos Quadrados Ordinários com dados agrupados, com a finalidade de estimar o impacto de ser cotista sobre a nota média semestral em comparação com os alunos não cotistas.

Cavalcanti (2015) usou os modelos Propensity Score Matching para analisar a diferença por gênero entre os grupos de indivíduos que participaram das cotas (grupo de tratamento) e não cotista (grupo controle) e medir os níveis de incompatibilidade de educação entre os estudantes, pelo método Realized Matches ajustado. Marconi (2014) utilizou os modelos hierárquico-lineares com o objetivo de identificar os fatores associados ao desempenho dos novos engenheiros formados no Brasil, por meio dos dados do Exame Nacional de Desempenho de Estudantes 2011.

74 Catunda (2012) utilizou os métodos de análise bivariada, Análise de Classe Latente, os Modelos de Equações Estruturais e Regressão logística, a fim de identificar os fatores que determinam a qualidade dos cursos de graduação na área de gestão/administração no Brasil, em 2006, a partir de informações produzidas com o desempenho dos alunos e dos cursos no Enade. Moreira (2010) fez uso dos modelos de Regressão Linear, para caracterizar as IES públicas e privadas que oferecem os cursos selecionados, com relação às variáveis institucionais relevantes, analisando as diferenças existentes, e buscou identificar e analisar o nível de interferência de variáveis institucionais no desempenho do estudante no Enade, assim como características individuais dos alunos, controlando a influência das variáveis socioeconômicas familiares. Diaz (2007) usou os modelos hierárquicos, com o objetivo de analisar o impacto de características institucionais sobre o desempenho dos alunos das áreas de Administração, Direito e Engenharia Civil que realizaram o Exame Nacional de Cursos no ano de 2000.

A utilização de base de dados também se configura uma característica da pesquisa documental, visto que os bancos de dados elaborados pelos grandes institutos de pesquisa – Instituto Brasileiro de Geografia e Estatística (IBGE), Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), Instituto Brasileiro de Opinião Pública, entre outros –, são consideradas fontes secundárias de informações que foram coletadas por terceiros e devem ser vistas como um tipo de documento a ser analisado.

A pesquisa documental é um procedimento no qual se utilizam métodos e técnicas para a coleta, compreensão e análise de documentos dos mais variados tipos. Caracteriza-se pela busca de informações em documentos que não receberam nenhum tratamento científico, ou que podem ser reexaminados, buscando-se novas interpretações ou mesmo complementares. Pode ser considerada uma fonte natural de informações, à medida que, por terem origem num determinado contexto histórico, econômico e social retratam e fornecem dados sobre este mesmo contexto. De acordo com Sá-Silva, Almeida e Guindani (2009), a riqueza de informações que podemos extrair de um banco de dados justifica o seu uso em várias áreas das Ciências Humanas e Sociais, porque possibilita ampliar o entendimento do objeto analisado, cuja compreensão necessita de contextualização histórica e sociocultural.

75 A gama de informações contidas nas bases de dados requer a aplicação de técnicas de análise mais robustas e sofisticadas que necessitam de conhecimentos técnico e teórico dos modelos estatísticos. É importante deixar claro que o sucesso das técnicas estatísticas depende da qualidade teórica e da perspectiva epistêmica na abordagem do problema, as quais norteiam as análises e as interpretações. Quivy e Campenhoudt (1998) trazem uma importante reflexão sobre a importância da interpretação das informações extraídas dos dados:

Os instrumentos estatísticos têm um poder de elucidação limitado aos postulados e às hipóteses metodológicas sobre que se baseia, mas não dispõem, em si mesmo, de um poder explicativo. Pode descrever relações, estruturas latentes, mas o significado dessas relações e dessas estruturas não deriva dele. É o investigador que atribui um sentido a estas relações, por meio do modelo teórico que construiu previamente e em função do qual escolheu um método de análise estatística (QUIVY; CAMPENHOUDT,1998, p. 225).

Os modelos estatísticos descrevem as relações e as estruturas latentes entre os fenômenos observados, mas o significado destas relações não deriva apenas dos resultados apresentados pelos modelos estatísticos. É o investigador quem atribui um sentido a essas relações, por meio do modelo teórico que construiu previamente e em função do qual escolheu um método de análise estatística (QUIVY; CAMPENHOUDT, 1998).

A metodologia aplicada nesta tese buscou atender aos seguintes objetivos: a) verificar se existe diferença significativa no desempenho entre os estudantes cotistas e não cotistas no Enade 2013 e 2014; b) investigar se as características pessoais e familiares do estudante influenciam no desempenho no Enade; c) investigar se as características das universidades, dos cursos de graduação e dos docentes influenciam no desempenho no Enade; d) conhecer o perfil dos estudantes cotistas e não cotistas e) verificar em qual(is) curso(s) o desempenho dos cotistas e não cotistas diferem significativamente.

Na busca pelo cumprimento de tais objetivos utilizamos os modelos da Teoria de Respostas ao Item (TRI), na construção de escalas de medida (construtos), para representar as características de interesse, de modo que seja possível identificar e compreender os fenômenos que interferem no desempenho do estudante com clareza e precisão para, assim, utilizá-los nos modelos de regressão multinível.

76 3.1 ORIGEM DA BASE DE DADOS E POPULAÇÃO DE ESTUDO

O vigente trabalho analisou dados quantitativos e secundários, produzidos pelo Ministério da Educação na avaliação de cursos de graduação das Universidades Federais da Região Nordeste, mediante o Exame Nacional de Desempenho de Estudantes nos anos de 2013 e 2014. As bases de dados foram extraídas do site oficial do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Trata-se de uma autarquia vinculada ao Ministério da Educação e tem a missão de promover estudos, pesquisas e avaliações sobre o Sistema Educacional Brasileiro, com o objetivo de subsidiar a formulação e implementação de políticas públicas para a área educacional a partir de parâmetros de qualidade e equidade, bem como produzir informações claras e confiáveis aos gestores, pesquisadores, educadores e público em geral (INEP, 2014).

A população de estudo é referente aos estudantes concluintes regularmente matriculados nos cursos de graduação das Universidades Federais da Região Nordeste do Brasil, as quais adotaram alguma política de reserva de vagas para egressos de escola pública, para negros e indígenas, estudantes de baixa renda e a concessão de bônus na pontuação do vestibular ou na nota do Enem para indivíduos que cursaram o Ensino Médio em escola pública como parte do processo seletivo para o ingresso de candidatos em seu cursos de graduação e que foram avaliados pelo Exame Nacional de Desempenho dos Estudantes nos anos de 2013 e 2014.

Sabe-se que a implementação das políticas de ação afirmativa, como parte do processo seletivo para ingresso na maioria das Universidades Federais da Região Nordeste é uma realidade muito recente. Portanto, optamos por analisar os dados do Enade 2013 e 2014, na tentativa de obter um maior percentual de estudantes concluintes cotistas. Além disso, outro motivo que nos levou a escolher esse recorte temporal é a mudança na estrutura do questionário do estudante feita a partir de 201315. Não analisamos os dados do Enade 2015 porque, até o presente momento, o Inep não disponibilizou os microdados deste ano.

15

Devido à mudança na estrutura no questionário do estudante a partir de 2013, teve-se que criar uma estratégia para aproximar o “sentido conceitual” das variáveis presentes nas bases de dados de 2010 a 2014. As categorias de resposta das maiorias das variáveis foram reduzidas em apenas duas categorias, “1” – Sim e “0” – Não, para construir os construtos de interesse descritos mais adiante. Essa redução tornou os itens pouco satisfatórios na estimação do traço latente e, consequentemente,

77