EVIDÊNCIAS DE VALIDADE DAS PROVAS DOS CURSOS DE

ENGENHARIA

Márcia Regina F. de Brito (Unicamp) Claudette Maria Medeiros Vendramini (USF)

Considerações iniciais

A Lei n° 10.861, de 14 de abril de 2004 (BRASIL, 2004), instituiu o Sistema Nacional de Avaliação da Educação Superior (Sinaes). Esse sistema considera, em sua proposta, que a avaliação de desempenho dos estudantes deverá levar em consideração o quanto a instituição de educação acrescenta aos estudantes ao longo do curso, ou seja, permite verificar o efeito do curso sobre o aprendizado do estudante, buscando evidenciar o que a IES acrescenta ao perfil cultural e profissional do aluno.

A prova do Exame Nacional de Desempenho (Enade) é um instrumento de medida que busca aferir o desempenho de estudantes ingressantes e concluintes de cursos superiores. A prova é um instrumento de medida e, como qualquer outro instrumento de medida, precisa atender alguns requisitos psicométricos que atestem que essa prova atende aos objetivos para os quais foi construída.

De acordo com várias entidades internacionais, que tratam de questões de psicometria (Aera; APA; NCTM; 1999), o principal requisito de verificação diz respeito à validade do instrumento, a qual é

TRAJETÓRIA E ESTADO DA ARTE DA FORMAÇÃO EM ENGENHARIA, ARQUITETURA E AGRONOMIA

180

verificada por meio da constatação da existência de evidências científicas que atestem a legitimidade das interpretações baseadas nos resultados dos instrumentos utilizados.

O Enade foi elaborado a partir da proposta do Sinaes (LIMANA; BRITO, 2005), com o objetivo específico de levantar dados sobre o progresso do estudante nos diferentes temas tratados, mudanças estas que ocorrem ao longo da trajetória acadêmica do estudante e que podem ser atribuídas à influência da instituição de educação superior e do curso frequentado. Além disso, também procura levantar dados sobre as diferenças, na magnitude dessa influência, entre as diversas instituições que oferecem cursos com a mesma denominação.

Com base nessa concepção, uma das interpretações possíveis considera as diferenças de desempenho entre os estudantes concluintes e ingressantes como indicativo de mudança ocorrida durante sua trajetória acadêmica. O propósito geral da presente análise foi o de buscar evidências de validade dessa interpretação, tanto no nível geral de cada prova, por área e por curso, quanto no nível de cada item de cada prova.

Essa informação é fundamental porque permite um diagnóstico mais detalhado por especialistas da área, como também sobre o que vem ocorrendo em sua área no país. Além disso, fornece aos especialistas responsáveis pelas construções das provas do Enade mais detalhes sobre os tipos de questões mais adequadas para a avaliação que se pretende fazer. É importante esclarecer alguns aspectos fundamentais da metodologia empregada e as implicações decorrentes para a interpretação dos dados.

É importante considerar que, em 2005, ainda não era possível avaliar as mudanças ocorridas ao longo da trajetória acadêmica do estudante. Essa avaliação só poderia ser feita se os dados fossem longitudinais, isto é, obtidos por meio de avaliações sucessivas do mesmo estudante ao longo do tempo. Como os dados obtidos por meio do Enade 2005 são transversais, só é possível avaliar as diferenças de desempenho ocorridas entre ingressantes e concluintes no mesmo ano, mas não as mudanças ocorridas nesses estudantes. A possibilidade desse tipo de análise só poderá ser feita quando os resultados do Enade 2008 dos grupos das Engenharias estiverem disponíveis e puderem ser analisados juntamente com os resultados de 2005, usando os modelos de análise previamente estabelecidos (LIMANA; BRITO, 2005; VENDRAMINI, 2005).

As interpretações das diferenças de desempenho entre ingressantes e concluintes devem ser feitas com cautela; pois, somente, se o nível de desempenho dos estudantes concluintes participantes do exame no ano de 2005 for similar ao desempenho dos ingressantes participantes do Enade no mesmo ano, será possível inferir que essa diferença é um indicativo de mudança. As diferenças de desempenho podem representar indicativos efetivos de mudança em alguns casos e em outros não.

Além das considerações anteriores, é necessário ressaltar que o efeito do curso sobre os alunos só poderia ser analisado se a pesquisa feita fosse do tipo experimental, o que não é o caso; portanto, não é possível estabelecer asserções conclusivas a esse respeito. Evidentemente, parte do desempenho dos estudantes pode ter ocorrido por influência do curso, entretanto na realidade ele é resultado de múltiplas influências e muitas delas existentes em tempos e espaços diferentes daqueles circunscritos ao percurso

181

acadêmico do aluno (BRITO; VENDRAMINI; PRIMI, 2006). Como ressaltam esses autores, o Enade faz parte de um sistema mais amplo, o Sinaes, que considera, além do desempenho dos estudantes, outros indicadores de qualidade da instituição e dos cursos, e leva em consideração um importante fator para avaliar “mudanças”, o controle de diferenças preexistentes nos estudantes, ao considerar que parte das diferenças no desempenho observadas ao final do curso pode ser explicada pelas diferenças existentes já de início, quando os alunos entram nos cursos. Resultados em um instrumento que tenha por propósito a avaliação da mudança ocorrida ao longo de um determinado percurso não deveriam ser influenciados por outras variáveis, como, por exemplo, diferenças preexistentes antes mesmo que o estudante tenha iniciado seu percurso acadêmico.

A parcela da variância dos dados que seria explicada por diferenças preexistentes poderia ser considerada, na terminologia de Messik (1995), como a variância confiável de construto irrelevante. Brito, Vendramini e Primi (2006) dizem ser importante considerar essa parcela de variância dos dados quando se fala em validade de um instrumento, e argumentam que, segundo Messick (1995), uma avaliação muito ampla contém excesso de variância confiável associada a diferentes construtos, que afetam as respostas dos indivíduos de maneira irrelevante ao construto que está sendo interpretado. No caso do Enade, espera-se que este seja capaz de detectar diferenças em relação aos conteúdos específicos que foram de fato adquiridos ao longo do curso. Portanto, segundo os autores, diferenças de desempenho no Enade, isto é, a variância das notas na prova deve estar associada aos conhecimentos adquiridos durante o percurso no ensino superior.

Nesse sentido, em uma prova válida espera-se que a maior parte da variância esteja associada às diferenças que são construídas durante o percurso acadêmico do aluno na IES. Assim, o objetivo da análise proposta neste estudo foi verificar se as provas do Enade da área de Engenharia são sensíveis para detectar os conhecimentos que são aprendidos no contexto específico do ensino superior.

A análise foi sistematizada, tal como a realizada por Brito, Vendramini e Primi (2006), para analisar as diferenças entre os cursos que participaram do Enade em 2004, por meio da análise de variância (Anova). Esse procedimento teve por objetivo explicar a variância de desempenho considerando uma série de fatores que operacionalizam efeitos relevantes, que são componentes constituintes da variância do desempenho.

Considerou-se neste estudo que parte da variância do desempenho dos estudantes de Engenharia pode ser explicada pelo momento da formação em que os estudantes se encontram, ou seja, estudantes no final do curso (concluintes) devem, em média, apresentar melhor desempenho em relação aos estudantes que ainda estão iniciando o curso (ingressantes). Portanto, uma primeira variável chamada “estudante” possui dois níveis, correspondendo à divisão entre ingressantes e concluintes. Uma parte da variância do desempenho pode estar relacionada aos cursos, isto é, os cursos podem diferir no que se refere ao efeito que têm em seus alunos. Alguns cursos podem concentrar alunos com melhor desempenho e outros com pior desempenho. Essa variável foi operacionalizada pela média ponderada de desempenho dos alunos de cada curso. A ponderação utilizou a fórmula usada para atribuir os cinco níveis de desempenho aos cursos, explicada em detalhes nos diferentes relatórios técnicos divulgados pelo Inep. Muitas vezes

TRAJETÓRIA E ESTADO DA ARTE DA FORMAÇÃO EM ENGENHARIA, ARQUITETURA E AGRONOMIA

182

essa variável é chamada de “variável contextual”, já que representa, para cada aluno de um determinado curso, o contexto onde ele está inserido. Cursos com vários alunos com alto desempenho terão médias mais elevadas, refletindo a qualidade global daquele grupo. Na análise, cada aluno recebia uma nota correspondente ao curso que ele fazia parte. Essa variável foi chamada “Nível de desempenho” e possui cinco níveis (1, 2, 3, 4 e 5), sendo que o número “1” indica desempenho mais baixo do contexto onde o aluno está inserido e “5” indica desempenho mais alto.

Assumindo os pressupostos explicitados nos parágrafos anteriores, a hipótese de pesquisa associada às evidências de validade do Enade de 2005, para as Engenharias, pode ser operacionalizada testando a interação entre “estudantes” e “nível de desempenho”. Supõe-se que, se a prova estiver avaliando o conhecimento que foi adquirido durante a passagem do estudante pela IES, as diferenças de médias de desempenho dos ingressantes (agrupadas em cinco níveis) entre os diferentes cursos não devem ser significativas, uma vez que esses alunos ainda não tiveram experiência formal de aprendizado dos conteúdos avaliados. Por outro lado, é esperado que os concluintes apresentem médias significativamente diferentes, sugerindo diferenças na qualidade das experiências de aprendizagem vivenciadas nos cursos. Dessa forma, a hipótese de interesse nesta investigação refere-se à interação significativa entre estudante e nível de desempenho. Nesse sentido, o efeito do curso (nível de desempenho), refletido pelas diferenças de médias entre os cinco subgrupos de alunos, não deve ocorrer entre os ingressantes, mas sim entre os concluintes, sugerindo que as diferenças de desempenho se desenvolvem ao longo do percurso acadêmico.

Há ainda mais duas variáveis de interesse relativas às provas do Enade. As provas são divididas em dois componentes: um deles avaliando a Formação geral, e outro a Formação específica do curso. Para a área de Engenharia, o presidente do Inep, por meio de portarias específicas para cada grupo da área de Engenharia, de 24 de agosto de 2005 (BRASIL, 2005), considerando as definições estabelecidas pela Comissão Assessora de Avaliação da Área de Engenharia, pela Comissão Assessora de Avaliação da parte comum dos cursos de graduação dos grupos de Engenharia e pela Comissão Assessora de Avaliação da Formação Geral do Enade, estabelece que a prova, com duração total de quatro horas, deve ser composta por um componente de avaliação da Formação geral comum aos cursos de todas as áreas, um componente comum à área de Engenharia (Grupos I a VIII) e um componente específico para o Grupo I.

No artigo 8º de cada portaria é estabelecido que o componente específico de cada grupo da área de Engenharia (Grupos I a VIII) deve conter 30 questões, discursivas e de múltipla escolha, envolvendo situações-problema e estudos de caso, de acordo com os conteúdos definidos no artigo 7º de cada portaria, da seguinte forma: 10 questões do Núcleo de Conteúdos Básicos (comum aos Grupo I a VIII); 15 questões do Núcleo de Conteúdos Profissionalizantes Específicos do grupo; e 5 questões diferenciadas do Núcleo de Conteúdos Profissionalizantes Específicos de cada curso em cada grupo, a serem respondidas exclusivamente pelos estudantes dos seus respectivos cursos.

Diante disso, neste estudo são considerados mais dois fatores intrassujeitos, o primeiro chamado “componente”, com dois níveis (formação geral e formação específica – parte comum), e o segundo chamado “tipo de prova”, com dois níveis (objetiva e discursiva). Quando incluídos na análise, os efeitos

183

principais desses fatores comparam as médias de desempenho nas questões de formação geral versus formação específica – parte comum e nas questões objetivas versus discursivas também são calculadas todas as interações com os outros fatores analisados. O efeito de maior interesse, no que se refere à validade do Enade, está na interação de terceira ordem entre componente x estudante x nível de desempenho, já que se espera que o padrão descrito acima, de diferenças mais acentuadas entre os concluintes, ocorra principalmente nos itens de Formação específica.

Método: fonte de dados

O banco de dados inicialmente constava de 387.971 estudantes, sendo 52,6% do gênero feminino, distribuídos em concluintes e ingressantes conforme dados apresentados na Tabela 5.1.

TABELA 6.1 DISTRIBUIÇÃO DO NÚMERO DE ESTUDANTES DE ACORDO COM A PROGRESSÃO NO

CURSO

Em relação à distribuição de estudantes segundo o tipo de presença na prova, foi possível verificar que 40.452 estudantes não tinham sido selecionados para participar do Enade 2005, participantes estes que não estavam de acordo com o critério previamente estabelecido para o tipo de análise escolhida (Tabela 5.2).