Indicadores de qualidade para o ensino superior

No Brasil, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) é o órgão responsável por elaborar e divulgar indicadores refe- rentes à educação no país 48_{. Assim, para o ensino superior, o INEP elabora os} indicadores de qualidade 49_:

• Conceito ENADE: é um indicador de qualidade dos cursos de gradu- ação baseado no Exame Nacional de Desempenho dos Estudantes (ENADE). São considerados o número de participantes do curso no exame, suas notas no componente de Formação Geral da prova, e no Componente Específico 50_.

• Indicador de Diferença entre os Desempenhos Observado e Espe- rado (IDD): é um indicador que estima o quanto o curso de graduação efetivamente agrega ao aluno em relação ao que o modelo matemá- tico prevê. São utilizadas as notas obtidas pelos estudantes partici- pantes no ENADE em seu último ano de graduação, e as notas que obtiveram no ENEM anterior ao ingresso mais próximo na graduação 51_.

• Conceito Preliminar de Curso (CPC): combina vários aspectos asso- ciados a um curso de graduação em um único indicador. Sua elabo- ração leva em conta o desempenho dos estudantes concluintes no ENADE, o IDD, as proporções de professores mestres, doutores e em regime de trabalho parcial ou integral associados ao curso, e as mé- dias das respostas do Questionário do Estudante (exigido para parti- cipação no ENADE) referentes a organização didático-pedagógica do curso, infraestrutura e instalações físicas, e oportunidades de amplia- ção da formação acadêmica e profissional 52_.

• Índice Geral de Cursos (IGC): avalia as IES como um todo através de uma média ponderada das notas contínuas de CPC para cursos de graduação e do conceito CAPES para os cursos de pós-graduação 53_.

Por outro lado, o ENADE e as medidas associadas a este ainda apresentam controvérsias. Notavelmente: a percepção do exame por parte dos alunos e das

instituições – que resulta em um baixo comprometimento com a realização deste – e o seu impacto sobre as estratégias institucionais, uma vez que o IGC, calcu- lado parcialmente a partir da nota do exame, pode alterar questões de financia- mento da instituição e seus compromissos frente ao MEC 54_.

Outros indicadores de qualidade para o ensino superior que são de fácil acesso e análise são as classificações de universidades elaboradas por organi- zações nacionais e internacionais, como por exemplo, o RUF (Ranking Univer- sitário da Folha), ou o QS World University Rankings by Subject. Porém, tais indicadores não divulgam em detalhes os métodos utilizados para seus cálculos, o que torna mais complexo o discernimento da validade para o que se deseja estudar, mas deixam evidente que reconhecimento e pesquisa têm pesos maio- res do que ensino 55, 56_.

Em 2008, a Organização para a Cooperação e Desenvolvimento Econômico (OCDE) publicou uma revisão sobre práticas de avaliação de resultados de aprendizagem – definido como “o que alguém sabe ou é capaz de fazer como resultado de sua aprendizagem” 57 _{– para um grupo seleto de países, dentre os} quais está presente o Brasil 58_.

Nesta revisão, também foram abordados os diferentes aspectos que se po- dem fazer analisados durante tais momentos de avaliação, dentre os quais se destacam a avaliação baseada em indicadores “tradicionais”, da forma como é feita boa parte dos ranqueamentos de universidades explorados anteriormente – onde são incluídas as entradas (recursos financeiros, humanos e materiais utilizados pela instituição), e as saídas (produção da instituição, frequentemente medida por número de publicações, citações, horas de aulas ministradas, titula- ções concedidas, entre outras) – que são, portanto, focadas nas instituições como um todo, e não nos impactos que tais causam nos alunos.

Neste documento, são também mencionadas as avaliações com foco em resultados de aprendizagem, em que são investigados: resultados cognitivos – aqueles relativos a habilidades de raciocínio e solução de problemas de cunho geral ou específico, mas também relativos à lembrança de conceitos ou ideias –

e resultados não-cognitivos – relativos à mudança de valores e percepção de mundo por parte do estudante, dentre outros aspectos.

Faz-se relevante expandir a análise acerca da avaliação de resultados cog- nitivos, altamente relacionados à capacidade de trabalho em equipes, de reso- lução de problemas, e de tratamento interdisciplinar dos conhecimentos. Isso porque estes resultados cognitivos têm relação direta com o que é ressaltado nas novas DCNs e é entendido como um ponto de melhoria nas formações pro- porcionadas atualmente.

Ainda de acordo com a revisão da OCDE, dentre os países estudados exis- tem dois tipos de instrumentos de avaliação dos resultados de aprendizagem cognitiva no ensino superior: o direto e o indireto. A avaliação direta consiste na elaboração de questões ou situações-problema especificamente desenhadas para avaliar determinadas habilidades ou lembranças de conceitos e ideias. Já a indireta consiste em fornecer ao aluno momentos de autoavaliação para anali- sar suas próprias forças e fraquezas dentro do contexto de resultados cognitivos, utilizando de questionários como instrumentos.

Como o próprio relatório aponta, existem críticas às duas abordagens. De um ponto de vista prático, o ENADE, e os indicadores dele dependentes, são considerados instrumentos de avaliação direta, apesar de incluir em seu método uma seção dedicada às percepções do aluno: o chamado Questionário do Estu- dante, composto de duas partes. A primeira parte consiste de uma avaliação socioeconômica do aluno, enquanto a segunda parte diz respeito a organização didático-pedagógica, infraestrutura e instalações físicas disponíveis ao curso, e oportunidades de ampliação da formação acadêmica e profissional. O questio- nário aborda alguns aspectos relevantes à percepção da educação em engenha- ria, mas é importante notar que não aborda muitos daqueles que foram proble- matizados anteriormente. Porém, ainda é de interesse analisar, dentro do con- texto da engenharia de materiais no Brasil, as respostas do Questionário do Es- tudante, pois determinadas perguntas cobrem aspectos de interesse.

Frequentemente citados no relatório da OCDE como ferramentas para ava- liação indireta, estão os questionários (surveys) 58_{. Classificados pelo seu uso} 59_, uma das aplicações é a pesquisa confirmatória, em que a coleta de dados tem como objetivo testar hipóteses já elaboradas e articuladas teoricamente antes da aplicação do questionário. Este uso em específico se mostra interessante para avaliações da educação em engenharia no Brasil, pois como mostrado anterior- mente, já existem alguns indícios formalizados a respeito de áreas específicas de EE que devem ser aprimoradas no país, e que não podem ser confirmados apenas com os resultados do Questionário do Estudante referente à última apli- cação para cursos de engenharia de materiais, em 2017.

Por outro lado, muito ainda é debatido acerca da validade de avaliações de estudantes, particularmente no que diz respeito à qualidade de ensino 60_{. Argu-} menta-se que os conceitos de qualidade educacional são diferentes entre estu- dantes e professores, o que torna mais difícil conciliar os desejos de ambas as partes frente ao questionário, mas estudos de validação deste tipo de instru- mento de pesquisa apontam que é interessante abordar aspectos de qualidade educacional com os dois públicos 61_{. Existem críticas também à generalização} das opiniões causada por questionários aplicados a estudantes, pois opiniões singulares se perdem em meio ao consenso 62_{; e porque, muitas vezes, aqueles} que elaboram esse tipo de questionário não estão em contato com a realidade acadêmica que buscam avaliar, e, por consequência, não possuem um entendi- mento das vertentes de qualidade educacional.

No caso de cursos da UFSCar, existem ferramentas internas de avaliação, notavelmente a Avaliação Institucional de Cursos. Nela constam as percepções discentes 63 _{e docentes} 64 _{a respeito das condições de funcionamento do curso,} resultados de aprendizagem e coerência com o perfil de egressos buscado pela universidade, dentre outros aspectos relativos ao curso.

Com ferramentas e dados de abrangência nacional e local, é possível traçar panoramas gerais sobre a evolução e o contexto atual do ensino em engenharia de materiais no Brasil, e especificamente na UFSCar, que serão de grande im- portância para ancorar as mudanças e reformas pretendidas para este curso.