UNIVERSIDADE FEDERAL FLUMINENSE – UFF
ESCOLA DE ENGENHARIADEPARTAMENTO DE ENGENHARIA DE PRODUÇÃO
GRADUAÇÃO EM ENGENHARIA DE PRODUÇÃO
PROJETO DE MELHORIA DO DESEMPENHO DO CURSO DE ENGENHARIA DE PRODUÇÃO (UFF- NITERÓI) EM SISTEMAS NACIONAIS DE AVALIAÇÃO DE CURSOS DE GRADUAÇÃO.
AUTOR: ANA BEATRIZ CAETANO ORIENTADOR: SUZANA DANTAS HECKSHER
FERNANDO CAIO NEVES CHALRÉO ORIENTADOR DO TRABALHO
NITERÓI Dezembro de 2017
ANA BEATRIZ CAETANO DE SOUZA
PROJETO DE MELHORIA DO DESEMPENHO DO CURSO DE ENGENHARIA DE PRODUÇÃO (UFF- NITERÓI) EM SISTEMAS
NACIONAIS DE AVALIAÇÃO DE CURSOS DE GRADUAÇÃO.
Trabalho de Conclusão de Curso apresentado ao curso de Graduação em Engenharia de Produção da Universidade Federal Fluminense, como requisito parcial para aquisição do Grau de Engenheiro de Produção.
ORIENTADOR: SUZANA DANTAS HECKSHER
Niterói, RJ 2017
ANA BEATRIZ CAETANO DE SOUZA
PROJETO DE MELHORIA DO DESEMPENHO DO CURSO DE ENGENHARIA DE PRODUÇÃO (UFF- NITERÓI) EM SISTEMAS
NACIONAIS DE AVALIAÇÃO DE CURSOS DE GRADUAÇÃO.
Trabalho de Conclusão de Curso apresentado ao curso de Graduação em Engenharia de Produção da Universidade Federal Fluminense, como requisito parcial para aquisição do Grau de Engenheiro de Produção.
Aprovada em ___ de ______________ de _______
BANCA EXAMINADORA
___________________________________________________________________ Prof. Suzana Dantas Hecksher
___________________________________________________________________ Prof. Elisabeth Flávia Roberta Oliveira da Motta
___________________________________________________________________ Prof. Emmanuel Paiva de Andrade
Niterói, RJ 2017
RESUMO
Com a recente expansão da educação superior no Brasil, alguns sistemas de avaliação da qualidade do ensino foram desenvolvidos e tornaram-se importantes instrumentos de decisão para diferentes atores da sociedade, com destaque para estudantes, professores e profissionais de mercado. Nesse contexto, o presente estudo selecionou as avaliações do Ministério da Educação, da Folha de São Paulo e da Revista Guia do Estudante para analisar o desempenho do curso de Engenharia de Produção da Universidade Federal Fluminense de Niterói. O objetivo dessa análise consiste em definir diretrizes que levem o curso a manter ou alcançar conceitos de excelência nos diferentes sistemas de avaliação, a fim de aumentar seu reconhecimento perante à sociedade e sua atratividade entre alunos e professores. A partir da compreensão dos indicadores e critérios utilizados pelos diferentes sistemas de avaliação, foi realizada uma análise do histórico dos resultados disponíveis para o curso da UFF entre 2008 e 2017 e um comparativo com benchmarks de outras instituições de ensino. Com isso, foi possível mapear pontos fortes no curso da UFF, como a composição do corpo docente, e identificar pontos fracos, como a percepção dos estudantes sobre infraestrutura e organização didático pedagógica, o que permitiu entender onde estão as oportunidade de melhoria para o curso tornar-se uma referência nacional.
Palavras-Chave: Sistemas de Avaliação de Ensino Superior. Ranking de Cursos. CPC. Enade. Engenharia de Produção. UFF.
ABSTRACT
After the recent expansion of higher education in Brazil, quality assessment have been improved and its indicators have become important decision tools for society, especially students, teachers, and entreprises. In this context, this study selected the assessments of Ministério da Educação, Folha de São Paulo and the magazine Guia do Estudante to analyze how Industrial Engineering class of Universidade Federal Fluminense (UFF) in Niterói is performing. The main purpose of this study is to establish guidelines that will lead the course to maintain or achieve its excellence in order to increase its influence in society and its attractiveness among students and teachers. Based on the indicators used by the different assesments, a benchmarking between educational institutions was done considering the period from 2008 to 2017. Therefore, it was possible to identify strengths of UFF, as the teaching staff, and weaknesses, as the perception of students about infrastructure and pedagogical organization, which allowed us to understand where are the opportunities of improvement so the Industrial Engineering class at UFF can become a national reference.
Key-words: Higher Education Assessment.University Ranking. CPC. Enade. Industrial Engineering. UFF.
LISTA DE FIGURAS
Figura 1 – Aspectos do Ranking de Cursos do RUF, p.32
Figura 2 – Aspectos da Avaliação de Universidades do RUF, p.33 Figura 3 – Estrutura metodológica, p.35
LISTA DE TABELAS
Tabela 1 – Distribuição do peso de questões do Enade, p.24 Tabela 2 – Formação das faixas de Conceito Enade, p.26 Tabela 3 – Composição do Conceito Premilinar de Curso, p.27
Tabela 4 - Indicadores considerados em cada avaliação estudada, p.34 Tabela 5 - Ranking CPC das Instituições – 2008, p.39
Tabela 6 - Ranking CPC das Instituições – 2011, p.39 Tabela 7 - Ranking CPC das Instituições – 2011, p.40 Tabela 8 – Critério para análise de desempenho, p.46
Tabela 9 - Percentual de Acerto das Questões Objetivas no Enade 2014, p.47 Tabela 10 – Classificação do Conteúdo das Questões Objetivas de Conhecimento Específico no Enade 2014, p.48
Tabela 11 - Desempenho da UFF por Objeto de Conhecimento, p.49
Tabela 12 - Percentual de Acerto das Questões Discursivas no Enade 2014, p.50 Tabela 13 - Percentual de Alunos que Responderam “Corcordo Totalmente” ou “Concordo” às Questões do Questionário de Estudante - Enade 2014, p.54 Tabela 14 – RUF de 2014 a 2017, p.57
Tabela 15 – Detalhamento na nota do RUF 2017 para as universidades em estudo, p.58 Tabela 16 – Resultado da análise de desempenho por indicador, p.61
Tabela 17 – Plano de Ação 1, p.62 Tabela 18 – Plano de Ação 2, p. 62 Tabela 19 – Plano de Ação 3, p.62 Tabela 20 – Plano de Ação 4, p. 63 Tabela 21 – Plano de Ação 5, p.64 Tabela 22 – Plano de Ação 6, p. 64 Tabela 23 – Plano de Ação 7, p.64 Tabela 24 – Plano de Ação 8, p.65 Tabela 25 – Plano de Ação 9, p.66 Tabela 26 – Plano de Ação 10, p.67 Tabela 27 – Plano de Ação 11, p.68
LISTA DE GRÁFICOS
Gráfico 1 – Matrículas em cursos de graduação por categoria administrativa, p.12 Gráfico 2 – Evolução do CPC nas Instituições Públicas de Ensino Superior – Rio de Janeiro, p.15
Gráfico 3 – Composição do CPC da Engenharia de Produção UFF Niteróio – 2008 x 2011 x 2014, p.16
Gráfico 4 – Distribuição de IES por conceito – CPC 2014, p. 37
Gráfico 5 – Proporção de IES por Conceito Preliminar de Curso 2008x2011x2014, p. 38 Gráfico 6 – Comparação Componentes CPC 2014 UFFxUFJF, p.41
Gráfico 7 - Comparação Componentes CPC 2014 UFFxUFSC, p.42 Gráfico 8 - Comparação Componentes CPC 2014 UFFxUFSC, p.42
Gráficos 9.1 e 9.2 – Notas Médias dos Estudantes Concluintes Enade 2014 – Formação Geral e Componente Específico, p.44
Gráfico 10 – Notas Médias dos Estudantes Concluintes nos Componentes Formação Geral e Conhecimento Específico UFFxUFJFxUFSCxUFRJ – Enade 2014, p.45
Gráfico 11 – Percentual de Resposta à Questão “Qual o grau de dificuldade desta prova na parte de Formação Geral?” – Enade 2014, p.51
Gráfico 12 - Percentual de Resposta à Questão “Qual o grau de dificuldade desta prova na parte de Componente Específico?”, p.51
Gráfico 13 - Percentual de Resposta à Questão “Você se deparou com alguma dificuldade ao responder à prova. Qual?”, p.52
Gráfico 14 – As condições de infraestrutura das salas de aula foram adequadas, p.55 Gráfico 15 – Os planos de ensino apresentados pelos professores contribuíram para o desenvolvimento das atividades acadêmicas e para seus estudos, p.56
Gráfico 16 – Desempenho do curso de Engenharia de Produção da UFF no RUF 2014x2015x2016x2017, p. 59
Gráfico 17 – Pontuação Obtida pelas IES Referência nos Componentes de Ensino – RUF 2017, p. 60
LISTA DE ABREVIATURAS, SIGLAS E SÍMBOLOS
PNE – Plano Nacional de Educação
OCDE - Organização para a Cooperação e Desenvolvimento Econômico
INEP – Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira SINAES - Sistema Nacional de Avaliação da Educação Superior
UFF – Universidade Federal Fluminense MEC – Ministério da Educação e Cultura GE - Guia do Estudante
RUF - Ranking Universitário Foha IES - Instituição de Ensino Superior
Enade - Exame Nacional de Desempenho de Estudantes CPC - Conceito Preliminar de Curso
CC - Conceito de Curso
IDD - Indicador da Diferença entre os Desempenhos Observado e Esperado CONAES - Comissão Nacional de Avaliação da Educação Superior
IGC - Índice Geral de Cursos Avaliados da Instituição BASis - Banco Nacional de Avaliadores
Enem - Exame Nacional do Ensino Médio
CAPES - Coordenação de Aperfeicoamento de Pessoal de Nível Superior
SUMÁRIO
1.INTRODUÇÃO...11
1.2 Formulação da Situação Problema...14
1.3 Objetivo...17
1.4 Delimitação e Importância do Estudo...17
1.5 Organização do Trabalho...18
2. AVALIAÇÃO DA QUALIDADE NO ENSINO SUPERIOR : ORIGEM E METODOLOGIAS...19
2.1 Sistemas de Avaliação de Qualidade do Ensino Superior...21
2.1.1 Sistema Nacional de Avaliação da Educação Superior...22
2.1.1.1 Exame Nacional de Desepenho de Estudante...23
2.1.1.2 Avaliação de Cursos de Graduação...26
2.1.1.3 Avaliação Institucional...29
2.1.2 Guia do Estudante...30
2.1.3 Ranking Universitário Folha...31
3. METODOLOGIA...35
4. ANÁLISE DOS RESULTADOS...37
4.1 Desdobramentos da Análise e Diretrizes de Ação...61
5. CONCLUSÃO...67
1. INTRODUÇÃO
Nas últimas décadas, a educação brasileira passou por um intenso processo de expansão e democratização do acesso ao Ensino Superior. Entre as metas mais recentes estabelecidas pelo Governo no Plano Nacional de Educação (PNE), estão a elevação em 50% da taxa bruta de matrículas na Educação Superior da população de 18 a 24 anos e a expansão em, pelo menos, 40% das matrículas no segmento público até 2024 (Observatório PNE, 2017).
Essa preocupação em expandir o acesso ao Ensino Superior é um grande desafio para
aumentar a escolaridade média da população. O relatório Education at a Glance 20151
revela que entre 2009 e 2013, a parcela da população nacional com idade entre 25 e 64 anos que concluiu o ensino superior aumentou 3 pontos percentuais, alcançando 14% em 2013. O relatório também indica que, apesar de crescente, esse nível de conclusão do ensino superior está bem abaixo da média da Organização para a Cooperação e Desenvolvimento Econômico (OCDE) de 34%, assim como abaixo das taxas de outros países latino-americanos, como o Chile (21%), Colômbia (22%), Costa Rica (18%) e México (19%).
Ainda que essa expansão no Brasil esteja ocorrendo de forma lenta se pensarmos na lacuna a ser preenchida, nos últimos 15 anos, o número total de matrículas em cursos de graduação (presenciais e a distância) quase quadruplicou: passamos de 2.694.245 matrículas, em 2000, para 8.027.297, em 2015 (Censo da Educação Superior, INEP, 2015).
Muitos fatores podem ajudar a explicar essa expansão, dentre os quais se incluem o notável aumento do contingente de jovens formados nas etapas escolares anteriores, os fenômenos de urbanização, a ascensão das mulheres na sociedade e as crescentes exigências de maior escolaridade e qualificação profissional por parte do mundo do trabalho (SOBRINHO, 2010).
Uma característica relevante nesse processo de expansão é que, apesar do total de matrículas (federais, estaduais, municipais e privadas) ter alcançado um crescimento de
1 “Education at a Glance: OCDE Indicators” é uma publicação resultante de um estudo realizado anualmente pelo Programa de Indicadores dos Sistemas Educacionais (INES) com o objetivo de apresentar a coleta de dados educacionais de 34 países membros da OCDE, assim como de alguns países parceiros e membros do G20, em temas como o impacto da aprendizagem, o investimento financeiro, o acesso à educação, o contexto de aprendizagem, a organização das escolas, etc (INEP, 2017).
198% nesse período, a rede privada continua sendo a grande responsável pela educação superior no país. Portanto, como ilustrado no gráfico 1, mesmo o aumento de 887.026 para 1.952.145 de estudantes matriculados nas Instituições de Ensino Superior (IES) públicas não foi suficiente para alterar a predominância da rede privada, que deteve 67,1% do total geral de matrículas registradas em 2000, atingindo 75,7% em 2015, enquanto nas redes públicas a participação caiu de 32,9% para 24,3%.
Gráfico 1
Matrículas em cursos de graduação por categoria administrativa – Brasil
Fonte: Apresentação Censo da Educação Superior 2015 – Brasília, 2016. Disponível em: http://download.inep.gov.br/educacao_superior/censo_superior/apresentacao/2015/Apresentacao_C
enso_Superior_2015.pdf
Todo o crescimento na oferta do ensino superior e também essa característica de mercantilização do ensino, levantaram um importante questionamento sobre como mensurar a qualidade dos serviços de educação superior no país.
Nesse contexto, os processos avaliativos em nível nacional dos cursos de graduação foram introduzidos nos anos 1990, tendo sido estabelecido, em 2004, o Sistema Nacional
de Avaliação da Educação Superior (SINAES). De acordo com oInstituto Nacional de
Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), o atual sistema, pertencente ao Ministério da Educação (MEC), visa garantir a transparência dos dados sobre a qualidade da educação superior a toda a sociedade e subsidiar o processo de regulamentação das IES. Por meio de alguns indicadores, cada curso recebe um conceito
de 1 a 5, baseado em 3 fatores: desempenho dos estudantes, avaliação dos cursos e avaliação das instituições.
Além da avaliação oficial do MEC, algumas instituições privadas também avaliam os cursos de graduação e divulgam rankings de desempenho. Um dos rankings privados
mais popularesé publicado anualmente pela revista Guia do Estudante (GE). Cada curso
pode ser avaliado em até 5 estrelas por pareceiristas que recebem das instituições informações sobre: corpo docente, infraestrutura e projeto didático-pedagógico (ANDRADE, 2011).
Outro ranking privado nacional de importante visibilidade é publicado pela Folha de São Paulo. Desde 2012, o Ranking Universitário Folha (RUF) avalia as universidades do país e os 40 cursos com mais ingressantes nessas universidades, baseando-se em dados nacionais e internacionais e em duas pesquisas de opinião do Datafolha, que abordam cinco aspectos: pesquisa, ensino, mercado, internacionalização e inovação.
Esses rankings influenciam fortemente a reputação das instituições. Por terem
grande repercussão na mídia, ajudam a formar a opinião de alunos sobre onde estudar, de professores sobre onde lecionar e até mesmo de empregadores, que querem os alunos das melhores universidades. Além disso, com a forte presença de instituições privadas no cenário brasileiro, a boa colocação de uma instituição influencia até no estabelecimento do preço da mensalidade.
Andrade et al (2009) em um estudo dos efeitos das variáveis ligadas às IES privadas, identificou que a nota dos ingressantes do Exame Nacional de Desempenho de Estudantes (Enade) e a presença da IES no Guia do Estudante afetam de forma significativa sua fatia de mercado. O estudo concluiu que, em média, a mensalidade da instituição pode sofrer um aumento de R$ 16,00 com o aumento de um ponto na nota dos ingressantes no Enade e de R$ 486,00 com a mudança no ranking do Guia do Estudante de quatro para cinco estrelas.
Dessa forma, evidencia-se que o universo das avaliações de desempenho atinge diversos aspectos da sociedade. Como reforça Righetti (2016) em seu trabalho, “uma boa posição em um ranking é um bom argumento para uma promoção, um cartão de visitas da universidade, uma condição sine qua non para uma importante colaboração internacional” (VINCKE, 2009, p.12 apud RIGHETTI, 2016).
Portanto, a necessidade de um ou mais sistemas que avaliem a qualidade do ensino superior e informem a população quanto ao nível de excelência das instituições existentes é fundamental e tem se tornado cada vez mais frequente.
1.1. Formulação da Situação-Problema
Dada a influência que as avaliações de desempenho das instituições de ensino superior possuem em diversos aspectos da sociedade, procurou-se entender como o curso de Engenharia de Produção da Universidade Federal Fluminense (UFF) de Niterói vem sendo avaliado.
O Sistema Nacional de Avaliação da Educação Superior, além de ter a função de acompanhamento da qualidade do ensino, é determinante para o credenciamento e a regulação dos cursos de graduação. Seu principal indicador de qualidade dos cursos é o Conceito Preliminar de Curso (CPC), instituído em 2007. Esse conceito combina, em um única medida, diferentes aspectos relativos aos cursos de graduação. Ele é constituído de oito componentes, agregados em quatro dimensões: desempenho dos estudantes, valor agregado pelo processo formativo oferecido pelo curso, corpo docente e condições oferecidas para o desenvolvimento do processo formativo (INEP, 2017).
Com base nessas dimensões, aos cursos de graduação é atribuído um conceito de 1 a 5, a partir da padronização e do escalonamento de notas contínuas. A metodologia de cálculo será explicada no capítulo 2 deste trabalho.
Desde a sua criação, o curso de Engenharia de Produção de Niterói da UFF mantém-se com CPC na faixa 4, conceito que abrange o intervalo de notas de 2,945 a 3,944. Contudo, ao analisar as notas contínuas alcançadas pela Universidade, pode-se observar uma queda progressiva desde 2008, primeiro ano de aplicação do conceito para cursos de Engenharia. No gráfico 2 é apresentada a evolução do CPC para as instituições públicas do Estado do Rio de Janeiro que tiveram conceito atribuído em pelo menos 2 anos consecutivos.
Gráfico 2
Fonte: Elaboração da própria autora com base nos Documentos de Resultados do CPC
2008,2011 e 2014 – Brasília, 2017. Disponível em:
http://portal.inep.gov.br/conceito-preliminar-de-curso-cpc-
Pelo gráfico, pode-se observar que o CPC da UFF segue um movimento de declínio. Desde 2008, a nota do curso sofreu uma queda de 11%, atingindo, em 2014, a nota 3,08, muito próxima do limite inferior de 2,945 da faixa de conceito 4. A proporção de queda chega a ser ainda maior em outras instituições, atingindo 15% na UFRJ e 17% no CEFET/RJ. Contudo, essa tendência de queda não é geral, visto que a tanto a UERJ do Rio de Janeiro quanto a de Resende repetiram o mesmo desempenho de 2008 em 2014.
Para auxiliar na identificação dos pontos mais críticos para a UFF, o gráfico 3 traz um comparativo das notas de cada componente nas avaliações de 2008, 2011 e 2014.
Gráfico 3
Fonte: Elaboração da própria autora com base nos Documentos de Resultados do CPC
2008,2011 e 2014 – Brasília, 2017. Disponível em:
http://portal.inep.gov.br/web/guest/conceito-preliminar-de-curso-cpc-
Apesar da melhora nos componentes da dimensão do Corpo Docente, com aumento na proporção de professores com mestrado e doutorado, as dimensões Desempenho dos estudantes, Valor agregado pelo processo formativo e Condições oferecidas para o desenvolvimento do processo formativo seguiram um movimento de queda.
A dimensão com as notas mais baixas refere-se às condições oferecidas para o desenvolvimento do processo formativo. Suas notas são baseadas na opinião dos alunos, a partir de um questionário a ser respondido no Enade. Nos 3 componentes dessa dimensão, o curso ficou com notas equivalentes a conceito 1. O componente mais penalizado foi o de infraestrutura, que sofreu uma piora significativa se comparada a avaliação feita pelos alunos em 2011 e até mesmo em 2008, ano em que o componente recebeu nota 3,3.
Ainda que esse componente esteja contribuindo para diminuir o conceito final atribuído ao curso, ele corresponde a 5% na nota final. Componentes mais representativos, como o Enade e o IDD (Indicador da Diferença entre os Desempenhos Observado e Esperado), que juntos equivalem a 55% da nota final, também pioraram em comparação ao ano de 2011. Mesmo que o percentual de queda dessa nota não tenha sido
tão expressivo no componente do Enade de 20112 para 2014, o IDD de 2008 para 2014
caiu 0,9 pontos, o que representa uma queda de 27%.
2 Em 2008, o INEP não divulgou a nota contínua do Enade, apenas seu conceito final, o que impossibilita qualquer tipo de comparação visto que nos 3 anos em estudo o conceito final ficou na faixa 4.
Visto a tendência de queda no desempenho do curso de Engenharia de Produção da UFF de Niterói exposta na análise dos dados acima, torna-se evidente a necessidade de compreender os fatores que estão impactando negativamente o desempenho do curso na avaliação do CPC. Se na próxima avaliação o resultado cair na mesma proporção da última queda, o curso ficaria muito próximo de um possível decréscimo para conceito 3.
1.2. Objetivo
O objetivo deste trabalho é traçar diretrizespara melhoria da classificação do curso
de Engenharia de Produção da Universidade Federal Fluminense de Niterói nas principais avaliações de desempenho nacionais, a fim de aumentar a qualidade do curso, seu reconhecimento e sua visibilidade perante à sociedade.
Acredita-se que o melhor desempenho nos sistemas de avaliação reflete a melhoria das condições do curso para formação de engenheiros de produção e também, no longo prazo, permitirá ao curso atrair alunos e professores cada vez melhores, receber mais investimentos públicos e privados, sendo uma das bases de sustentação de um ciclo virtuoso rumo à excelência no ensino.
1.3. Delimitação e Importância do Estudo
A partir do histórico de queda observado no Conceito Preliminar de Curso atribuído à Engenharia de Produção na UFF, foram selecionados 2 rankings privados a fim de entender a repercussão desse declínio em outras esferas de avaliação. Este trabalho estuda, portanto, no período de 2008 a 2014, o desempenho do curso presencial de Engenharia de Produção, oferecido pela UFF na localidade de Niterói, na avaliação do MEC (CPC), Guia do Estudante (GE) e da Folha de São Paulo (RUF).
Os sistemas de avaliação a serem estudados foram selecionados com base na sua influência na sociedade brasileira. A avaliação do MEC é a classificação oficial do Governo Federal, servindo de base para tomadas de decisão quanto ao futuro das instituições. Já os rankings privados da Revista Guia do Estudante e da Folha de São Paulo pertencem a importantes grupos editoriais do país.
Vale ressaltar que o presente estudo não tem como objetivo discutir a metodologia utilizada nas avaliações, bem como questionar a contribuição que avaliações e rankings trazem para as instituições e a sociedade como um todo.
1.4. Organização do Trabalho
No primeiro capítulo, foi contextualizada a temática deste trabalho, explicitando a situação que justifica a importância do presente estudo. Também foram apresentados os objetivos centrais e a delimitação do tema.
O capítulo dois contém o referencial que fornece a sustentação teórica a este trabalho e foi dividido em duas seções: revisão bibliográfica e análise documental. Na revisão bibliográfica foram brevemente apresentados os principais conceitos atualmente discutidos acerca de qualidade de ensino e formas de avaliação, bem como a motivação dessa prática. Já na análise documental, foram apresentados os indicadores e a metodologia de cálculo de cada sistema de avaliação com base em documentos oficiais e notas técnicas.
O capítulo três apresenta a metodologia utilizada e os procedimentos adotados na condução deste trabalho e na análise dos resultados obtidos.
No capítulo 4 foram analisados todos os resultados nos sistemas de avaliação, bem como propostas diretrizes de ação para melhoria do desempenho do curso de Engenharia de Produção da UFF de Niterói nas avaliações estudadas.
Por fim, a conclusão apresenta considerações finais sobre o trabalho, apontando as limitações do estudo e trazendo sugestões para futuras pesquisas.
2. AVALIAÇÃO DA QUALIDADE NO ENSINO SUPERIOR: ORIGEM E DISCUSSÕES
Atualmente, no Brasil e no mundo, existe um debate muito acalorado acerca do que é qualidade no ensino e como as avaliações na educação devem ser realizadas. De acordo com Santana (2007), a qualidade pode ser entendida como “o conjunto de características que um produto ou serviço deve ter para bem atender às aspirações ou interesses dos usuários.” (SANTANA, 2007 apud RODRIGUES, 2013). Contudo, quando avaliamos qualidade para a educação, o conceito torna-se mais complexo, pois os usuários envolvidos além de alunos são professores, instituição e a sociedade como um todo.
De forma mais ampla, Sobrinho (2008) defende que “um sistema, uma instituição, um curso ou um programa de “qualidade”, seja em nível micro, meso ou macro, passa a ser, pois, aquele ou aquela que consegue demonstrar ser capaz de cumprir com os requisitos,
padrões ou critérios estabelecidos por essas agências ou organismos” (SOBRINHO, 2008,
p.5). Esses critérios, porém, tendem a estar relacionados a interesses vigentes acerca do
que é qualidade na educação. Sobrinho ainda aponta:
Duas concepções distintas disputam a hegemonia de seus significados possíveis: a perspectiva social, daqueles que entendem e procuram realizar a educação como bem público, e o ponto de vista e os interesses defendidos por aqueles que submetem a educação ao mercado (SOBRINHO, 2008, p.2).
Nesse contexto, se por um lado o mercado de trabalho enxerga a educação superior como formadora de futuros profissionais com competências, habilidades e conhecimentos técnicos para o trabalho, a comunidade científica e a sociedade de modo geral valorizam a formação ética e o desenvolvimento intelectual (SOBRINHO, 2008).
Seja qual for o viés defendido, é fundamental não perder de vista que, qualidade é um conceito histórico, que se altera no tempo e no espaço, vinculando-se às demandas e exigências sociais de um dado processo, como pontua o Documento de Referência da Conferência Nacional de Educação (CONAE) de 2010. Sendo assim, no atual processo de expansão das IES, vale ressaltar a lógica de Gadotti, que afirma que, o tema da qualidade não pode escamotear o tema da democratização do ensino. Dentro dessa nova abordagem, a democracia é um componente essencial da qualidade na educação: “qualidade para poucos não é qualidade, é privilégio” (Gentili, 1995:177, apud GADOTTI, 2013).
Portanto, buscar garantir a qualidade e não só o acesso à educação para todos é fundamental para se atingir o desenvolvimento econômico e social desejado. Torna-se, então, essencial o debate de como criar instrumentos de medição e controle para um conceito dinâmico como a qualidade.
Nesse contexto, vemos uma evolução dos sistemas de avaliação da qualidade do ensino superior. A avaliação se tornou um instrumento importante para informar o mercado de trabalho a respeito da qualidade e do tipo de capacitação profissional que os cursos estavam oferecendo, bem como para indicar as IES que estariam mais ajustadas às exigências da economia (SOBRINHO, 2010). No âmbito do Governo, o processo avaliativo surge também como um meio de regulação para o funcionamento das instituições.
A partir do resultado das avaliações, uma prática que tornou-se comum foi a criação de rankings das universidades. Entretanto, os rankings de universidades não são uma prática nova. O primeiro ranking nacional de universidades foi publicado em 1983 pelo US News & World Report21 como um relatório de avaliação das melhores faculdades americanas (Dill, 2006 apud Santos, S. M.). Vale aqui considerar a citação do trabalho da doutora Sabine Righetti:
Para McDonough et al. (1998), os rankings universitários encontraram um lugar perfeito para se desenvolver, a sociedade norte-americana, e acabaram, como geralmente acontece com aquilo que faz parte da cultura dos Estados Unidos, dissipando-se pelo mundo como uma espécie de produto a ser consumido, produzido e replicado. “Os norte-americanos são interessados por rankings em geral e a mídia tem interesse na lucrativa competição entre as universidades pelos estudantes” (McDonough et al., 1998:515, apud RIGHETTI Sabine, 2016).
Portanto, avaliações e rankings tornaram-se objetos de interesse de diferentes atores da sociedade, sejam eles as próprias instituições de ensino, governo, alunos, pesquisadores, docentes e empregadores. Embora essas práticas possam ser questionadas, dadas as particularidades de cada instituição e a dificuldade de se criar um sistema avaliativo homogêneo, é fundamental fornecer à sociedade instrumentos de garantia da qualidade do ensino superior.
2.1 Sistemas de Avaliação de Qualidade do Ensino Superior
Esta seção foi construída a partir da análise de documentos públicos que detalham as metodologias dos 3 sistemas de avaliação do ensino superior que são objeto deste projeto.
Antes de dar início a análise dos documentos, é importante destacar algumas diferenças de categorias administrativas das instituições quando tratamos de ensino superior. Cada instituição de ensino possui funções e deveres sociais diferentes. Embora sejam termos que se refiram a uma entidade de ensino, é fundamental esclarecer a distinção entre elas.
De acordo com a classificação do MEC, a Universidade é a forma de organização acadêmica mais plural, na qual se tem a produção intelectual como um pilar, ou seja, apresenta como dever a função de promover pesquisas que contribuam para o funcionamento da sociedade. O corpo docente é dotado por um mínimo de 1/3 de mestres e doutores que trabalhem em regime integral. Por último, é importante ressaltar que a universidade está definida na Lei de Diretrizes e Bases da Educação Nacional.
O Centro Universitário, por sua vez, é uma instituição que abrange diversas áreas de conhecimento. Apesar de ser similar à universidade por sua pluralidade, não está definida na Lei de Diretrizes e Bases da Educação Nacional, como também não apresenta a necessidade de produção intelectual.
Outra forma de organização de ensino é a Faculdade que é uma Instituição de Ensino Superior sem autonomia para conceder títulos e diplomas, estes são registrados por uma Universidade. A Faculdade não tem por obrigação promover a pesquisa através da pós graduação, e serve normalmente para as unidades presentes dentro de uma Universidade, por exemplo, Faculdade de Economia da Universidade Federal Fluminense.
O último tipo de instituição de ensino superior são os Institutos Federais, no qual são voltados, basicamente, para capacitação técnica e profissional. O ensino técnico é comumente oferecido de forma integrada ao ensino médio, mas também são oferecidos a nível de graduação e pós graduação.
Elucidadas as distinções entre cada tipo de instituição de ensino, serão abordadas abaixo as metodologias de cada sistema de avaliação em estudo.
2.1.1. Sistema Nacional de Avaliação da Educação Superior
O Sistema Nacional de Avaliação da Educação Superior (SINAES), criado em 2004, é o sistema vigente de avaliação da qualidade dos cursos e instituições de educação superior no país. Ele é formado por três componentes principais: o desempenho dos estudantes, a avaliação dos cursos e a avaliação das instituições. O SINAES avalia diversos aspectos que giram em torno desses três eixos, com foco no ensino, pesquisa, extensão, responsabilidade social, desempenho dos alunos, gestão da instituição, corpo
docente e instalações (INEP, 2017).
Seus principais objetivos envolvem melhorar o mérito e o valor das instituições, melhorar a qualidade da educação superior e orientar a expansão da oferta de ensino. Além disso, o sistema também visa promover a responsabilidade social das IES, respeitando a identidade institucional e a autonomia de cada organização.
Nessa perspectiva, o SINAES busca delinear o cenário da qualidade dos cursos e das instituições de educação superior brasileiras por meio de uma série de instrumentos complementares, como: avaliação institucional, avaliação dos cursos de graduação, Enade e instrumentos de informação como o Censo da Educação Superior.
Todos esses instrumentos avaliativos são coordenados e supervisionados pela Comissão Nacional de Avaliação da Educação Superior (CONAES) e a operacionalização é de responsabilidade do INEP (INEP, 2017). Por mais que o governo brasileiro avalie as suas IES por meio do SINAES, não são elaborados rankings oficiais, ou seja, o INEP não ordena ou classifica suas diferentes instituições por meio de listagens. Contudo, essa prática acaba ficando por conta da mídia, que dispõe as instituições de
ensino superior brasileiras em ordem, a partir dos seus próprios mecanismos de avaliação.
Os principais indicadores utilizados na avaliação da qualidade do ensino superior são: o Conceito Enade, que avalia o desempenho dos estudantes a partir dos resultados obtidos na aplicação do exame; o Conceito Preliminar de Curso (CPC) e/ou Conceito de Curso (CC), que avalia a qualidade dos cursos superiores; e o Índice Geral de Cursos Avaliados da Instituição (IGC), que avalia a qualidade das instituições de educação superior.
2.1.1.1. Exame Nacional de Desempenho de Estudantes
O Exame Nacional de Desempenho de Estudantes (Enade) avalia o rendimento dos concluintes dos cursos de graduação, em relação aos conteúdos programáticos, habilidades e competências adquiridas em sua formação (INEP, 2017).
Sua aplicação está diretamente ligada ao Ciclo Avaliativo do Enade, sendo os cursos avaliados trienalmente segundo as áreas de avaliação a ele vinculadas, conforme indicado abaixo:
▪ Saúde, Ciências Agrárias e áreas afins ▪ Ciências Exatas, Licenciaturas e áreas afins
▪ Ciências Sociais Aplicadas, Ciências Humanas e áreas afins
O exame é obrigatório e a instituição deve inscrever alunos concluintes e ingressantes do curso, de acordo com os seguintes critérios:
▪ Ingressantes
▪ Estudantes que tenham iniciado o respectivo curso no ano de aplicação do exame, devidamente matriculados, e que tenham até vinte e cinco por cento da carga horária mínima do currículo do curso cumprida até o último de retificação. No entanto, esses estudantes não realizarão o Exame. ▪ Concluintes
▪ Estudantes dos cursos de Bacharelado e Licenciatura que tenham expectativa de conclusão do curso até julho do ano seguinte à aplicação do exame ou que tenham cumprido oitenta por cento ou mais da carga horária mínima do currículo do curso da IES até o dia de retificação. ▪ Estudantes dos cursos de Tecnologia que tenham expectativa de conclusão
do curso até final do ano de aplicação do exame ou que tenham cumprido setenta e cinco por cento ou mais da carga horária mínima do currículo do curso da IES até o dia de retificação.
Segundo o INEP, o objetivo do exame é avaliar o desempenho dos estudantes com relação aos conteúdos programáticos previstos nas diretrizes curriculares dos cursos de graduação, o desenvolvimento de competências e habilidades necessárias ao aprofundamento da formação geral e profissional, e o nível de atualização dos estudantes com relação à realidade brasileira e mundial.
O exame é composto por uma prova de avaliação individual do desempenho e pelo Questionário do Estudante, um instrumento de coleta de informações sobre o perfil
socioeconômico do estudante e sobre sua percepção quanto ao processo formativo.
A prova possui 40 questões no total, sendo 10 questões de Formação Geral e 30 questões de Conhecimento Específico. Na parte de Formação Geral, espera-se que os graduandos evidenciem a compreensão de temas que transcendam ao seu ambiente próprio de formação profissional específico e que sejam importantes para a realidade contemporânea. Já na parte de Conhecimento Específico, são contempladas as particularidades de cada área, tanto no domínio de conhecimento, quanto de habilidades. As questões baseiam-se nas diretrizes de habilidades, competências e conhecimentos esperadas para um Engenheiro de Produção, articulando: o perfil profissional do egresso da área (Características de Perfil), as competências e habilidades que devem ter sido desenvolvidas pelo egresso durante o curso (Conjunto de Recursos) e os conteúdos curriculares (Objetos de Conhecimento).
Essas diretrizes contemplam características e recursos do tipo: ▪ Projetar e conduzir experimentos e interpretar resultados;
▪ Desenvolver e implantar inovações tecnológicas e de modelos de negócios ▪ Projetar, gerir e otimizar o fluxo de informação e de materiais no processo de produção, utilizando métodos e tecnologias adequadas, visando produzir com qualidade, produtividade e ao menor custo;
▪ Ser capaz de integrar e sintetizar conhecimentos interdisciplinares na análise e resolução de problemas;
▪ Considerar aspectos e impactos ambientais e sociais na elaboração de projetos e proposições de soluções técnicas economicamente
competitivas; 3
Na composição da nota final, a distribuição de pesos das questões se dá da seguinte forma:
3 A lista completa de habilidades, competências e esperados de um Engenheiro de Produção pode ser consultada em :
http://download.inep.gov.br/educacao_superior/enade/relatorio_sintese/2014/2014_rel_engenharia_de_pr oducao.pdf (p. 15 – p.20)
Tabela 1
Distribuição do peso de questões do Enade
Fonte: Edital Enade 2017.
As questões aplicadas na prova são avaliadas quanto ao nível de facilidade. Para isso, verifica-se o percentual de acerto de cada questão objetiva. Questões acertadas por 86% dos estudantes ou mais, por exemplo, são consideradas muito fáceis. No extremo oposto, questões com percentual de acerto igual ou inferior a 15% são consideradas muito difíceis. Além disso, as questões objetivas também devem ter um nível mínimo do chamado “poder de discriminação”. Para ser considerada apta a avaliar os alunos dos cursos, uma questão deve ser mais acertada por alunos que tiveram bom desempenho do que pelos que tiveram desempenho ruim. Questões com índice de discriminação menor que 0,19, considerado fraco, são eliminadas na contabilização das notas.
O resultado do exame serve de insumo para o cálculo do Conceito Enade. Esse indicador é obtido a partir do desempenho médio de seus concluintes na Formação Geral (FG) e no Componente Específico (CE) do exame.
A Nota dos Concluintes no Enade do curso de graduação c (NCc) é a média ponderada das notas padronizadas do respectivo curso de graduação em FG e CE, sendo 25% o peso da Formação Geral e 75% o peso do Componente Específico da nota final.
Onde:
NCc é a nota dos concluintes no Enade do curso de graduação c; NPFGc é a nota padronizada em FG do curso de graduação c; NPCEc é a nota padronizada em CE do curso de graduação c.
Para que todos os cursos de graduação tenham suas notas de FG e CE numa escala de 0 a 5, efetua‐se a interpolação linear, obtendo‐se, assim, respectivamente, as Notas Padronizadas de FG e CE de cada curso de graduação c. Conforme mostra a tabela abaixo,
essa nota é convertida em valores de 1 a 5 para formar o Conceito Enade, que é uma variável discreta.
Conforme mostra a tabela abaixo, essa nota é convertida em valores de 1 a 5 para formar o Conceito Enade, que é uma variável discreta.
Tabela 2
Formação das faixas de Conceito Enade
Fonte: Nota técnica Conceito Enade, INEP - Brasília 2015
As IES com menos de 2 (dois) concluintes participantes no Exame não obtêm o Conceito Enade, ficando “Sem Conceito (SC)”. Isso ocorre para preservar a identidade do estudante.
2.1.1.2 Avaliação dos Cursos de Graduação
Os cursos de educação superior passam por três tipos de avaliação: para autorização, para reconhecimento e para renovação de reconhecimento.
A avaliação para autorização é feita quando uma instituição pede autorização ao MEC para abrir um curso. Ela é realizada por dois avaliadores, sorteados entre os cadastrados no Banco Nacional de Avaliadores (BASis). Os avaliadores seguem parâmetros de um documento próprio que orienta as visitas em função de três dimensões do curso quanto à adequação ao projeto proposto: a organização didático-pedagógica; o corpo docente e técnico-administrativo e as instalações físicas.
Já a avaliação para reconhecimento ocorre quando a primeira turma do curso novo entra na segunda metade do curso. É feita, então, uma segunda avaliação para verificar se foi cumprido o projeto apresentado para autorização. Essa avaliação também é feita segundo instrumento próprio, por comissão de dois avaliadores do BASis, por dois dias. Um novo componente nas três dimensões levadas em consideração na primeira avaliação passa a ser considerado: o corpo discente.
A avaliação para renovação de reconhecimento é feita de acordo com o Ciclo do SINAES, ou seja, a cada três anos. Nela é calculado o Conceito Preliminar do Curso (CPC). Para o CPC são atribuídos conceitos que vão de 1 até 5. Dessa forma, os cursos que obtiverem CPC 3, 4 ou 5 têm a prerrogativa de dispensar a visita dos avaliadores, caso em que o conceito preliminar passa automaticamente a ser o Conceito de Curso (CC). Já os cursos que obtiverem CPC 1 e 2 devem obrigatoriamente solicitar a avaliação in loco, assim como os cursos que não realizam o Enade, a fim de receber um conceito, que poderá ser igual, maior ou menor que o CPC. O CC também tem atribuição de conceito de 1 a 5.
O conceito 5 indica que o curso é referência na sua área, o 4 demonstra um nível elevado de qualidade e o 3 informa que o curso atende ao padrão de qualidade para o funcionamento. Já os conceitos 1 e 2 mostram que o curso apresenta fragilidades e que não atende às condições necessárias ao funcionamento.
O Conceito Preliminar de Curso é, portanto, o indicador de qualidade que avalia os cursos de graduação. Seu cálculo e divulgação ocorrem no ano seguinte ao da realização do Enade, com base na avaliação de desempenho de estudantes, no valor agregado pelo processo formativo e em insumos referentes às condições de oferta – corpo docente, infraestrutura e recursos didático-pedagógicos –, conforme orientação técnica
aprovada pela Comissão Nacional de Avaliação da Educação Superior (INEP, 2017).
A tabela abaixo apresenta, para cada dimensão de avaliação, os componentes considerados e os pesos de cada componente no cálculo do indicador.
Tabela 3
Composição do Conceito Premilinar de Curso
A dimensão Desempenho dos Estudantes é constituída pelos componentes: Nota dos Concluintes no Enade (NCc) e Nota do Indicador da Diferença entre os Desempenhos Observado e Esperado (NIDDc).
O cálculo e objetivo da Nota dos Concluintes no Enade foram explicitados na seção anterior. Já o Indicador da Diferença entre os Desempenhos Observado e Esperado (IDD) é calculado a fim de mensurar a contribuição do curso para o desenvolvimento de competências, habilidades e conhecimento dos estudantes. Para isso, compara-se o desempenho observado do estudante concluinte com uma estimativa de desempenho do estudante concluinte, decorrente de suas características quando ingressante no curso.
O cálculo do IDD leva em consideração as seguintes informações: ▪ Número de estudantes concluintes participantes no Enade;
▪ Desempenho geral dos estudantes concluintes no Enade;
▪ Desempenho dos estudantes no Exame Nacional do Ensino Médio (Enem) nas áreas de Ciências da Natureza, Ciências Humanas, Linguagens e Códigos e Matemática e suas Tecnologias;
▪ Número de concluintes participantes no Enade com nota do Enem recuperada para o cálculo do IDD.
Para que um curso tenha o IDD calculado, é preciso que 20% do total dos estudantes concluintes encontrem-se na base de dados do Enem. Essa quantidade de concluintes não pode ser inferior a 2 estudantes.
Até o ano de 2010, os alunos ingressantes também realizavam a prova do Enade. Contudo, em face da ampliação de participação e consolidação do Enem, foi tomada a decisão de, a partir de 2011, dispensar os alunos ingressantes do Enade e utilizar o resultado do desempenho dos estudantes do Enem para o cálculo do CPC (Portaria Normativa MEC nº 40/2007, reeditada em dezembro de 2010).
A dimensão Corpo Docente, é aferida com base no Censo da Educação Superior, realizado anualmente pelo INEP. O Censo da Educação Superior reúne informações sobre as instituições de ensino superior, seus cursos de graduação (presencial ou a distância), cursos sequenciais, vagas oferecidas, inscrições, matrículas, ingressantes, concluintes e informações sobre docentes nas diferentes formas de organização acadêmica e categoria administrativa. De acordo com o INEP, a coleta de dados é realizada a partir do preenchimento de questionários, por parte das IES, e por importação de dados do Sistema e-MEC.
Por fim, a dimensão Percepção Discente sobre as Condições do Processo Formativo calcula seus componentes com base nas respostas do Questionário do Estudante.
Onde:
NCPCc é a Nota contínua do Conceito Preliminar de Curso do curso de graduação c; NCc é a Nota dos Concluintes no Enade do curso de graduação c;
NIDDc é a Nota do Indicador da Diferença entre os Desempenhos Observado e Esperado do curso de graduação c;
NMc é a Nota de Proporção de Mestres do curso de graduação c; NDc é a Nota de Proporção de Doutores do curso de graduação c; NRc é a Nota de Regime de Trabalho do curso de graduação c;
NOc é a Nota referente à organização didáĕco‐pedagógica do curso de graduação c; NFc é a Nota referente à infraestrutura e instalações εsicas do curso de graduação c; NAc é a Nota referente às oportunidades de ampliação da formação acadêmica e profissional do curso de graduação c.
2.1.1.2 Avaliação Institucional
O Índice Geral de Cursos Avaliados da Instituição (IGC) é o indicador que avalia o desempenho das Instituições de Educação Superior. Anualmente, esse índice é calculado, considerando os aspectos apresentados abaixo:
▪ Média dos CPCs do último triênio, relativos aos cursos avaliados da instituição, ponderada pelo número de matrículas em cada um dos cursos computados; ▪ Média dos conceitos de avaliação dos programas de pós-graduação stricto sensu
atribuídos pela CAPES na última avaliação trienal disponível, convertida para escala compatível e ponderada pelo número de matrículas em cada um dos programas de pós-graduação correspondentes;
▪ Distribuição dos estudantes entre os diferentes níveis de ensino, graduação ou pós-graduação stricto sensu, excluindo as informações do item II para as instituições que não oferecerem pós-graduação stricto sensu.
O IGC é, portanto, um indicador mais macro, já que avalia a instituição como um todo. Por considerar o CPC dos cursos avaliados no ano do cálculo e nos dois anos anteriores, sua divulgação é sempre trienal e compreende todas as áreas avaliadas no Ciclo Avaliativo do Enade descrito anteriormente.
Como o presente trabalho é direcionado apenas ao estudo do curso de Engenharia de Produção na UFF, optou-se por não detalhar a nota técnica do IGC.
2.1.2. Guia do Estudante
O ranking do Guia do Estudante (GE) é uma pesquisa de opinião realizada anualmente com professores universitários em atividade, que são chamados de pareceristas. Uma equipe de aproximadamente 8.000 pareceristas emitem conceitos que variam de 1 a 5 estrelas, sendo (5) excelente, (4) muito bom, (3) bom, (2) regular, (1) ruim e “prefiro não opinar” (caso em que é buscada uma nova nota). Contudo, apenas os cursos com classificação maior ou igual a 3 estrelas aparecem no ranking.
Ao longo de nove meses, a redação do GE faz um levantamento com as IES dos cursos que serão oferecidos no próximo vestibular por meio de um formulário eletrônico. A partir disso, são levantados os cursos que poderão participar da avaliação, seguindo os seguintes critérios: ter titulação de bacharelado, com algumas exceções; ter a data de conclusão da primeira turma há pelo menos 2 anos; ser presencial; e ter turmas em andamento e ser oferecido no próximo vestibular. Além disso, são considerados apenas um curso por município de cada instituição. No ano de 2016, por exemplo, dos 30.100 cursos que foram levantados, somente 44% (13.451) foram selecionados para avaliação.
Com a definição dos cursos a serem avaliados, os coordenadores recebem um questionário eletrônico, com informações específicas sobre o curso, cujo preenchimento é facultativo. Em 2016, 87% dos cursos preencheram o questionário, que é composto por 21 questões, contendo temas relativos ao: corpo docente, projeto didático-pedagógico, à produção científica, às atividades de extensão, à internacionalização, à inserção dos alunos no mercado de trabalho, à infraestrutura e à oferta de pós-graduação.
As respostas dos questionários não são pontuadas para compor a avaliação, servindo apenas como fonte de informação para os pareceristas. Sendo assim, a própria redação da revista pontua que “Vale lembrar que, por se tratar de uma pesquisa de opinião, os resultados refletem, sobretudo, a imagem que o curso tem perante a comunidade
acadêmica (reitores, diretores, coordenadores e professores)” (Redação Guia do Estudante, 2016).
Após a entrega dos questionários, é feita a pesquisa de opinião. Cada curso recebe conceitos de, no mínimo, 7 pareceristas. Cada parecerista avalia até 16 cursos, por meio de um link eletrônico. A distribuição dos cursos entre os pareceristas é realizada de forma aleatória, sendo proibida a avaliação de cursos da instituição na qual trabalha. Além disso, a distribuição prioriza cursos da região onde o professor leciona.
O parecerista deve avaliar o curso em três aspectos: projeto didático pedagógico; corpo docente; e infraestrutura. A nota do curso é a média simples desses 3 conceitos. Das 7 notas recebidas por cada curso, descarta-se a maior e menor nota e a média do curso é a soma das 5 notas válidas. O conceito final incorpora a nota das duas últimas avaliações, atribuindo pesos de acordo com o ano:
_(3x média do ano vigente) + (2x média do ano anterior) + (1x média do 2º ano anterior)_ 6
A partir desse conceito final, são definidas as estrelas: ▪ 5 estrelas: conceito menor que 5 e maior ou igual a 4,3161 ▪ 4 estrelas: conceito menor que 4,3161 e maior que 3,6322 ▪ 3 estrelas: conceito menor que 3,6322 e maior que 2,9483 ▪ 2 estrelas: conceito menor que 2,9483 e maior que 2,2644 ▪ 1 estrela: conceito menor que 2,2644
Os cursos só podem ganhar ou perder 1 estrela a cada ano.
2.2.3. Ranking Universitário Folha
O Ranking Universitário Folha (RUF) é uma avaliação anual do ensino superior do Brasil feita pela Folha de São Paulo desde 2012. Inicialmente, a avaliação ranqueava apenas as universidades brasileiras mas, a partir de 2013, passou a ranquear também os cursos de graduação.
O ranking das universidades contempla as instituições de ensino classificadas como universidades, atualmente 195 no Brasil. Já para o ranking de cursos, são avaliadas as 40 carreiras com mais ingressantes no país, de acordo com os dados do Censo da Educação Superior.
Os cursos recebem uma nota de 0 a 100, baseada em aspectos de ensino e de mercado, como ilustra a figura abaixo:
Figura 1
Fonte: Elaboração da própria autora com base em informações do RUF. Disponíveis em: http://ruf.folha.uol.com.br/2017/o-ruf/ranking-cursos/ - São Paulo, 2017
O aspecto ensino é formado por 4 componentes, que compõem a nota da seguinte forma:
▪ 44 pontos - Avaliadores do MEC
Fonte: pesquisa feita pelo Datafolha nos 3 últimos anos com uma amostra de 2.224 professores distribuídos pelo país para analisar a qualidade de cursos superiores; ▪ 8 pontos - Percentual de professores da instituição que têm doutorado e mestrado
Fonte: último Censo da Educação Superior divulgado.
▪ 8 pontos - Percentual de docentes que trabalham em regime de dedicação integral e de dedicação parcial
Fonte: último Censo da Educação Superior divulgado.
▪ 4 pontos - Nota média da universidade no Exame Nacional de Desempenho de Estudantes de 2013, 2014 e 2015
Já os 36 pontos do aspecto de mercado são atribuídos considerando a opinião de 5.793 profissionais de RH consultados pela Datafolha nos 3 últimos anos sobre preferências de contratação.
Apesar de buscar alguns dados do Censo da Educação Superior e considerar a Nota do Enade como parte da avaliação, 80% da nota acaba sendo composta por pesquisas de opinião.
O ranking de universidades, além de ensino e mercado, considera outros aspectos para compor a nota final, como ilustra a figura abaixo:
Figura 2
Fonte: Elaboração da própria autora com base em informações do RUF. Disponíveis em: http://ruf.folha.uol.com.br/2017/o-ruf/ranking-universidades/ – São Paulo, 2017
O aspectos são compostos da seguinte forma: ▪ Pesquisa – 42 pontos
▪ 7 pontos - Número de trabalhos publicados nos últimos 4 anos
▪ 7 pontos - Quantidade de citações recebidas nos artigos científicos últimos 2 anos
▪ 7 pontos - Publicações/docente nos últimos 4 anos ▪ 7 pontos - Citações/docente nos últimos 2 anos
▪ 5 pontos - Citações/publicação científica nos últimos 2 anos
▪ 4 pontos - Recursos captados em agências federais e estaduais de fomento à ciência
▪ 3 pontos - Publicações em revistas científicas nacionais
▪ 2 pontos - Proporção de docentes com bolsa produtividade CNPq ▪ Qualidade do Ensino – 30 pontos
▪ 22 pontos pela pesquisa da Datafolha dos 3 últimos anos. A pesquisa é realizada através de entrevistas com docentes qualificados como avaliadores do MEC, que devem falar sobre as três melhores instituições do país nas áreas em que fazem avaliação.
▪ 4 pontos pela proporção de mestres (menor peso) e doutores (maior peso) no total do corpo docente
▪ 4 pontos pela proporção de professores em dedicação parcial e integral no total do corpo docente
▪ 2 pontos pelo desempenho do aluno com base na nota do Enade ▪ Mercado de Trabalho – 18 pontos
▪ 18 pontos pela pesquisa Datafolha dos últimos 3 anos. A pesquisa é realizada através de entrevistas com profissionais do mercado, que devem falar sobre as três melhores instituições nas áreas que contratam.
▪ Internacionalização – 4 pontos
▪ 2 pontos por citações internacionais recebidas pelos trabalhos acadêmicos em 2014
▪ 2 pontos pela proporção de publicações em coautoria internacional no total de artigos acadêmicos publicados pela instituição no terceiro e quarto ano anterior.
▪ Inovação – 4 pontos
▪ 4 pontos por pedidos de patentes da instituição entre os 11 e 2 anos anteriores a pesquisa
A partir da apresentação das metodologias de cada avaliação considerada nesse estudo, o quadro resumo abaixo mostra todos os indicadores apresentados, indicando onde é considerado:
Tabela 4
Indicadores considerados em casa avaliação estudada
Fonte: Elaboração da própria autora.
A figura apresentada a seguir ilustra a estrutura utilizada no desenvolvimento do presente trabalho:
Figura 3
Estrutura metodológica
Fonte: Elaboração da própria autora.
A primeira etapa deste trabalho consistiu no levantamento das principais avaliações nacionais sobre a qualidade das instituições de ensino superior. Esse levantamento buscou identificar as avaliações cujos resultados causam maior impacto na reputação das instituições e/ou no acesso a recursos pelas mesmas.
A partir da escolha das avaliações a serem analisadas, foi realizado um estudo sobre a metodologia utilizada em cada avaliação, identificando cada indicador, bem como as fontes de informação utilizadas.
A partir de uma análise de benchmarks, na qual foram selecionadas como referências as instituições que se figuraram mais de uma vez nos primeiros lugares das avaliações consideradas, foi possível comparar o desempenho do curso de Engenharia de Produção da UFF com os dessas IES e identificar pontos fortes e fracos nos resultados da Universidade Federal Fluminense.
Para a análise de criticidade dos pontos fracos identificados, definiu-se como mais críticos os indicadores nos quais a UFF apresentou desempenho inferior ao de todas as IES de referência. Essa classificação foi apresentada no formato de faróis verde, amarelo
ou vermelho, nos quais o farol verde aponta os casos em que a UFF obteve desempenho superior à todas as IES de referência, o farol amarelo indica performance inferior a pelo menos uma IES de referência e o farol vermelho indica que o curso da UFF performou abaixo de todas as IES tidas como referência para a avaliação em questão.
Por fim, foram sugeridas diretrizes de melhoria para aumentar o desempenho do curso de Engenharia de Produção da UFF nos indicadores estudados.
De acordo com o MEC, atualmente existem 999 cursos de Engenharia de Produção em atividade no Brasil. Desses, 329 foram avaliados no último ciclo avaliativo do SINAES, em 2014. O gráfico abaixo mostra como ficou a distribuição dos conceitos entre as IES avaliadas nesse ano:
Gráfico 4
Fonte: Elaboração da própria autora com base no Documento de Resultados do CPC 2014 – Brasília, 2017.
Apenas 4 instituições de ensino alcançaram Conceito Preliminar de Curso 5 em 2014. Historicamente, a quantidade de cursos de Engenharia de Produção que atingem essa faixa de conceito fica nesse patamar. Contudo, vale ressaltar que o número de cursos avaliados em 2014 foi 34% superior a 2008 e 92% superior em comparação a 2011. Sendo assim, efetivamente ocorreu uma redução na proporção de IES que atingiram CPC máximo e uma maior concentração de IES com conceito 3.
Fonte: Elaboração da própria autora com base no Documento de Resultados do CPC 2008, 2011 e 2014 – Brasília, 2017
Tanto em 2014 quanto nos anos anteriores, o curso de Engenharia de Produção da UFF de Niterói vem se mantendo na faixa de conceito 4, ou seja, faz parte dos 20% melhores cursos de Engenharia de Produção do país. Apesar do ótimo desempenho apresentado até então, como o objetivo desse trabalho é auxiliar o curso a identificar pontos de melhoria para aumentar sua excelência, buscou-se entender quais fatores levam uma IES a atingir conceito 5. Para isso, foi realizado um benchmarking das instituições em busca de referências.
Nas próximas três tabelas abaixo, foram ordenadas para os anos de 2008, 2011 e 2014 as 10 instituições cujos cursos de Engenharia de Produção obtiveram os maiores Conceito Preliminar de Curso. Nas tabelas também foi incluída a posição do curso da UFF de Niterói nos respectivos anos.
Apesar da ordenação não ser uma prática do INEP e nem o objetivo da avaliação dos cursos, esse instrumento auxilia na identificação de referências de qualidade de ensino.
Ranking CPC das Instituições - 2008
Fonte: Elaboração da própria autora com base no Documento de Resultados do CPC 2008 – Brasília, 2017
Tabela 6
Ranking CPC das Instituições – 2011
Fonte: Elaboração da própria autora com base no Documento de Resultados do CPC 2011 – Brasília, 2017
Ranking CPC das Instituições – 2014
Fonte: Elaboração da própria autora com base no Documento de Resultados do CPC 2014 – Brasília, 2017
Das instituições mostradas nas tabelas, destacam-se aquelas que figuraram mais de uma vez entre as top 10. São elas: Universidade Federal do Rio de Janeiro (UFRJ), Universidade Federal de Juiz de Fora (UFJF), Universidade Federal de Santa Catarina (UFSC) e Fundação Universidade Federal do ABC (UFABC).
Todas essas universidades são federais e possuem curso em funcionamento há mais de 10 anos. Como podemos constatar, a UFJF foi a única instituição que aumentou sua posição ao longo dos 3 anos em estudo, subindo de conceito 4 para 5. A instituição alcançou 0,83 pontos a mais na nota do CPC em comparação com 2008, o que representa um aumento de 25%. Com isso, passou da 18ª posição, em 2008, para 4º em 2011, até atingir a 1ª posição em 2014.
Ainda que a UFSC tenha se mantido na mesma faixa de conceito (4), houve aumento nas suas notas contínuas em 0,06 pontos de 2008 para 2014. O mesmo ocorreu para a UFABC, que aumentou seu CPC em 0,09 pontos de 2011 para 2014, mantendo-se com conceito 5. Contudo, o curso da UFABC adota um modelo diferente do convencional, de ingresso a um curso comum de Bacharelado em Ciência e Tecnologia para todos os estudantes da área de exatas e direcionamento posterior a uma área específica que, no caso da Engenharia de Produção, é denominada Engenharia de Gestão. Essa diferenciação acabou dificultando determinadas coletas de dados, dado que o curso não foi enquadrado como Engenharia de Produção nos outros rankings estudados e no portal de consulta do MEC. Sendo assim, a IES não será configurada como referência para essa análise.
O curso de Engenharia de Produção da UFRJ foi o único que veio sofrendo um declínio ao longo dos anos na avaliação do MEC, passando de conceito 5 para conceito 4. Em 2014, a UNIRIO passou a figurar como a instituição federal melhor avaliada no estado do Rio de Janeiro, posição até então ocupada pela UFRJ. Contudo, a UNIRIO teve seu curso iniciado em 2009, sendo 2014 seu primeiro ano de avaliação com a participação de apenas 3 concluintes, o que não daria consistência para estudo.
Tendo em vista os pontos expostos, os cursos de Engenharia de Produção escolhidos como referência para esse trabalho são os da UFJF, UFSC e UFRJ.
Abaixo, serão apresentadas comparações do desemprenho da UFF em cada componente do CPC com o desempenho das 3 IES escolhidas como referência.
Gráfico 6
Fonte: Elaboração da própria autora com base no Documento de Resultados do CPC 2014 – Brasília, 2017
Fonte: Elaboração da própria autora com base no Documento de Resultados do CPC 2014 – Brasília, 2017
Gráfico 8
Fonte: Elaboração da própria autora com base no Documento de Resultados do CPC 2014 – Brasília, 2017
Os gráficos acima evidenciam que as dimensões Desempenho dos Estudantes (Enade), Valor agregado pelo processo formativo oferecido pelo curso (IDD) e Percepções Discentes sobre o Processo Formativo (Oportunidades de Ampliação da Formação Acadêmica e Profissional, Infraestrutura e Instalações físicas e Organização Didático Pedagógica) são as mais prejudicadas quando comparadas as dos cursos das 3 IES de referência. Em todas elas, por exemplo, a UFJF alcançou pelo menos uma faixa de conceito superior à da UFF.
Vale ressaltar que na dimensão Desempenho dos Estudantes, todas as IES referência alcançaram conceito 5 no componente Enade. Apesar da UFRJ ter atingido 4,9 pontos nesse componente, nota mais alta entre as IES em estudo, sua nota no IDD (Índice de Diferença entre os Desempenhos Observado e Esperado) está na faixa de conceito 3, próximo a da UFF. Isso mostra que apesar dos seus concluintes terem um desempenho excelente na prova do Enade, quase 100% de acerto, essa nota não é suficiente para atingir o desempenho esperado desses estudantes com base nas suas características quando ingressantes no curso. Evidencia-se, portanto, que quanto melhor for o desempenho dos estudantes no ingresso, mais alto se torna o desempenho esperado desse ingressante quando concluinte.
A dimensão de Percepções Discentes sobre o Processo Formativo é a mais penalizada em todas as IES. No componente de Infraestrutura e Instalações Físicas, apenas a UFJF alcança conceito 4 e no componente de Organização Didático Pedagógica o curso de nenhuma das IES atinge tal conceito. Apesar desses componentes serem críticos em todas as IES, a UFF está próxima da faixa de conceito 1 em 2 dos 3 componentes dessa dimensão.
Os componentes da dimensão Corpo Docente são os que as IES obtém as maiores pontuações. Por serem federais, todas as IES possuem conceito máximo no componente Regime de Trabalho. Quanto aos componentes de Proporção de Mestres e Proporção de Doutores, ainda que esteja na faixa de conceito 5, a UFF possui desempenho melhor que a UFJF e a UFSC nas notas contínuas, apesar de ficar abaixo da UFRJ.
A partir do exposto acima, é possível verificar que os componentes em que o desempenho da UFF se apresentou como crítico foram: Enade, IDD, Organização Didático Pedagógica, Infraestrutura e Oportunidades de Ampliação. Todos esses componentes têm sua nota pautada no Exame Nacional de Desempenho do Estudante. Sendo assim, será realizada uma análise comparativa entre as respostas dos alunos do
curso de Engenharia de Produção da UFF e das IES de referência para as Questões da Prova, cujo percentual de acerto alimenta a nota do Enade e IDD e para as questões do Questionário do Estudante, cujas respostas servem de insumo para a dimensão de Percepções Discentes sobre o Processo Formativo.
Ao analisarmos o desempenho dos alunos concluintes nas questões da prova do Enade, vemos que tanto no componente de Formação Geral quanto no componente de Conhecimento Específico a UFF apresenta desempenho superior à média das IES do estado, da região e do país.
Gráficos 9.1 e 9.2
Fonte: Relatório de Curso Engenharia de Produção Universidade Federal Fluminense Niterói, Enade 2014. Disponível em: http://inep.gov.br/relatorios
Ainda que o resultado nessas comparações seja positivo, ao compararmos o desempenho nesses componentes com as IES definidas como referência nesse estudo, a UFF não atinge resultados tão expressivos quanto o da UFJF, UFSC ou UFRJ, como ilustra o gráfico abaixo.
Gráfico 10
Fonte: Elaboração da própria autora com base nos Relatórios de Curso Engenharia de Produção Universidade Federal Fluminense Niterói, Universidade Federal de Juiz de Fora, Universidade Federal
de Santa Catarina e Universidade Federal do Rio de Janeiro - Enade 2014. Disponíveis em: http://inep.gov.br/relatorios
Nessa comparação, destaca-se que o curso de Engenharia de Produção da UFF de Niterói apresenta uma defasagem maior no componente de Conhecimento Específico. No componente de Formação Geral, que representa 25% da prova do Enade, a nota dos alunos da UFF ficou 6% menor que a dos alunos da UFJF, 2% menor que a dos alunos da UFSC e 14% menor em comparação a dos alunos da UFRJ.
Já no componente de Conhecimento Específico, essa diferença aumenta para 9% em comparação com a UFSC e cresce ainda mais em comparação a UFJF e a UFRJ. Os alunos da UFF tiveram desempenho 16% menor em comparação com os alunos da UFJF e 23% menor em comparação com os da UFRJ.
Visando entender em quais conteúdos os alunos da UFF encontraram mais dificuldade, foi realizada uma análise mais detalhada das questões do Enade 2014. A partir da comparação das respostas dos alunos da UFF com o das outras IES, foram construídas as tabelas 8 e 10, nas quais o desempenho da UFF foi classificado em faróis verde, amarelo ou vermelho para as questões objetivas e discursivas, respectivamente.
