2. Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD)
2.2. Condições para que um curso tenha o IDD calculado
1. APRESENTAÇÃO
O presente resumo visa esclarecer as metodologias de cálculo dos indicadores utilizados para aferir o desempenho do campus na educação superior, definidos pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), conforme atribuição estabelecida pelo Decreto nº 9235, de 15 de dezembro de 2017, e pela Portaria Normativa nº 840, de 24 de agosto de 2018, republicada em 31 de agosto de 2018, retificada em 03 de setembro de 2018. As Notas Técnicas utilizadas foram: NOTA
TÉCNICA Nº 34/2020/CGCQES/DAES; NOTA TÉCNICA Nº
58/2020/CGCQES/DAES; e NOTA TÉCNICA Nº 59/2020/CGCQES/DAES, que respectivamente abordam o Conceito Preliminar de Curso (CPC), Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD) e o Índice Geral de Cursos Avaliados da Instituição (IGC).
2. INDICADOR DE DIFERENÇA ENTRE OS DESEMPENHOS OBSERVADO E ESPERADO (IDD)
O IDD é um indicador de qualidade que mede o valor agregado pelo curso de graduação ao desenvolvimento dos estudantes concluintes, considerando seus desempenhos no Exame Nacional de Desempenho dos Estudantes (Enade) e suas características de desenvolvimento ao ingressar no curso de graduação avaliado. Esse indicador expressa uma medida relativa do valor agregado pelo curso aos seus estudantes com relação ao valor agregado médio da área de avaliação a qual ele pertence.
2.1. Informações utilizadas para o cálculo
O cálculo do IDD, realizado por código de curso, leva em consideração as seguintes informações:
a) número de estudantes concluintes participantes no Enade com resultados válidos;
b) desempenho geral dos estudantes participantes no Enade;
c) desempenho dos estudantes no Exame Nacional do Ensino Médio (Enem) nas áreas de Ciências da Natureza (CN), Ciências Humanas (CH), Linguagens e Códigos (LC) e Matemática e suas Tecnologias (MT);
d) número de participantes no Enade com nota do Enem recuperada.
2.2. Condições para que um curso tenha o IDD calculado
Para que um curso tenha o IDD calculado, é preciso que ele atenda às seguintes condições:
a) Possuir no mínimo 2 (dois) estudantes concluintes participantes do Enade com dados recuperados da base de dados do Enem no período entre o ano de ingresso no curso avaliado e os 3 (três) anos anteriores;
b) Atingir 20% (vinte por cento) do total de estudantes concluintes participantes do Enade com dados recuperados da base de dados do Enem.
3 2.3. Considerações que subsidiam o cálculo do IDD
Um dos aspectos importantes na avaliação da qualidade de um curso de graduação está na mensuração de sua efetiva contribuição para o desenvolvimento de competências, habilidades e conhecimento dos estudantes, o que tem sido chamado de "valor agregado pelo processo formativo oferecido pelo curso de graduação".
Tendo em vista que o desempenho dos estudantes concluintes no Enade não pode ser explicado exclusivamente pela qualidade das condições de oferta dos processos formativos, torna-se importante destacar outro fator interveniente: o perfil dos estudantes concluintes ao ingressarem na graduação, no curso avaliado pelo Exame.
Nesse sentido, o Indicador de Diferença entre os Desempenhos Observado e Esperado busca aferir aquilo que diz respeito especificamente ao valor agregado pelo curso ao desenvolvimento dos estudantes concluintes, considerando seus desempenhos no Enade e suas características de desenvolvimento ao ingressar no curso de graduação avaliado. Conceitualmente, os fatores que determinam o desempenho dos concluintes de cursos de graduação podem estar relacionados a:
a) características de desenvolvimento do estudante concluinte ao ingressar na Educação Superior;
b) qualidade das condições do processo formativo oferecido pelos cursos; e
c) outros elementos que afetam o desempenho do estudante concluinte, captados por um termo de erro.
Assim sendo, o desempenho de cada estudante concluinte no Enade poderia ser decomposto em função dos referidos três aspectos, como mostra a equação:
Importante: Para recuperar os resultados do Enem, limita-se a busca aos 3 (três) anos anteriores ao ingresso no curso avaliado ou no referido ano. Caso seja localizada mais de uma participação são utilizados os seguintes critérios de seleção dos dados a serem utilizados no cálculo do IDD, na ordem em que são apresentados:
a. Dentre os dados do estudante referentes aos 3 (três) anos anteriores ao seu ingresso no curso de graduação avaliado no Enade são selecionados aqueles referentes ao ano mais próximo ao seu ingresso no curso.
b. Não sendo localizados dados de participação do estudante no Enem nos três anos anteriores ao seu ingresso no curso de graduação em questão, são selecionados os dados referentes ao ano do ingresso, desde que esse não seja o mesmo ano de realização do Enade (2019).
4 Partindo-se dos fatores que determinam o desempenho dos concluintes, o IDD poderia ser expresso pela equação:
Onde:
IDD é a estimativa da parte do desempenho do estudante concluinte decorrente da qualidade das condições de oferta do processo formativo do curso;
C é o desempenho observado do estudante concluinte; e
Î é a estimativa da parte do desempenho do estudante concluinte decorrente de suas características quando ingressante no curso.
Para a estimativa do termo Î é necessária uma medida relativa às características do estudante concluinte quando de seu ingresso no curso de graduação. Os resultados do ENEM, utilizados para a obtenção dessa medida, são recuperados a partir do número de CPF do estudante, informação obrigatória para a inscrição no exame desde 2009.
A medida de desempenho obtida a partir do Enem se configura como uma proxy das condições de desenvolvimento do estudante quando de seu ingresso na graduação, como uma medida de boa qualidade para a estimação do IDD, tendo em vista que ela é referente ao próprio estudante concluinte. Aqui são consideradas as notas obtidas em escala TRI (Teoria de Resposta ao Item) referentes às quatro áreas avaliadas pelo Enem:
ciências da natureza, ciências humanas, linguagens e códigos e matemática e suas tecnologias.
Nesse processo, utiliza-se um modelo de regressão linear multinível ou hierárquico, do tipo paramétrico para dados agregados, com o uso de parâmetros de efeitos fixos e efeitos aleatórios. Esse modelo descreve a relação entre uma variável dependente contínua (desempenho dos estudantes concluintes no Enade) e variáveis independentes ou explicativas (desempenho dos estudantes nas quatro áreas no Enem), fazendo uso de parâmetros de efeitos fixos, associados a uma ou mais covariáveis, e de efeitos aleatórios, associados a um ou mais fatores aleatórios. As regressões são estimadas com base no método de Máxima Verossimilhança Restrita.
Os testes realizados para a definição da metodologia de cálculo do IDD apontaram para a utilização das 4 (quatro) notas do estudante nas questões objetivas do Enem como variáveis explicativas do modelo, com efeito fixo em seus parâmetros, e com efeito
5 aleatório no intercepto, variando para cada curso de graduação. Outras variáveis foram testadas, como o nível de escolaridade dos pais, a renda familiar e as notas da redação do Enem, mas elas foram descartadas das estimações do modelo de regressão multinível por terem apresentado resultados de correlação baixos com a variável dependente (desempenho dos estudantes concluintes no Enade).
Diante disso, busca-se localizar na base de dados do Enem as notas dos estudantes concluintes com valor atribuído às 4 (quatro) provas do exame, limitando-se a busca aos 3 (três) anos anteriores ao ingresso no curso avaliado ou no referido ano.
2.4. Cálculo da Diferença entre os Desempenhos Observado e Esperado (IDDIC) No cálculo do IDD, o modelo de regressão multinível é especificado em dois níveis:
I - o estudante, identificado pelo subscrito i;
II - o curso, identificado pelo subscrito c.
Para todas as etapas do processo de cálculo do IDD, as regressões e as estimativas de seus parâmetros ocorreram por área de avaliação do Enade. O primeiro passo no processo de cálculo do IDD é estimar os parâmetros do modelo de regressão utilizados para cada área de avaliação do Enade, conforme especificado nas equações a seguir, que caracterizam o modelo de regressão multinível para a variável de medida de desempenho obtida a partir do Enade. Para estimar esses parâmetros, são utilizados apenas os dados dos estudantes concluintes dos cursos que atendem às condições de cálculo do IDD.
A equação abaixo expressa o primeiro nível da regressão, relativa ao estudante, onde são considerados o intercepto e as medidas de desempenho do estudante no Enem.
6 Já a equação abaixo expressa o segundo nível da regressão, relativo ao curso de graduação:
O modelo de regressão apresentado nas equações acima é estimado duas vezes.
Na primeira, estima-se a regressão, computa-se o resíduo e, então, calcula-se o resíduo padronizado. A partir do resíduo padronizado são identificados os estudantes com resíduos considerados discrepantes (outliers), ou seja, aqueles que apresentaram o resíduo padronizado com valor absoluto maior que 3. Na segunda estimativa, desconsiderando-se estudantes outliers, são obtidos os parâmetros definitivos que serão utilizados no cálculo da estimativa da parte do desempenho do estudante concluinte decorrente de suas características quando ingressante no curso, necessário ao cálculo do IDD.
Obtidos os parâmetros da regressão, , calcula-se Îic para cada estudante concluinte, como mostra a equação:
Onde:
7 O IDD bruto é calculado para cada estudante i do curso de graduação c como exposto na Equação:
Onde:
IDDic é o IDD do estudante i do curso de graduação c;
Cic é a medida de desempenho do estudante concluinte i no Enade, ponderada pelas notas no componente específico (75%) e na formação geral (25%), do curso de graduação c; e Îic é a estimativa da parte do desempenho do estudante concluinte i do curso de graduação c no Enade decorrente de suas características quando ingressante no curso.
Calculado o IDDic de cada estudante concluinte, é necessário fazer o cálculo do IDDic dos cursos de graduação que atenderam às condições indicadas anteriormente. Para tanto, calcula-se a média dos IDDic conforme indica a equação seguinte.
Onde:
IDDc é a média dos IDDic dos estudantes concluintes do curso de graduação c;
IDDic é o IDD do estudante i do curso de graduação c; e
n é a quantidade de estudantes concluintes com IDDic calculado para o curso de graduação c.
Uma vez calculado o IDDc bruto, procede-se à padronização e ao reescalonamento descritos a seguir para se obter a Nota Padronizada do IDD (NIDDc), que assume valores de 0 (zero) a 5 (cinco), na forma de variável contínua.
2.5. Padronização e Reescalonamento
O processo de padronização e reescalonamento passa por duas etapas:
a) cálculo do afastamento padronizado de cada curso de graduação, fazendo-se uso das médias e dos desvios-padrão calculados por área de avaliação;
b) transformação dos afastamentos padronizados em notas padronizadas que também
8 podem variar de 0 (zero) a 5 (cinco).
Por fim, para o cálculo do afastamento padronizado de cada curso, faz-se uso da seguinte equação:
9 Para que todos os cursos de graduação tenham sua nota de IDD numa escala de 0 (zero) a 5 (cinco), efetua-se a interpolação linear, expressa na equação 11, obtendo se assim a Nota Padronizada de IDD de cada curso de graduação c. Os cursos de graduação com afastamento padronizado menor que -3 e maior que +3 recebem nota padronizada igual a 0 (zero) e 5 (cinco), respectivamente, e não são utilizadas como mínimo ou máximo no cálculo do IDD, por serem considerados discrepantes (outliers) em relação aos demais. Para tal transformação, utilizou-se a equação seguinte:
O IDD é uma variável discreta que assume valores de 1 a 5, resultante da conversão da Nota Padronizada do IDD do curso de graduação c (NIDDc), realizada conforme definido na tabela.
10
3. CONCEITO PRELIMINAR DE CURSO (CPC)
O CPC é um indicador de qualidade que combina, em uma única medida, diferentes aspectos relativos aos cursos de graduação. Ele é constituído de oito componentes, agrupados em quatro dimensões que se destinam a avaliar a qualidade dos cursos de graduação, conforme figura abaixo:
É importante destacar que para efeito de cálculo do CPC, o curso precisa que ao menos 2 (dois) estudantes participantes com resultados válidos no Enade. São considerados válidos os resultados dos concluintes inscritos regularmente pelas IES de forma tradicional ou administrativa.
Ressalta-se ainda, que para título de cálculo, tanto as Notas dos Concluintes do ENADE (NCC), quanto a Nota do Indicador da Diferença entre os Desempenhos Observado e Esperado (NIDDc), não necessitam de padronização e transformação para a escala de 0 (zero) a 5 (cinco), pois já seguem este procedimento, como demonstrado em suas respectivas notas técnicas.
O cálculo dos componentes da dimensão Corpo Docente de cada curso considera as informações acerca do corpo docente dos cursos que tiveram estudantes concluintes inscritos pela IES no Enade, na condição de regular de forma tradicional (Sistema Enade) ou administrativa e dos cursos com grau acadêmico igual a bacharelado ou tecnólogo, independentemente da presença no Exame.
3.1. Nota de Proporção de Mestres (NMc)
Para o cálculo da Proporção de Mestres do curso c (NMc), inicialmente calcula-se a proporção de docentes com titulação igual ou superior a mestre, titulação obtida ou
11 validada por programa de pós-graduação stricto sensu reconhecido pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) – conforme demonstra a equação:
𝑃𝑀𝑐 = 𝑀𝐶 𝑇𝐶 Onde:
PMc é a proporção de docentes do curso de graduação c com titulação igual ou superior amestre;
Mc é o número de docentes do curso de graduação c com titulação igual ou superior amestre; e
Tc é o número total de docentes vinculados ao curso de graduação c.
Após o cálculo da nota bruta da proporção de docentes do curso de graduação c com titulação igual ou superior a mestre (PMc) o próximo passo é padronizar e reescalonar essa medida para que assumam valores contínuos de 0 (zero) a 5 (cinco), conforme procedimento descrito mais a frente neste resumo, para dar origem à Nota de Proporção de Mestres do curso c (NMc).
3.2. Nota de Proporção de Mestres (NDc)
Já para o cálculo de Nota de Proporção de Doutores do curso c (NDc), inicialmente calcula-se a proporção de docentes com título de doutor obtido ou validado por programa de pós-graduação stricto sensu reconhecido pela Capes, conforme demonstra a equação abaixo:
𝑃𝐷𝑐 = 𝐷𝐶 𝑇𝐶 Onde:
PDc é a proporção de docentes do curso de graduação c com título de doutor;
Dc é o número de docentes do curso de graduação c com título de doutor; e Tc é o número total de docentes vinculados ao curso de graduação c.
3.3. Nota de Proporção de Mestres (NRc)
O mesmo procedimento de padronização e transformação relato para o cálculo da proporção de mestres, também será utilizado para o cálculo da proporção de doutores, bem como, para o próximo item, regime de trabalho. Para obter-se a Nota de Regime de Trabalho do curso c, inicialmente calcula-se a proporção de docentes com regime de trabalho parcial ou integral, conforme mostra a equação:
𝑃𝑅𝑐 = 𝑅𝐶 𝑇𝐶 Onde:
12 PRc é a proporção de docentes do curso de graduação c com regime de trabalho parcial ou integral;
Rc é o número de docentes do curso de graduação c com regime de trabalho parcial ou integral; e
Tc é o número total de docentes vinculados ao curso de graduação c.
3.4. Percepção Discente sobre as Condições do Processo Formativo
O cálculo dos componentes da dimensão Percepção Discente sobre as Condições do Processo Formativo de cada curso considera as respostas de todos os estudantes concluintes do curso com grau acadêmico igual a bacharelado ou tecnólogo, inscritos na condição de regular pela IES de forma tradicional (Sistema Enade) ou administrativa, que tiverem respondido ao Questionário do Estudante, independentemente da presença no Exame.
3.4.1. Nota referente à organização didático-pedagógica (NOc)
Para calcular o componente Nota referente à organização didático-pedagógica (NOc), inicialmente, obtém-se a média das respostas dos itens 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40,42, 47, 48, 49, 51, 55, 57 e 66 do Questionário do Estudante para cada estudante i do curso de graduação c (QOci), desconsiderando-se as respostas
“Não sei responder" e "Não se aplica”. Após o cálculo da média das respostas dos itens relativos à organização didático-pedagógica de cada estudante i do curso de graduação c, obtém-se a nota bruta relativa à organização didático-pedagógica do curso de graduação c, conforme mostra a equação:
𝐷𝑂𝑐 = ∑𝑁𝑖=𝑙𝑄𝑂𝑐𝑖 𝑁
Onde:
DOc é a nota bruta relativa à organização didático-pedagógica do curso de graduação c;
QOci é a média das respostas dos itens relativos à organização didático-pedagógica de cada estudante i do curso de graduação c; e
N é o número de estudantes do curso de graduação c que responderam ao menos 1 (um) item relativo à organização didático-pedagógica.
3.4.2. Nota referente à infraestrutura e instalações físicas (NFc)
Para calcular o componente Nota referente à infraestrutura e instalações físicas (NFc), inicialmente obtém-se a média das respostas dos itens 58, 59, 60, 61, 62, 63, 64, 65 e 68 do Questionário do Estudante para cada estudante i do curso de graduação c (QFci), desconsiderando-se as respostas “Não sei responder" e "Não se aplica”. Após o cálculo da média das respostas dos itens relativos à infraestrutura e instalações físicas do
13 estudante i do curso de graduação c, obtém-se a nota bruta relativa à infraestrutura e instalações físicas do curso de graduação c, conforme mostra a equação:
𝐷𝐹𝑐 = ∑𝑁𝑖=𝑙𝑄𝐹𝑐𝑖 𝑁 Onde:
DFc é a nota bruta relativa à infraestrutura e instalações físicas do curso de graduação c;
QFci é a média das respostas dos itens relavos à infraestrutura e instalações físicas do estudante i do curso de graduação c; e
N é o número de estudantes do curso de graduação c que responderam ao menos 1 (um) item relativo à infraestrutura e instalações físicas.
3.4.3. Nota referente às oportunidades de ampliação da formação acadêmica e profissional (NAc)
Para calcular o componente Nota referente às oportunidades de ampliação da formação acadêmica e profissional (NAc), obtém-se a média das respostas dos itens 43, 44, 45, 46, 52 e 53 do Questionário do Estudante para cada estudante i do curso de graduação c (QAci), desconsiderando-se as respostas “Não sei responder" e "Não se aplica”. Após o cálculo da média das respostas dos itens relativos às oportunidades de ampliação da formação acadêmica e profissional do estudante i do curso c, obtém-se a nota bruta relativa às oportunidades de ampliação da formação acadêmica e profissional do curso de graduação c, conforme mostra a equação.
𝐷𝐴𝑐 = ∑𝑁𝑖=𝑙𝑄𝐴𝑐𝑖 formação acadêmica e profissional do estudante i do curso c; e
N é o número de estudantes do curso c que responderam ao menos 1 (um) item relativo às oportunidades de ampliação da formação acadêmica e profissional.
3.5. Padronização e Reescalonamento
Para o cálculo do CPC, exceto a nota dos concluintes no Enade (NCc) e a nota padronizada do IDD (NIDDc), as notas brutas calculadas: PMC, PDC; PRC, DOC, DFC e DAC passaram pelas duas etapas do processo de padronização e reescalonamento:
a) Cálculo do afastamento padronizado de cada curso de graduação, fazendo-se uso das médias e dos desvios-padrão calculados por área de avaliação:
𝑋̅𝑘 = ∑𝑇𝑐=1𝑋̅𝑐𝑘 𝑇 Onde:
14
Sxk é o desvio-padrão do componente “X” da área k;
Xck é a nota bruta do componente “X” do curso de graduação c da área de
Zxc é o afastamento padronizado do componente “X” do curso de graduação c;
Xck é a nota bruta do componente “X” do curso de graduação c da área de avaliação k;
𝐗̅𝐤 é a média do componente “X” da área de avaliação k; e
Sxk é o desvio-padrão do componente “X” da área de avaliação k.
b) Transformação do afastamento padronizado:
Em seguida, aplica-se a interpolação linear, expressa na equação 4, para transformar os valores dos afastamentos padronizados de cada componente do CPC para a escala de 0 (zero) a 5 (cinco). Os cursos de graduação com afastamento padronizado menor que -3 e maior que +3 recebem nota padronizada igual a 0 (zero) e 5 (cinco), respectivamente, e não são utilizados como valores mínimos ou máximos da área de avaliação no cálculo do CPC por serem considerados discrepantes (outliers) em relação aos demais.
𝑁𝑃𝑋𝑐 = 5 ∗ ( 𝑍𝑋𝑐−𝑍𝑋𝑘𝑚𝑖𝑛 𝑍𝑋𝑘𝑚𝑎𝑥 − 𝑍𝑋𝑘𝑚𝑖𝑛) Onde:
NPXc é a nota padronizada do componente “X” do curso de graduação c;
ZXc é o afastamento padronizado do componente “X” do curso de graduação c;
ZXk min é o afastamento padronizado mínimo do componente “X” da área de avaliação k; e
ZXk max é o afastamento padronizado máximo do componente “X” da área de avaliação k.
15 3.6. Fórmula do Conceito Preliminar do Curso
Com todos os componentes do CPC já padronizados e transformados para a escala de 0 (zero)a 5 (cinco), foram considerados como 0 (zero) para o cálculo do indicador:
a) Nota de Proporção de Mestres (NMC) quando não apresentado docentes com a referida titulação;
b) Nota de Proporção de Doutores (NDC) quando não apresentado docentes com a referida titulação;
c) Nota de Regime de Trabalho (NRC) quando não apresentado docentes com os referidos regimes de trabalho;
d) Nota referente à organização didático-pedagógico (NOC) quando não possuía nenhum estudante que tenha respondido pelo menos 1 (um) item relativo a esse componente;
e) Nota referente à infraestrutura e instalações físicas (NFC) quando não possuía nenhum estudante que tenha respondido pelo menos 1 (um) item relativo a esse componente;
f) Nota referente às oportunidades de ampliação da formação acadêmica e profissional (NAC) quando não possuía nenhum estudante que tenha respondido pelo menos 1 (um)item relativo a esse componente.
O Quadro a seguir mostra a composição geral do CPC, com seus componentes e respectivos pesos, divididos por dimensão.
NCPCc é a Nota contínua do Conceito Preliminar de Curso do curso de graduação c;
NCc é a Nota dos Concluintes no Enade do curso de graduação c;
NIDDc é a Nota do Indicador da Diferença entre os Desempenhos Observado e Esperado do curso de graduação c;
NMc é a Nota de Proporção de Mestres do curso de graduação c;
NDc é a Nota de Proporção de Doutores do curso de graduação c;
NRc é a Nota de Regime de Trabalho do curso de graduação c;
NOc é a Nota referente à organização didático-pedagógica do curso de graduação c;
NFc é a Nota referente à infraestrutura e instalações físicas do curso de graduação c; e
NFc é a Nota referente à infraestrutura e instalações físicas do curso de graduação c; e