RESULTADOS PARA A ETAPA DE CRIAÇÃO DO COMITÊ DE

no contexto do problema da evasão, iniciou-se a construção do comitê de preditores que será incorporado no módulo APE. Cada preditor é um conjunto de instruções simples que divide todas as instâncias testadas em dois grupos: propensão à evasão (PE) e não propensão à evasão (NE). O valor utilizado por cada preditor para marcar a fronteira entre PE e NE é fornecido pelo usuário. Null também pode ser fornecido, indicando que esta variável não será utilizada. Exceto para vi e vii, foi construído um preditor para cada variável, mesmo aquelas que não estão sendo utilizadas no momento para predição, como a variável ix, devido ao seu baixo poder preditivo. Isto se deve ao fato que as características da base podem tornar-se diferentes no futuro e o sexo pode tornar-se uma variável relevante para predição.

O funcionamento do comitê de preditores simples se dá em três etapas: primeiro, é realizada uma triagem das instâncias, verificando-se o valor das variáveis i e iii; quando iii é igual a zero, esta instância é associada à categoria d e quando i e iii são iguais a zero, a instância é associada à categoria e. As instâncias que não foram associadas a d ou e são avaliadas pelos preditores, obtendo de cada um o resultado PE ou NE. Então verifica-se o total de resultados PE ou NE obtidos: caso a instância tenha sido avaliada como PE por ¾ ou mais preditores, ela será classificada como c; caso a instância tenha sido avaliada como NE por ¾ ou mais preditores, ela será classificada como a; em qualquer outro caso, será classificada como b. Os valores fornecidos como parâmetro para estes preditores foram: 63 para i; 23 para ii; 63 para iii; 63 para iv; 66 para v; 28 para viii; 36 para x; 13 para xi; e 5 para xii.

O resultado obtido pelo comitê de preditores simples foi, com os parâmetros ajustados com os valores indicados anteriormente, de 92,9755%. Das 1509 instâncias totais da base, 106 foram erroneamente classificadas. Destas 106, em apenas cinco casos houveram equívocos na classificação entre as categorias a e c; todos os cinco eram alunos categorizados como a pelo algoritmo EM, mas considerados como pertencentes a c pelo comitê de preditores simples. Os outros casos variaram entre as categorias a e b (44 a classificados como b e 22 b classificados como a) e b e c (21 b classificados como c e 14 c classificados como b).

Criou-se a partir dos dados disponíveis do segundo semestre de 2012 uma linha do tempo, contendo oito momentos, separados entre si pelo espaço de tempo de duas semanas. O último momento corresponde ao final do semestre e, portanto, já foi testado anteriormente, em conjunto com os outros semestres. Os mesmos parâmetros indicados anteriormente para o

comitê de preditores simples foram testados em cada um dos sete momentos anteriores ao final do semestre. O resultado total para o primeiro momento foi de 4,9327%; 6,2780% no segundo momento; 19,2825% no terceiro momento; 31,8386% no quarto momento; 67,2646% no quinto momento; 79,8206% no sexto momento; e 84,3049% no sétimo momento. Estes resultados, assim como o resultado do último momento (92,9755%) estão representados no gráfico da Figura 9.

Figura 9 – Representação gráfica dos resultados dos oito momentos com os valores de parâmetros propostos.

É possível perceber que os resultados vão gradualmente melhorando ao longo deste semestre, evoluindo mais rapidamente entre o segundo e sexto momentos. Os resultados anteriores ao quinto momento são consideravelmente baixos, o que dificultaria a utilização do módulo APE para a predição da evasão por um docente que utilize o SAE antes deste momento. Ou seja, até este momento, os estudantes simplesmente não haviam utilizado o SAE o suficiente para que fosse possível uma predição mais acurada realizada somente pelo APE.

Um conjunto de valores alternativo pode ser utilizado como parâmetro para os preditores até o sétimo momento, com o objetivo de aumentar a acurácia do preditor. Os valores alternativos propostos como parâmetro para estes preditores até o sétimo momento são: 59 para i; 30 para ii; 56 para iii; 56 para iv; 26 para v; 28 para viii; 6 para x; 1 para xi; e 5 para xii. Utilizando-se estes parâmetros, os resultados dos três primeiros tempos permanecem

inalterados (4,9327%, 6,2780% e 19,2825%, respectivamente). Os resultados do quarto ao sétimo tempos são, respectivamente: 33,6323%, 78,4753%, 86,9955% e 86,9955%. O resultado do último momento, no entanto, cai para 84,4930% quando estes valores de parâmetros são utilizados. Estes resultados estão representados no gráfico da Figura 10.

Figura 10 – Representação gráfica dos resultados dos oito momentos com os valores de parâmetro alternativos.

Estes valores alternativos, menos rigorosos em seus critérios, possibilitaram uma predição mais acurada da chance de evasão até o sétimo momento. Ou seja, muitos dos alunos mais participativos não haviam ainda atingido nos momentos intermediários os critérios que os classificariam no final do semestre como parte de sua respectiva categoria. Estes valores, no entanto, atrapalham a predição no final do semestre, sendo excessivamente pouco rigorosa para este contexto, onde todos os dados estão disponíveis.

As variáveis xii a xvii não estavam previstas na base histórica de estudantes do SAE. Desta forma, não é possível testar valores para seus preditores, com o objetivo de melhorar seu resultado. No entanto, baseando-se em Superby et al. (2006) e Martins et al. (2012), estes valores são sugeridos como parâmetros para estas variáveis: <=20 resulta em NE, acima disto resulta em PE para xv; militar resulta em NE para xvi; graduado ou pós-graduado resulta em NE e outros resulta em PE para xvii e xviii.

As variáveis vi e vii não foram contempladas pelo comitê de preditores simples. No entanto, elas foram utilizadas para a validação interna dos resultados fornecidos por este, por meio do cálculo dos valores de incentivo e proporcionalidade. Cada valor de incentivo e proporcionalidade resultante refere-se a um professor específico (vii) em uma determinada disciplina (vi).

Os valores de incentivo e proporcionalidade foram calculados com base nos valores disponíveis na base histórica do SAE, ou seja, incluíram todos os semestres onde um mesmo professor esteve em uma mesma disciplina, a fim de determinar graus de confiança sobre o resultado obtido pelo comitê de preditores simples. Utilizou-se os seguintes valores como parâmetros para o cálculo da proporcionalidade: 10% para a, 20% para b, 30% para c, 30% para d e 10% para e. Os resultados obtidos estão descritos na Tabela 12.

Tabela 12 – Resultados dos valores de incentivo e proporcionalidade.

Professor Incentivo Proporcionalidade

A em Algoritmo (BCC) 100,00% 63,87%

A em Laboratório de Programação 1 100,00% 63,97%

A em Laboratório de Programação 2 100,00% 76,78%

A em Linguagem e Técnicas de Programação 1 100,00% 80,48%

A em Linguagem e Técnicas de Programação 2 100,00% 70,00%

B em Algoritmo (BCC) 85,55% 64,83%

B em Algoritmo (BSI) 41,67% 29,30%

B em Laboratório de Programação 1 80,72% 60,24%

B em Linguagem e Técnicas de Programação 2 32,35% 47,46%

C em Linguagem e Técnicas de Programação 1 45,26% 41,40%

C em Linguagem e Técnicas de Programação 2 29,18% 37,27%

D em Algoritmo (BSI) 15,00% 22,56%

E em Algoritmo (BCC) 21,21% 49,67%

F em Laboratório de Programação 2 28,87% 61,54%

F em Linguagem e Técnicas de Programação 2 46,28% 57,59%

G em Introdução à Ciência da Computação 75,50% 70,91%

Com o mesmo objetivo de validar os resultados de predição fornecidos pelo comitê de preditores simples, foram comparados estes resultados com a evasão real ocorrida no período estudado, da mesma forma que foi realizada com a predição dos algoritmos de clustering EM e SimpleKMeans. Estes resultados são apresentados na Tabela 13.

Tabela 13 – Validação da predição do comitê de preditores simples por professor.

EM Cluster e Cluster d Cluster c Cluster b Cluster a

Evadidos de A 10 2 30 8 1 Possivelmente Evadidos de A 0 2 21 23 1 Não Evadidos de A 0 2 9 98 56 Evadidos de B 11 24 1 0 0 Possivelmente Evadidos de B 6 37 4 3 0 Não Evadidos de B 0 89 25 31 0 Evadidos de C 7 11 2 0 0 Possivelmente Evadidos de C 6 20 2 0 0 Não Evadidos de C 4 110 12 3 0 Evadidos de D 0 0 0 0 0 Possivelmente Evadidos de D 0 3 0 0 0 Não Evadidos de D 1 35 0 0 0 Evadidos de E 2 1 0 0 0 Possivelmente Evadidos de E 2 5 1 0 0 Não Evadidos de E 1 30 9 0 0 Evadidos de F 1 1 0 0 0 Possivelmente Evadidos de F 0 2 0 0 0 Não Evadidos de F 0 13 4 4 0

Embora o erro de falso positivo tenha permanecido igual entre a predição do algoritmo EM e o comitê de preditores simples, o falso negativo deste último foi consideravelmente menor do que este mesmo erro apresentado pelo primeiro. Por exemplo, enquanto o algoritmo EM havia categorizado 5 alunos evadidos como Muito Participativos (cluster a) para o professor A, o comitê de preditores simples cometeu este equívoco com apenas um aluno.