O modelo para o reconhecimento da confiança geral demonstrada pelo estudante é formado por atributos que estão relacionados às variáveis definidas para o reconhecimento da confiança em cada atividade. Da mesma forma que ocorre no reconhecimento do esforço do
estudante, os valores dos atributos são obtidos a partir de um resumo ou síntese do conjunto de valores associados a estes atributos nas atividades, seguindo o mesmo princípio do modelo geral do esforço do estudante.
5.4.1 Reconhecimento da confiança por estudante: síntese das variáveis relacionadas às atividades
As variáveis relacionadas à confiança em cada tarefa possuem em sua maioria, duas categorias, no caso dos tempos, cujos valores indicam se foi acima ou normal, se o total das duas primeiras etapas foi proporcional ou ainda valores do tipo sim ou não, no acesso às dicas. Em todos estes atributos foi adotada uma categorização padrão, com os valores resumidos indicando as categorias nenhuma, muitas ou poucas, correspondendo ao número de vezes que o tempo foi acima, quantas vezes foi desproporcional ou ainda o número de vezes que foi acessada a dica ou pseudocódigo.
Utiliza-se portanto uma contagem para as ocorrências de cada valor, calculando a proporção desta em relação ao número total de atividades finalizadas pelo aluno. Neste contexto, para indicar maior confiança é desejável que em nenhuma ou poucas vezes o tempo seja acima do normal, seja desproporcional e em nenhuma ou em poucas atividades ocorra acesso às dicas.
A regra geral para determinação da categoria dos atributos citados é a seguinte: se a proporção é superior a 50%, é definido como “MUITAS”, se é 0 (zero), o valor é correspondente a “NENHUMA” e nos demais casos, é atribuída a classe “POUCAS”. A exceção é a variável que indica acesso ao pseudocódigo, neste caso, se mais de 30% das vezes ocorreu o acesso já é considerado na categoria de muitos acessos, em função de ser fortemente indicado que o estudante evite olhar o pseudocódigo durante a realização da tarefa.
A abordagem descrita na seção 5.3.1 foi adotada também no modelo para confiança para definir o atributo que corresponde ao nível de compreensão para o modelo geral da confiança, desta forma, adota-se o mesmo padrão para sintetização dos dados.
A mesma estratégia, que associa uma pontuação a cada registro de atividade é usada igualmente para o atributo que representa a avaliação feita pelo estudante em cada exercício, na qual ele indica se foi fácil, médio ou difícil. No modelo geral da confiança esta variável possui as categorias: “BAIXO”, “MEDIO_BAIXO”, “MEDIO_ALTO” e “ALTO”, de forma análoga ao que ocorre com a variável do nível de compreensão. Uma ressalva sobre este atributo é que um número maior de avaliações do tipo fácil contribui para que a categoria seja alto ou
médio alto, enquanto, avaliações com conteúdo difícil levam a categorização como baixo ou médio baixo.
A síntese do atributo que corresponde ao número de retomadas, segue a mesma lógica do nível de compreensão e avaliação, com a seguinte pontuação: nenhuma=3; poucas=2; muitas=0. Desta forma quanto menos retomadas, mais registros de atividades sem retomadas, maior a chance de ocorrer um valor baixo ou médio baixo e de forma oposta, mais ocorrências de muitas retomadas acarretam em categorização com alto ou médio alto. Conclui-se portanto que um valor alto na categoria geral de retomadas representa mais retomadas e portanto uma menor confiança. Este atributo se constitui no único caso em que valores negativos são atribuídos às categorias alto ou médio alto (Tabela 24).
5.4.2 Reconhecimento da confiança por estudante: construção das redes bayesianas Esta seção descreve o conjunto de atributos, e a rede bayesiana elaborada para determinar o nível de confiança do estudante. A tabela 24 descreve as variáveis e as pontuações utilizadas para uma classificação a priori do nível de confiança do estudante.
Tabela 24 - Pontuações para determinação da classe correspondente à confiança por atividade
Variável Regra e pontuação
Classe_tp_prob_cf NENHUMA=1;POUCAS=0;MUITAS=-1 Classe_tp_hip_cf NENHUMA=1;POUCAS=0;MUITAS=-1 Classe_prop_ph_cf NENHUMA=1;POUCAS=0;MUITAS=-1 Classe_vis_dica1 NENHUMA=1;POUCAS=0;MUITAS=-1 Classe_vis_dica2 NENHUMA=1;POUCAS=0;MUITAS=-1 Classe_vis_pseudo NENHUMA=1;POUCAS=0;MUITAS=-1 Classe_nivel_compreensao BAIXO = -2; MEDIO-BAIXO = -1;
MEDIO_ALTO=1; ALTO = 2 Classe_avaliacao_aluno BAIXO=-3; MEDIO_BAIXO=-2;
MEDIO_ALTO=2; ALTO=3 Classe_retomadas BAIXO = 2; MEDIO-BAIXO = 1;
MEDIO_ALTO=-1; ALTO = -2 Fonte: Elaborado pelo autor
A pontuação adota é semelhante a tabela para reconhecimento do esforço do estudante, pois os atributos que possuem três valores possíveis apresentam pontuação variando de -2 a 2. No caso das variáveis categorizadas de acordo com a proporção das ocorrências dos valores, a pontuação varia de -1 a 1, com uma categoria neutra (poucas).
Embora possa causar certa estranheza as categorias do atributo que corresponde à avaliação do aluno, na qual ele indica que é difícil, médio ou fácil, a opção por manter as categorias dos demais atributos que vão de baixo a alto. Como citado anteriormente, categorias baixo e médio baixo indicam uma maior ocorrência de atividades consideradas difíceis por parte do estudante e categorias alto e médio alto estão associadas a exercícios considerados mais fáceis. Em virtude desta categorização, foram atribuídos pontos negativos (-2 e -3) aos valores baixos e positivos às categorias alto e médio alto (2 e 3). Esta variável foi considerada a mais decisiva para determinação do nível de confiança, por isso recebeu as maiores pontuações na tabela.
A soma da pontuação de cada uma das entradas é calculada e sobre o valor é aplicada uma regra que define como baixa confiança registros cuja soma é igual ou menor que 0 (zero), sendo os demais categorizados como altos. Com a classificação a priori, 41 dos 68 registros de estudantes foram classificados com alta confiança, ao contrário do que ocorreu no conjunto de treinamento usado para determinar o esforço dos estudantes.
Figura 62 – Resultados da aplicação do método BayesNet para determinar a confiança do estudante
Fonte: Elaborado pelo autor
A capacidade e eficiência do método bayesiano para classificar as entradas é ilustrada na figura 62, a qual demonstra uma acuracidade superior a 91% após a utilização do algoritmo BayesNet no Weka. Embora o percentual seja considerado satisfatório, é o menor dentre aqueles que foram mostrados nos componentes anteriores, o que enfatiza que existe uma dificuldade um pouco maior para determinar a confiança do estudante. Novamente a classe baixo é a que apresenta menor taxa de verdadeiros positivos (TP), além de menores valores para precision e recall.
A estrutura da rede bayesiana, mostrada na figura 63 segue o padrão dos modelos anteriores, com dependência apenas entre a variável do nível de confiança para as demais.
Figura 63 – Rede bayesiana para reconhecimento da confiança do estudante
Fonte: Elaborado pelo autor
As probabilidades exibidas, ilustram a distribuição dos dados utilizados no treinamento, sendo possível constatar uma concentração nas categorias que representam poucas ou nenhuma ocorrência, para os atributos que possuem três categorias. Atributos que possuem quatro categorias exibem uma distribuição semelhante ao que foi mostrado no modelo do esforço por estudante, com mais ocorrências para os valores médios (“MEDIO_BAIXO”, “MEDIO_ALTO”).
As probabilidades mostradas na figura 64 demonstram a influência dos acessos às dicas e ao pseudocódigo no nível de confiança, estudantes que apresentam poucos ou muitos acessos têm maior chance de exibirem baixa confiança. As variáveis que indicam que o tempo foi acima do normal (classe_tp_prob_cf e classe_tp_hip_cf) não apresentam relação direta com baixo nível de confiança, entretanto, alunos que exibem alto nível de confiança normalmente apresentam poucas ou nenhuma atividade com tempo acima do normal.
O atributo que indica a avaliação do estudante (classe_avaliacao_aluno), as categorias alto e médio alto apresentam índices significativos (11% e 71%) para determinar um alto nível de confiança. Sobre o número de retomadas, categorias baixo e médio baixo (28% e 37%), indicam maior a probabilidade para um alto grau confiança, e, proporcionalmente, valores altos para as retomadas (51% e 25%) estão associadas à menor confiança.
Figura 64 – Tabela de probabilidades da rede para reconhecimento da confiança do estudante
Fonte: Elaborado pelo autor