Resultados obtidos com a dimensão Neuroticism

A Tabela 6.13 apresenta os resultados obtidos com 11 configurações específicas de conjuntos de classificadores, combinando as duas bases de treinamento utilizadas e diversos modos de representação do texto.

Tabela 6.13: Resultados doEnsemblede Classificação da DimensãoNeuroticism Conjunto Acurácia Classificador Modo Base

Neu1 57,78% MLPC LIWC ESSAYS

Neu2 48,89% GNB LIWC ESSAYS

Neu3 42,22% kNN LIWC ESSAYS

Neu4 62,22% kNN unigram ESSAYS

Neu5 60,00% GNB Word2Vec ESSAYS

Neu6 68,89% MLPC LIWC ESSAYS

kNN unigram ESSAYS

LR unigram ESSAYS

MLPC unigram ESSAYS

Neu7 53,33% GNB bigram ESSAYS

LR bigram ESSAYS

LR trigram ESSAYS

GNB LIWC ESSAYS

GNB Word2Vec ESSAYS

Neu8 60,00% GNB LIWC ESSAYS

GNB bigram ESSAYS

GNB Word2Vec ESSAYS

Neu9 57,78% kNN LIWC myPersonality

Neu10 57,78% LR LIWC myPersonality

Neu11 51,11% kNN LIWC myPersonality

GNB LIWC myPersonality

MLPC LIWC myPersonality

LR unigram myPersonality GNB Word2Vec myPersonality

No caso doNeuroticism, os melhores resultados também foram obtidos com a base ESSAYS, sendo que neste caso o conjunto “Neu6”, que agregou a representação LIWC com unigram, apresentou o melhor resultado, com uma acurácia de 69%. Como referência, o melhor resultado observado na literatura investigada foi novamente verificado no trabalho de Tandera et al. (2017), com um valor de 65%, utilizando redes neurais, basemyPersonalitye representação LIWC.

6.9 Publicações

O trabalho descrito nesta tese, originou artigos aceitos em conferências científicas de abrangência internacional. O primeiro deles, aceito e apresentado no XXVIII Simpósio Brasileiro de Informática na Educação (SBIE 2017), intitulado “Identificação de estilo de aprendizagem:

Um modelo de inferência automatizado baseado no perfil de personalidade identificado nos textos produzidos pelo aluno” (Buiar et al., 2017), apresenta a primeira versão do modelo de identificação de personalidade proposto na presente pesquisa, denominado IPP, sendo aplicado na realização da inferência do Estilo de Aprendizagem, de acordo com o modelo de Felder e Silverman (Felder et al., 1988).

O segundo trabalho, apresenta a utilização da identificação da personalidade, utilizando o modelo IPP inicialmente proposto, para a identificação das dimensõesExtraversioneOpenness que são utilizadas como referência para o sequenciamento adaptativo dos objetos de aprendizagem, em colaboração com a pesquisadora Zenaide Silva. Foi aceito e apresentado na XXII Conferência Internacional sobre Informática na Educação (TISE 2017) com o título “Adaptação da Interface de Objetos de Aprendizagem a partir do Perfil de Personalidade do Aprendiz” (Silva et al., 2017).

O terceiro trabalho a ser publicado, “Detecção automática de traços de personalidade e recomendação de agrupamento com o modelo Big Five”, foi aceito para apresentação XXIX Simpósio Brasileiro de Informática na Educação (SBIE 2018). Realizado em conjunto com a pesquisadora Taís Ferreira (UFU), aborda os resultados dos experimentos realizados pelos autores, na identificação de personalidade a partir do texto para a formação de grupos de colaboração.

Apresentando os resultados obtidos na presente pesquisa, este trabalho foi selecionado entre os seis artigos que irão concorrer ao melhor artigo deste simpósio.

6.10 Considerações

O experimento realizado com a base UNIVERSIDADE teve como objetivo verificar o comportamento do modelo IP3 na realização da identificação do perfil de personalidade de alunos, em um ambiente real. Para isto foram realizados testes de identificação com diversas combinações de classificadores, bases de treinamento e formas de representação do texto, sendo que somente os resultados de alguns conjuntos relevantes e representativos das diversas combinações obtidas, foram apresentados nas tabelas apresentadas na Seção 6.8.

A natureza dos textos dos alunos, obtidos a partir das atividades educacionais registradas noMoodle, correspondendo à base UNIVERSIDADE, tem uma característica diferenciada em relação às duas bases de referência utilizadas para treinamento dos classificadores. A base ESSAYS foi formada com redações realizadas pelos voluntários, em que estes referiam-se a si próprios, utilizando uma linguagem formal. No caso da basemyPersonality, os textos que originaram esta base, foram obtidos do ambienteFacebook, onde foram verificados textos em formato mais livre, sem uma preocupação dos autores com formalismos sintáticos.

Por sua vez, os textos da base UNIVERSIDADE são oriundos de atividades educacionais, onde os alunos muitas vezes realizavam a descrição de características de terceiros, o que motivou a utilização das duas bases distintas de classificação e verificação de qual base seria mais adequada. Foi verificado que em todas as dimensões do BIG FIVE, a utilização da base ESSAYS apresentou melhores resultados na identificação da personalidade dos alunos, a partir dos textos das atividades educacionais, tendo como referência a base utilizada neste experimento.

Em relação aos classificadores, foi verificado que não houve destaque em relação a um classificador específico, nem mesmo grandes melhorias nos resultados com mudança nos

parâmetros dos classificadores. Mas a utilização de conjuntos de classificadores, utilizando formas de representação diferenciadas e combinadas, permitiu a obtenção de melhores resultados no processo de identificação. Apesar dos resultados inferiores obtidos com a representação de forma isolada das técnicas nGRAM eWord2Vec, em relação a representação LIWC, a combinação destas técnicas possibilitou a melhoria dos resultados obtidos, comparado com os valores obtidos utilizando somente o LIWC. A Tabela 6.14 apresenta os valores observados nas pesquisas investigadas, que utilizaram as bases ESSAYS emyPersonality, comparados com os resultados obtidos na presente pesquisa.

Tabela 6.14: Comparativo da Acurácia Obtida nos Experimentos Investigados

OPN CON EXT AGR NEU

Mairesse et al. (2007) 63% 56% 56% 56% 58%

Alam et al. (2013) 69% 59% 59% 58% 63%

Iacobelli e Culotta (2013) 62% 56% 61% 53% 56%

Tighe et al. (2016) 61% 55% 54% 57% 57%

Majumder et al. (2017) 63% 57% 59% 57% 59%

Tandera et al. (2017) 74% 56% 65% 59% 65%

Yu e Markov (2017) 71% 51% 61% 54% 61%

Ensemble IP3 91% 62% 68% 66% 68%

Os valores obtidos com o processo de identificação do perfil de personalidade, utilizando o modelo BIG FIVE, dos alunos presentes na base UNIVERSIDADE, por meio do modelo IP3, tendo como referência de treinamento dos classificadores, as bases ESSAYS emyPersonality, demonstra resultados superiores de acurácia, se comparados com as demais pesquisas identificadas, que realizaram experimentos com as bases ESSAYS emyPersonality. Nesta comparação também deve ser levado em consideração que a presente pesquisa utilizou a base UNIVERSIDADE para a obtenção da acurácia, ao passo que os demais experimentos citados utilizaram a separação das bases ESSAYS emyPersonalityem conjuntos de treinamento e teste. Além disto, nos testes para validação do modelo IP3, foi comprovada a viabilidade da utilização de uma base de treinamento em idioma inglês, no processo de classificação de uma base em idioma português, utilizando as técnicas utilizadas pelo modelo desenvolvido.