Simulação de um Aprendiz Informal e Formal com
Recomendação Distribuída
Felipe Luiz Tortella
Pontifícia Universidade Católica de Campinas CEATEC
felipe.lt@puccamp.edu.br
Carlos Miguel Tobar Toledo
Sistemas InteligentesCEATEC
tobar@puc-campinas.edu.br
Resumo: Este documento é um resumo expandido
de um trabalho de Iniciação Científica, que se baseia em um aprendiz informal que pode se favorecer de recomendações de recursos educacionais disponí-veis na Web, uma vez que não tem um plano de estudo a ser seguido. Considera-se que as reco-mendações serão personalizadas. A simulação des-se aprendiz deve permitir entender como funciona um recomendador educacional, tanto quanto se os dados gerados por esse aprendiz são consistentes com a realidade. O programa que simula o aprendiz é apresentado, juntamente com os resultados obti-dos e sua análise.
Palavras-chave: Modelagem de agente, simulação,
recomendação distribuída.
Área do Conhecimento: Ciência da computação –
Sistemas de informação – CNPq.
1. INTRODUÇÃO
O trabalho de Iniciação Cientifica (IC) descrito neste resumo aborda uma simulação de um aprendiz in-formal [1], onde o mesmo se favorece de recomen-dações de recursos educacionais disponíveis na Web. O aprendiz informal visa aprender determinado assunto sem estar vinculado a alguma instituição educacional. Por isso, não tem um plano de estudos definido a ser seguido. Recursos educacionais exis-tem em grande quantidade na Web. Porém, aqueles que podem ajudar o aprendiz não são fáceis de loca-lizar. A ideia então é que o usuário vai se beneficiar de recomendações personalizadas. A recomendação é baseada nas avaliações de outros aprendizes. Para que se faça uma recomendação efetiva, a ideia é achar aprendizes similares ao que busca recursos. A recomendação colaborativa [2] é baseada em uma matriz de avaliações que, em geral, é esparsa devido a poucas avaliações, e muitos recursos ou usuários. Uma forma de preencher essa matriz é através da simulação do aprendiz informal, de maneira distribuí-da. Considera-se então um conjunto de aprendizes simulados, cada qual em um ponto da Internet.
Para isso, cada aprendiz tem a sua matriz de reco-mendação, que consiste nos recursos apresentados a ele e suas avaliações a respeito desses recursos. Um aprendiz pode fazer uma avaliação de um recur-so, atribuindo uma nota que vai de 1 a 10. Uma re-comendação realizada por um ser humano é impor-tante para se entender o trabalho desenvolvido. Este resumo está dividido em mais oito seções. Na Seção 2, encontra-se uma visão de como funciona o sistema proposto. Na Seção 3, apresenta-se uma especificação do sistema proposto. Na Seção 4, encontram-se detalhes do funcionamento do siste-ma. Na Seção 5 é mostrado o plano de avaliação usado. Na Seção 6 são detalhadas as informações do banco de recursos educacionais e as modelagens usadas na avaliação, que diferem em alguns aspec-tos daquelas propostas. Na sétima seção são mos-trados os resultados da avaliação do sistema e a sua análise. Na última seção, apresentam-se conclusões.
2. PROJETO DO SISTEMA
Para se encontrar usuários similares e assim simular avaliações, é considerada uma semelhança calcula-da pelo algoritmo K-Means [3], que foca os calcula-dados do aprendiz (idade, formação, localidade, língua-mãe, acessibilidade e estilo de aprendizagem).
Associado ao aprendiz há uma estrutura de dados, denominada matriz de recomendação, onde se rela-cionam todos os recursos educacionais disponíveis (livros, artigos ou tutoriais) e os aprendizes existen-tes, que usaram ou não esses recursos e os avalia-ram. Há então um relacionamento avaliação entre recursos e aprendizes. A ideia do sistema é justa-mente preencher as lacunas vazias dos recursos que algum aprendiz ainda não avaliou.
A troca de informações entre aprendizes no sistema é realizada quando se inicia o aplicativo e são carre-gadas as informações dos usuários e dos recursos. São iniciados threads simulando cada peer (um peer é uma representação na arquitetura p2p [4], que representa tanto um cliente quanto um servidor no sistema), que funciona como um cliente. Esses peers
possuem uma lógica que verificam se estão online ou não.
É utilizada uma rede p2p com um protocolo parcial-mente descentralizado, que funciona com os próprios
peers trocando dados sobre peers conhecidos. Caso
um peer não consiga encontrar algum peer conheci-do na rede, ele se utiliza de um repositório para a-char peers que estão ativos no momento para a troca de dados. O protocolo de troca de dados é baseado no Gnutella [5].
3. ESPECIFICAÇÃO DO SISTEMA PROPOSTO
As modelagens a seguir foram propostas para o sistema e sofreram modificações no sistema real por causa do banco de recursos educacionais usado na avaliação, tratado na Seção 6.
3.1. Matriz de recomendação
A matriz de recomendação foi construída com base em três entidades: o aprendiz informal, denominado
peer, o recurso que está sendo avaliado e a
avalia-ção. Tendo isso como parâmetro, usa-se uma matriz bidimensional, onde seus elementos representam uma avaliação de um peer (vertical) em relação a um recurso educacional (horizontal).
3.2. Peer/Aprendiz Informal
As informações de um aprendiz são: línguas faladas, idade e formação, entre outras (ver Tabela 1). Estas são necessárias para poder fazer uma busca por aprendizes similares, para gerar avaliações e, assim, tentar obter melhores recomendações, pois, quanto mais esparsa estiver a matriz de recomendação, menos dados existirão para sua definição.
Tabela 1. Informações do Aprendiz.
Relação com
os recursos Campos
- User id
- Nome
- Local (cidade, pais, endereço)
1 Línguas Faladas
1 Língua mãe
2 Idade
2 Formação
3 Estilo de aprendizagem (visual, textos
etc)
4 Acessibilidade (dislexia, surdez,
ce-gueira etc)
A Tabela 1, além dos dados que representam um aprendiz, contém a relação dos mesmos com os dos recursos (primeira coluna). Essa relação pode ser usada, ou seja, um aprendiz que não tem formação em alguma determinada área tem uma avaliação
sobre um recurso daquela área muito menos rele-vante que um aprendiz que é um especialista na mesma área do assunto. Essa relevância é estabele-cida também com outros atributos, como estilo de aprendizagem, acessibilidade, idade e língua falada.
3.3. Recursos
A modelagem de um recurso foi baseada no Merlot
[6]. Utilizam-se dados que são utilizados em
corres-pondência aos do modelo do aprendiz. A Tabela 2 apresenta os atributos de um recurso e sua relação com os do aprendiz (primeira coluna).
3.4. Avaliações
A avaliação é um dos pontos mais importantes do sistema, que indica a satisfação de um aprendiz com determinado recurso, sua representação também é baseada no site Merlot [6]. Uma avaliação é compos-ta de um valor entre 1 e 5, sendo 1 o pior valor e 5 o melhor. Caso a avaliação esteja com o valor 0 ela é considerada como não avaliada. São três os tipos de classificação, variando de 1 a 5: a qualidade de con-teúdo, que estabelece o quanto o conteúdo é confiável, se foi bem elaborado; a facilidade de uso, que estabelce quanto o conteúdo é de fácil entendimento; e classificação geral, que é uma média entre as outras demais classifica-ções.
Tabela 2. Modelagem do Recurso.
Relação com o aprendiz informal Recursos - Recurso_id - Título - Autor - Data de publicação - Descrição - Palavras-chave - Objetivos de aprendizagem - Tipo de material 1 Língua 2 Público primário 3 Estilo do material 4 Informações de acessibilidade disponíveis
A classificação geral, nem sempre, será um número inteiro e quando seu valor é um número decimal, ela sempre é arredonda para baixo.
4. DETALHES DO FUNCIONAMENTO DO SISTEMA
Os itens detalhados a seguir são: como é feita a comparação entre peers e como é feita a troca de informações entre eles
4.1. Comparação de peers
Uma avaliação que não existe sobre um recurso é definida a partir de outras avaliações já existentes. Para serem encontradas, é utilizada a comparação entre peers.
A semelhança entre peers é estabelecida através da modelagem do aprendiz, considerando-se: idade, localidade, língua mãe, formação, estilo de aprendi-zagem e acessibilidade. O algoritmo usado é o K-Means.
O valor da língua mãe é estabelecido pelo sistema e tem origem da localidade de cada usuário, por e-xemplo se o usuário é dos EUA, sua língua-mãe atribuída é o inglês, caso o usuário seja do Brasil, é o português, e assim por diante.
No caso da formação, também definida pelo sistema, os valores são de 1 a 3, respectivamente para Ciên-cias Exatas, CiênCiên-cias Biológicas e CiênCiên-cias Huma-nas, que são as principais áreas usada no ENEM [7]. Com relação ao estilo de aprendizagem, são três valores considerados: 1 para visuais, 2 para auditi-vos e 3 para cinestéticos. Visuais têm mais facilidade de aprendizado com imagens e filmes. Auditivos têm mais facilidade em aulas teóricas com professor dentro da sala. Cinestésicos têm mais facilidade escrevendo o que é escutado ou através da prática. Tal tipificação vem de Paiva e Sampaio [8].
No caso da acessibilidade, há 11 tipos, numerados de 1 a 11, respectivamente para: baixa visão, ceguei-ra, deficiência intelectual, deficiência auditiva, sur-dez, surdocegueira, autismo, déficit de atenção, dis-lexia e idoso. Essa tipificação foi baseada nos itens de acessibilidade que o MEC utiliza em suas provas do ENEM [7].
A semelhança pelo modelo do aprendiz é calculada uma vez ao início da execução do sistema e quando um novo aprendiz é agregado. Usa-se o algoritmo K-Means para classificar peers em clusters, ou seja, grupos de peers que têm mais similaridadeO número de clusters e a quantidade de peers mais parecidos (K da função K-Means) são configuráveis. O valor K é o número máximo de peers parecidos em cada
cluster. Somente os K mais próximos serão usados
para fazer uma troca de informação e assim poderão usar avaliações existentes para gerar uma nova.
4.2. Troca de informações e geração da avaliação
A troca de informações entre peers é outra parte importante do sistema. Cada peer terá até um núme-ro K de peers conhecidos e parecidos para tnúme-rocar sua matriz de recomendação. O procedimento pa-drão para a troca é fazer uma solicitação para um
peer conhecido e verificar se o mesmo está
disponí-vel no momento para enviar o dado. Caso não haja
peer similar, não é feita a simulação da avaliação.
Se o peer estiver online, irá responder a uma solici-tação enviando sua matriz de recomendação. Depois que o peer tiver feito todas as solicitações e recebido as matrizes possíveis, ele irá verificá-las procurando avaliações ainda não realizadas por ele. Para isso, realiza-se o cálculo de uma média simples de todas avaliações de um determinado recurso não avaliado. O resultado será a nova avaliação daquele recurso.
5. PLANO DE AVALIAÇÃO DO SISTEMA
Um plano de avaliação foi elaborado para verificar se, após a execução do sistema, o mesmo consegue gerar uma avaliação de recurso que condiz com a realidade. Para isso, foram consideradas três variá-veis: a quantidade de usuários, o número de recur-sos e a porcentagem de avaliações escondidas. Foram considerados o MAE [9] (Mean Absolute
Er-ror) e o NMAE [9] (Normalized Mean Absolute ErEr-ror)
Para o MAE foi utilizada a fórmula (1) e para o NMAE foi utilizada a fórmula (2).
(1) Onde rij é o valor real de uma avaliação de recurso do peer i para o recurso j, pij o valor simulado e ‘c’ o número total de avaliações simuladas.
(2) Onde rmax é o valor máximo que uma avaliação de recurso pode chegar a ter e rmin o valor mínimo. O banco de recursos educacionais usado na avalia-ção do sistema é o Book-Crossing Dataset [10]. Os dados desse banco foram coletados durante quatro semanas (agosto/setembro de 2004) pela comunida-de BookCrossing [11] e possuí 278,858 usuários, 1,149,780 avaliações e 271,379 livros.
Uma avaliação de recurso original se refere a uma avaliação existente no banco de recursos e que é escondida para a avaliação do sistema para a com-paração com a avaliação de recurso simulada cor-respondente. Quando é iniciado o sistema, de acordo com configurações pré-estabelecidas, é escondida uma quantidade de avaliações feitas pelos usuários. Na comparação entre avaliação de recurso original e a simulada, verifica-se o número de avaliações
corre-tas, com diferença de um ou dois pontos, de recur-sos não avaliados e de avaliações erradas.
As configurações usadas consideraram: • 50, 100, 162, 500 e 1000 usuários;
• Para cada número de usuários, variou-se o nú-mero de recursos, de 10 em 10, a partir de 10 até 50;
• Para cada combinação de número de usuários e de recursos, variou-se a porcentagem de avalia-ções escondidas, de 10 em 10 por cento, a partir de 30 até 70 por cento.
Para a escolha dos usuários, foram selecionados os recursos que mais tinham avaliações feitas e coloca-dos em ordem decrescente da quantidade de avalia-ções. Os usuários que haviam feito avaliações em pelo menos dois desses recursos foram escolhidos de maneira aleatória. Por isso, o número de avalia-ções pode ter variado entre uma execução e outra. Desta maneira, foram planejadas 125 execuções do sistema, para a coleta dos dados de erros, avalia-ções corretas, avaliaavalia-ções variando de um a dois pontos de diferença e avaliações não realizadas.
6. BANCO DE RECURSOS E MODELAGENS MODIFICADAS
A estrutura do banco de recursos difere muito da modelagem proposta inicialmente, onde há muitos campos para as comparações entre os usuários. O Book-Crossing Dataset apenas disponibiliza a idade e a localidade dos usuários, campos que foram con-siderados insuficientes para a avaliação. Por isso, durante a avaliação do sistema, outros campos como formação, estilo de aprendizagem, acessibilidade e língua-mãe (de acordo com a localidade) tiveram que ser definidos para que o sistema tivesse uma quanti-dade razoável de dados para as comparações. A Tabela 3 apresenta a modelagem do aprendiz como foi usada na avaliação do sistema.
Tabela 5. Modelagem do Aprendiz Real.
Campos Origem
User id banco de recursos
Nome não usado
Local banco de recursos
Línguas Faladas não usado
Língua mãe definido na avaliação
Idade banco de recursos
Formação definido na avaliação
Estilo de aprendizagem
(Visual, textos etc) definido na avaliação
Acessibilidade (dislexia,
surdez, cegueira etc) definido na avaliação
Outra mudança significativa foi na avaliação que os usuários faziam de um recurso. No modelo proposto a escala vai de 1 a 5, no banco de recursos essa escala está entre 1 a10 e foi usada.
Os recursos no banco usado não têm informação relevante além de sua identificação, estabelecida pelo respectivo ‘ISBN’. Por isso, foi utilizada para identificar as avaliações realizadas dos usuários. Para a avaliação, alguns usuários foram retirados do banco de recursos, tais como usuários sem dados (idade ou localidade) e usuários sem nenhuma avali-ação. Isso foi feito para que o banco ficasse um pou-co mais leve na hora de ser acessado.
7. AVALIAÇÃO DO SISTEMA
Os resultados aqui apresentados refletem a execu-ção do plano de avaliaexecu-ção. Dos resultados obtidos de MAE e NMAE obtidos nas 125 execuções são apre-sentados, a seguir, apenas dois tipos de gráficos: com os resultados do MAE e com a porcentagem de acertos precisos. Os gráficos escolhidos apresentam valores de MAE contra a quantidade de recursos, separado pela porcentagem de recursos educacio-nais escondidos, e porcentagem de acertos contra a porcentagem de recursos educacionais escondidos, separados pela quantidade de usuários.
Figura 1. MAE - 100 usuários
Em uma primeira análise para as execuções envol-vendo 100 usuários, Figura 1, era esperado que quanto mais avaliações escondidas, pior seria o re-sultado, pois quando o sistema fosse gerar as novas avaliações de recursos, existiriam menos avaliações para comparação. Quando se observam os resulta-dos, pode-se perceber que apenas com 30 recursos essa expectativa foi cumprida. Nos outros casos, com 20 e 50 recursos, há uma pequena tendência para que isso se cumpra. Mas, com 40 e 10 recur-sos, os resultados não seguem padrão algum.
Isso pode ter ocorrido devido ao fato que, em cada uma das execuções, os usuários foram selecionados aleatoriamente e que cada grupo de usuários sele-cionados, conforme a amostra, podia ser muito rele-vante para os demais usuários, gerando assim óti-mas avaliações, ou ao contrário, gerando péssióti-mas avaliações.
Nos resultados com 50 usuários e 162 usuários, os resultados foram muito parecidos com o de 100 usu-ários.
Quando se aumentou o número de usuários para 500, Figura 2, pode-se perceber que as variações entre o MAE diminuem e o MAE começa a se estabi-lizar no valor de 1,5. Isso pode ter ocorrido porque, mesmo escondendo muitas avaliações, de recursos ainda havia um número suficiente delas para que se estabelecesse uma média durante as execuções. Isso também pôde ser observado no gráfico de 1000 usuários.
Figura 2. MAE - 500 usuários
Figura 3. MAE - 1000 usuários
Na Figura 3, o gráfico mostra o resultado da execu-ção com 1000 usuários. Pode-se perceber que ele mantém o erro no valor de aproximadamente 1,5, mas que, no caso em que os usuários se concentram em apenas 10 recursos, os valores de erro melho-ram, caindo para aproximadamente 1,3. Esse fato foi observado nas outras execuções também, quando se tinham mais usuários e menos recursos. Os resul-tados, em geral, foram melhores, pelo fato de que se tinham mais avaliações e mais usuários não tão dis-persos na matriz de recomendação.
Na segunda análise, Figuras 4 e 5, pode-se ver a porcentagem de acertos, para a quantidade de re-cursos 50 e 10, respectivamente. A quantidade de acertos, assim como no caso do MAE, em alguns casos, não segue o padrão esperado, que era de se mais avaliações para fazer uma média, quanto maior o número de usuários, e que os acertos então seriam melhores.
Figura 4. Porcentagem de acertos - 50 Recursos
Figura 5. Porcentagem de acertos - 10 Recursos O que se pode observar é que, quando se tem me-nos recursos e, portanto, uma matriz meme-nos esparsa, a quantidade de acertos varia de 15% a 20% na maioria dos casos. E, quando se tem mais recursos e portanto uma matriz mais esparsa, esse valor cai na média para cerca de 10% de acertos. Nos outros casos, de 20, 30 e 40 recursos, essa tendência tam-bém foi percebida. Tamtam-bém pode-se observar que os resultados melhoram quando se aumenta o núme-ro de usuários, deixando a matriz menos esparsa. Resultado este esperado.
8. CONCLUSÃO
Este resumo apresenta os resultados de um trabalho de IC. Trata-se de um trabalho relacionado com o desenvolvimento de um sistema que deveria simular um aprendiz informal quando da avaliação de um recurso educacional, em uma matriz para recomen-dação de recursos. O resumo apresenta a especifi-cação do sistema, as modelagens do aprendiz, do recurso educacional e da avaliação do recurso, o funcionamento da rede p2p utilizada entre os apren-dizes, o protocolo que se usa e a troca de informa-ções que ocorre. Além disso, também aborda o cál-culo de semelhança entre aprendizes, feito com o algoritmo K-Means, o plano de avaliação, e os resul-tados obtidos com a execução do mesmo.
O trabalho possibilitou primeiramente uma introdução ao método de pesquisa, assim como um entendi-mento do que são recomendadores, recursos educa-cionais e a concepção da ideia do aprendiz informal. Em segundo lugar, fez-se o estudo da recomenda-ção distribuída, da estrutura da rede que é utilizada no trabalho, do protocolo p2p, e do algoritmo K-Means e como este é usado no sistema proposto. O trabalho também possibilitou o aprendizado sobre como elaborar um plano de avaliação, coletar resul-tados e analisá-los.
Uma das partes importantes para o entendimento do trabalho de IC a ser realizado, e que está dentre os objetivos do mesmo, foi a modelagem do aprendiz informal, assim como a do recurso e a da avaliação de recurso educacional. Outras partes também im-portantes, e que também estava entre os objetivos, foram a simulação do aprendiz informal e a confron-tação dos resultados dessa simulação com dados reais.
Os resultados da avaliação do sistema não corres-ponderam ao que se esperava. O grande motivo deve ser a quantidade de avaliações de recursos, que variou a cada execução, por conta da escolha aleatória dos usuários a serem considerados. Nota-se também a necessidade de baNota-ses de recursos com mais tipos de dados, que cubram aqueles projetados no sistema.
De acordo com o plano, era prevista a elaboração também da modelagem e simulação de um aprendiz formal, que por motivos de tempo não foi inicializada. A elaboração do sistema que simulava o aprendiz informal levou mais tempo do que o previsto. O a-prendiz formal é um aa-prendiz que está vinculado a alguma instituição de ensino. De acordo com a
simu-lação vista do aprendiz informal, espera-se que, por existirem mais dados do aprendiz formal, como as matérias que o aprendiz cursa e dados mais comple-tos sobre a formação do mesmo, a semelhança entre os aprendizes fosse melhor calculada e, assim, gera-ria melhores avaliações.
REFERÊNCIAS
[1]
Manouselis, N.; Drachsler, H.; Vuorikari, R.
Hummel, H. G. K.; Koper, R., (2011),
Recom-mender System in Technology Enhanced
Learn-ing, In P. B. Kantor, F. Ricci, L.Rocach, B.
Shapira (Eds.), Recommender System Handboot,
p. 386-415, Berlin: Springer.
[2] Zhang, Y; Liu, Haiou; Li, Shiyong (2011), A
Dis-tributed Collaborative Filtering Recommendation: Mechanism for Mobile Commerce Based on Cloud Computing, Journal of Information &
Com-putational Science 8.
[3] McCullock, J. (2014) Statistical Clustering - K-Means. Accessed in 12 jul. 2014. Available at <http://mnemstudio.org/clustering-k-means-introduction.htm>.
[4] Gong, L. (2002) Peer-to-Peer Networks in Action,
Internet Computing, v.6, n.1, p. 37-39.
[5] Kirk, P. (2003) Gnutella Protocol Development, Accessed in 12 jul. 2014. Available ar <http://rfc-gnutella.sourceforge.net/>.
[6] Merlot. Accessed in 13 dec. 2013. Available ar <http://www.merlot.org>.
[7] ENEM. Acessadp em 08 dez. 2013. Disponível em <http://enem.inep.gov.br>.
[8] Paiva, R. S. C. de; Sampaio, M. L. P (2012), Prática pedagógica e ensino de E/LE: alguns sa-beres necessários à sua formação, In Carvalho, T.L. (org) Espanhol e ensino: relatos de
pesqui-sas, Universidade do Estado do Rio Grande do
Norte, p. 97-108.
[9] Goldberg, K, (2001), Eigentaste: A Constant Time Collaborative Filtering Algorithm,
Informa-tion Retrieval, p. 133-15.
[10] Ziegler, C. J. (2004) Book-crossing Dataset. Ac-cessed in 07 jul. 2014. Available at
<http://www2.informatik.uni-freiburg.de/~cziegler/BX/>.
[11] Book-crossing. Accessed in 07 jul. 2014. Avali-able at <http://www.bookcrossing.com>.
