STAR: Um Framework para recomendação de artigos
científicos baseado na relevância da opinião dos usuários e em
filtragem colaborativa
Wagner Danda da Silva Filho1, Sílvio César Cazella2
Centro de Ciências Exatas e Tecnológicas – Universidade do Vale do Rio dos Sinos Av. Unisinos, 950 – CEP 93.022-000 – São Leopoldo – RS – Brasil
wdanda@yahoo.com1,cazella@exatas.unisinos.br2
Resumo. Os sistemas de recomendação têm por objetivo reduzir a sobrecarga
de informação auxiliando na busca da informação desejada. Este artigo apresenta um framework para a recomendação de artigos científicos usando filtragem colaborativa apoiado no conceito da relevância da opinião dos usuários. Com o framework, os usuários recebem recomendações de artigos que são de seu interesse, baseado em seu perfil. Ao mesmo tempo, é apresentada também a relevância da opinião dos usuários que participaram da recomendação, dando melhores condições de escolher quais artigos ler primeiro. Artigos que “casem” com seu perfil e ainda sejam recomendados por grupos com alta relevância de opinião poderiam tornar a tarefa de busca por informações relevantes muito mais fácil.
Abstract. Recommender systems has the objective to reduce the information
overload, assisting in the search of the desired information. This paper presents a framework for scientific articles recommendation using collaborative filtering based on the relevance of user's opinion. With the framework, users receive recommendations of articles of their interest, based on their profile. At the same time, the relevance of the user’s opinion that have participated in the recommendation is also presented, giving better conditions to choose which articles to read first. Articles that match with their profile and are also recommended by groups with higher opinion’s relevance could make the task of search for relevant information much easier.
1 Introdução
Os sistemas de recomendação têm por objetivo reduzir a sobrecarga de informação, realizando filtragens de itens baseado no perfil de interesses do usuário. Das diversas técnicas existentes para realizar tal tarefa, a abordagem utilizada neste artigo é a Filtragem Colaborativa (FC), que se baseia na análise humana do conteúdo dos itens [Shardanand and Maes 1995].
Este artigo atua numa limitação dos sistemas de recomendação, os quais demonstram falta da indicação de relevância da opinião de quem auxiliou na predição do item que será ofertado. O que motiva a realização deste artigo é a necessidade de apresentar a relevância de quem está auxiliando na recomendação, para que desta forma o usuário alvo disponha de mais um indicador da importância do item recomendado.
Por exemplo, um usuário de um sistema de FC, cujo domínio é um conjunto de artigos científicos, informa seu perfil avaliando positivamente artigos de Inteligência Artificial. O sistema procura predizer itens nos quais este realmente tenha interesse, mas informa um número considerável de itens, e o usuário por possuir pouco conhecimento dos itens teria de acessar um a um. Desta forma, o indivíduo se sentiria perdido e sobrecarregado pois não teria como saber em qual focar.
Porém, se o sistema verificar os itens que teriam maiores chances de aceitação pelo usuário e informar os mesmos acrescidos da informação de relevância da opinião de quem auxiliou nesta recomendação, estariam expostos os itens com maiores chances de aceitação e fundamentados em avaliações de pessoas com maior peso de opinião na área. Esta opinião estaria fornecendo uma indicação de que tal item seria interessante de ser utilizado primeiro.
A principal contribuição deste artigo para a área de sistemas de recomendação é a apresentação de um framework que permita incluir a relevância da opinião do usuário junto à filtragem colaborativa, utilizando o modelo proposto em [Cazella e Alvares 2003].
O presente artigo está estruturado da seguinte forma: a seção 2 dá uma breve explicação do conceito de sistemas de recomendação. O modelo de representação da relevância da opinião do usuário é apresentado na seção 3, e o framework desenvolvido é descrito na seção 4. Os experimentos são apresentados na seção 5, e, por fim, a seção 6 encerra o artigo apresentando considerações finais e perspectivas de trabalhos futuros.
2 Sistemas de Recomendação
Um sistema de recomendação tem por objetivo sugerir itens de um determinado domínio aos usuários. Tal recomendação, usualmente baseia-se no perfil destes e em uma lista de itens previamente adquiridos por ele (histórico de consumo) [Schafer 1999]. Este tipo de sistema já encontra-se em uso por grandes empresas de comércio eletrônico mundial, com o intuito de obter um aumento em suas vendas e melhor atender seu cliente na Internet.
Dentre as diversas técnicas de sistemas de recomendação, utilizamos no framework a Filtragem Colaborativa, que é baseada na análise humana do conteúdo. Cada usuário do sistema de FC dá nota aos itens que experimentou (por exemplo, um
artigo que leu) estabelecendo assim um perfil de interesses. O sistema de FC então correlaciona este usuário com pessoas de interesses similares. Desta forma, as notas dos usuários de perfis similares – também chamados de vizinhos – são usadas para gerar recomendações ao usuário [Shardanand e Maes 1995]. Esta técnica também é referenciada na literatura como filtragem social.
A FC reforça o conceito de comunidade, na qual cada usuário contribui com suas avaliações para o desempenho geral do sistema. O restante deste artigo é concentrado em sistemas de recomendação baseado em filtragem colaborativa.
3 Relevância da Opinião dos Usuários
A relevância da opinião de um usuário, neste artigo, torna-se de fundamental importância para o funcionamento do framework que está sendo construído. Conforme o projeto W-RECMAS [Cazella e Alvares 2003], a relevância deste é definida através de duas fontes de dados: a) um formulário eletrônico, e b) informações coletadas automaticamente da plataforma Lattes1.
Um formulário eletrônico (via web) é apresentado no momento do cadastro do usuário, solicitando uma série de dados tais como: nome completo, e-mail, universidade, página web, nível de graduação acadêmica, tempo neste nível de graduação acadêmica, e finalmente, áreas de interesse e o tempo de experiência em cada uma destas áreas. No momento que o usuário informar seu nome ao sistema, um agente de software, detalhado posteriormente no tópico 4.1.1, obterá mais informações sobre este usuário acessando uma base de dados web chamada CV-Lattes.
O CV-Lattes está associado à Plataforma Lattes, que é um sistema desenvolvido pelo CNPq2 para viabilizar uma base de currículos dos acadêmicos brasileiros. Através
dele dois tipos de dados são utilizados neste artigo: primeiro, as “Áreas de Atuação”, que é uma lista de áreas de conhecimento cujo pesquisador possui interesse e atua. No
framework é chamado de Áreas de Interesse (AI), e segundo, os “Indicadores de
Produção”, um conjunto de informações que representam as diversas atividades acadêmicas, tais como: produções científicas, número de orientações concluídas e participações em eventos.
3.1 Ranking de Recomendação (RR)
A relevância da opinião do usuário, conforme [Cazella e Alvares 2003], é representada por uma métrica chamada Ranking de Recomendação (RR), que mostra o quanto um usuário sabe sobre um item em específico, variando numa escala de 0 a 10. Um RRarea
igual à zero significa que o usuário não possui muita experiência com a área do artigo científico (é assumido que a opinião deste não é muito relevante na área). Já este índice igual a sete significa que o usuário tem uma boa experiência na área do artigo e igual a dez significa que o usuário possui um profundo conhecimento na área do artigo (é assumido que a opinião deste é muito relevante, e suas avaliações devem pesar mais nas recomendações).
No contexto deste artigo, cada usuário possui um conjunto de áreas de interesse explicitadas em seu CV-Lattes e no formulário de cadastramento, desta forma o
1 http://lattes.cnpq.br 2 http://www.cnpq.br
framework calcula o índice RRarea para cada uma dessas áreas. Além disso, ainda existe
um índice RRtotal que é a média entre todas os RRarea do usuário, representando a
relevância da opinião do usuário (autoridade) considerando todas as áreas de interesse selecionadas. O cálculo detalhado do Ranking de Recomendação pode ser obtido em [Cazella e Alvares 2003].
4 STAR: Um framework para Recomendação de Artigos Científicos
Este framework aborda a dificuldade que os acadêmicos possuem em encontrar artigos científicos relevantes a seus interesses e conseguir selecionar qual deve ser lido primeiro quando recebem uma quantidade considerável de artigos (exemplo de problema percebido ao utilizar-se o site CiteSeer3).
Utilizando o framework, os acadêmicos receberão recomendações de acordo com seu perfil, e além disso, saberão qual a relevância média do grupo que realizou a recomendação. Acredita-se que esta combinação de indicadores de relevância e predição de itens deverá diminuir a sobrecarga de informação, pois os mesmos servirão de parâmetro para a escolha de qual artigo ler primeiro.
4.1 Agentes
A estrutura deste framework utiliza o paradigma de agentes de software [Weiss 1999] para uma das principais tarefas: o cálculo da relevância da opinião do usuário. Selecionou-se o projeto chamado JADE4 (Java Agent DEvelopment Framework)
[Bellifemine e Rimassa 1999], que segue as especificações da FIPA (Foundation for
Intelligent Physical Agents) para a interoperabilidade de sistemas inteligentes
multi-agentes. Com ele foi possível desenvolver as tarefas dos agentes e a troca de mensagens seguindo as especificações ACL da FIPA.
4.1.1 Crawler Agent
A função básica do Crawler Agent é manter uma cópia local atualizada do CV-Latttes do acadêmico. Ao constatar que um novo cadastro foi realizado no sistema, o agente se encarrega de encontrar o código Lattes do usuário (passo 1), baixar o CV-Lattes para um diretório local (passo 2) e enviar uma mensagem ACL do tipo INFORM ao agente
Analyst (passo 3) avisando que um novo CV-Lattes está disponível.
4.1.2 Analyst Agent
Este agente aguarda por mensagens do agente Crawler, e assim que recebe uma, inicia a análise do CV-Lattes local (passo 1), captando as áreas de atuação e os indicadores de produção. Estas informações, então, são armazenadas no perfil do usuário na base de dados local (passo 2). Com o perfil do acadêmico formado, é possível então realizar o cálculo da relevância (passo 3).
4.2 Cálculo da Recomendação usando a Relevância
Pode-se generalizar um sistema de recomendação, usando FC pura, como um processo que recebe uma matriz de avaliações e retorna uma matriz de predições. Para tanto, dois cálculos principais são executados: o cálculo da similaridade dos usuários e o cálculo da predição, que obtém a média (ponderada pela similaridade dos melhores vizinhos) das
3 http://citeseer.ist.psu.edu
avaliações dadas a um item, assumindo isto como a predição de um item para um usuário.
O conceito que se insere com essa arquitetura é a utilização da relevância da opinião dos usuários no cálculo da predição. Entende-se que as avaliações dadas por usuários com maior relevância devem pesar mais no cálculo da predição. Para exemplificar, tem-se a tabela 1 como uma matriz de avaliações existente:
Tabela 1 -Matriz de avaliações usuário x item considerando a relevância da opinião dos usuários (índice RR)
Artigo 1 Artigo 2 Artigo 3
Usuário Novato 3 4 1
Usuário Normal 3 4 ?
Usuário Expert 3 4 5
Pretende-se predizer a avaliação do “Artigo 3” para o “Usuário Normal”. Primeiro, deve-se calcular a matriz de similaridade: tanto o “Usuário Novato” como o “Usuário Expert” possuem mesmo índice de similaridade em relação ao “Usuário Normal”. Isto se deve ao fato de ambos possuírem iguais avaliações sobre os mesmos itens, fato criado a título explicativo. Segundo, a seleção dos melhores vizinhos: assume-se que os dois vizinhos serão selecionados para o cálculo da predição. Por último, o cálculo da predição: conforme fórmula previamente definida, a média ponderada das avaliações dos vizinhos será 3. Esta seria a predição usando a FC pura. Entretanto, se entende que a avaliação do “Usuário Expert” deveria possuir maior peso nesta predição, ou seja, neste exemplo, o número deveria tender mais para 5 do que para 1.
É proposta então, uma nova fórmula para o cálculo da predição, que considera a relevância da opinião do usuário, representado através do Ranking de Recomendação (RR) explicado anteriormente.
(1) Com esta modificação, as predições terão um fator de ponderação adicionado que é o índice RRarea do vizinho u na área do item ai. Com isto, as notas dos usuários
com maior autoridade no assunto terão maior peso no cálculo da predição. No exemplo citado anteriormente, se fosse atribuído RRarea=1 para o “Usuário Novato” e RRarea=10
para o “Usuário Expert”, o cálculo da predição do “Artigo 3” para o “Usuário Normal” seria de 4,12.
4.3 Arquitetura do Framework
Tendo seus principais componentes devidamente explicados, a figura 1 mostra como todas essas peças se encaixam a fim de realizar as recomendações de artigos científicos usando a relevância da opinião dos usuários.
Figura 1 -Visão geral da arquitetura do framework
Um fluxo ideal de funcionamento, partindo de uma base de itens e usuários já cadastrados, funciona da seguinte forma: o agente Crawler busca o CV-Lattes dos usuários na plataforma Lattes e armazena uma cópia localmente. O agente Analyst decompõe o CV-Lattes local e realiza o cálculo da relevância. Neste passo, a relevância da opinião dos usuários está associada ao seu perfil. Paralelamente, os usuários fazem avaliações sobre artigos que lhes foram recomendados previamente. Através destas, é realizado o cálculo já demonstrado para a geração da similaridade entre os usuários. Com a relevância e a similaridade é realizado o cálculo da predição dos itens para os usuários, utilizado para gerar as recomendações.
Periodicamente, a matriz de áreas de interesses dos indivíduos é submetida à mineração de regras de associação com o auxílio da ferramenta Weka para tentar descobrir regras de associação que apresentem relações novas entre as áreas de possível interesse do usuário. Este impacta na relevância da opinião do usuário, na medida que um novo RRarea será calculado para ele. Mais informações sobre esta parte pode ser
obtida em [Danda 2004].
4.4 Protótipo
A figura 2 apresenta a interface principal do protótipo, onde são realizadas as recomendações ao usuário, previamente cadastrado e autenticado. Nela ficam sempre dispostas as informações das métricas de produção e as áreas de interesse, ambas extraídas do CV-Lattes do acadêmico. É importante destacar também que a recomendação ao usuário está ordenada primeiro pela relevância da opinião do grupo que participou da recomendação.
Figura 2 -Interface principal do protótipo onde o usuário recebe recomendações
5 Experimentos
Para a realização dos experimentos foi necessário um conjunto de dados válidos com usuários, itens e avaliações. Conforme [Herlocker et al 2003], avaliações de sistemas de recomendação podem ser realizadas com análises off-line, ou seja, são utilizados conjuntos de dados históricos de um sistema de recomendação, na qual testes são feitos e métricas são analisadas para comparações de resultados.
Procurando uma base que melhor se adaptasse às condições em que o framework trabalha, optou-se pela MovieLens, utilizado em diversos artigos [Herlocker et al 2003] [Herlocker et al 1999][Sarwar et al 2000]. Ela está disponibilizada para o meio acadêmico em http://www.grouplens.org, e consiste de 100 mil avaliações de 943 usuários à 1682 filmes, que por sua vez estão classificados em diferentes categorias (áreas).
5.1 Preparação dos dados
Uma vez que optou-se em utilizar a base de dados do MovieLens, necessitou-se adaptá-la para os testes com a relevância da opinião do usuário. Portanto, primeiro foi necessário criar uma relação entre os usuários e as categorias existentes, simulando assim as “Áreas de Interesse” dos usuários. Em segundo, para cada uma dessas áreas de interesse, um respectivo RRarea foi criado. Para a definição das áreas de interesse,
assumiu-se que se a média das avaliações dadas por um determinado usuário à todos os itens de uma certa área for maior ou igual à 4, então o usuário possui interesse na área.
A escala do RRarea, varia entre 0, para nenhuma relevância, e 10, para total
relevância. O critério de sua geração foi o seguinte: primeiro levantou-se a média do número de avaliações por área e chamou-se de Marea. Por exemplo, em Drama a média foi de 35,31 avaliações por usuário. Depois, verificou-se quantas avaliações cada usuário realizou em suas áreas de interesse e denominou-se de Nuser,area. Tendo estes dados, o cálculo RRarea dos usuários foi realizado da seguinte forma:
AUX = ROUND( LOG(Marea , Nuser,área) ) * 10; Se ( AUX > 10) então AUX = 10;
RRarea = AUX; }
Primeiro é calculada a função logarítmica (“LOG”) de Nuser,area com base em
Marea, que é em seguida arredondada (“ROUND”) pois quer-se neste experimento utilizar índices RRarea inteiros. Caso o Nuser,area seja superior à Marea então o resultado de
AUX será maior que 10, causando num RRarea superior à 10, o que é indesejado. Para
solucionar isto, é feita uma limitação forçada, conforme mostra o cálculo.
Portanto, o fator decisivo na geração do RRarea é o quanto o número de
avaliações que o usuário realizou por área se distancia da média. Seguindo o exemplo anterior, um usuário com 20 avaliações na área de Drama (cuja média havia sido 35,31), terá um RRarea de 8 conforme o cálculo explicado acima. O uso da função logarítmica
garante maiores valores a usuários com poucas avaliações em relação à média.
5.2 Métricas de Avaliação
Com o objetivo de validar o experimento, é necessário escolher métricas que possibilitem a comparação da abordagem clássica de recomendação (usando apenas FC) com a abordagem proposta pelo framework: usando FC e a relevância da opinião do usuário. Dentre as diversas métricas de acurácia, selecionamos uma das mais utilizadas na avaliação de sistemas de recomendação [Herlocker et al 1999], chamada MAE (Mean Absolute Error). Também foi utilizada a métrica de precisão.
A técnica do cálculo do MAE envolve, basicamente, em omitir a avaliação dada pelo usuário e solicitar ao sistema de recomendação sua predição. Esta predição então é comparada com a avaliação real e a diferença obtida (em um valor absoluto) é dita como o erro da predição. Realizando a média desse erro sobre cada predição é que se obtém o índice MAE. Com esta métrica, será possível verificar qual o impacto da utilização da relevância da opinião do usuário no que se refere à margem de erro das recomendações.
No contexto de sistemas de recomendação, se diz que a precisão é a relação entre o número de itens que o usuário considera relevante e o número de itens recomendados. Assumiu-se que os itens considerados relevantes pelo usuário são aqueles com avaliações iguais ou superiores a 4. Da mesma forma, foi determinado que os itens recomendados ao usuário são apenas aqueles que possuem predição igual ou superior a 4. Com esta métrica, será possível verificar qual o impacto da utilização da relevância da opinião do usuário no que se refere à precisão dos itens recomendados.
5.3 Testes
A base de dados utilizada do MovieLens trás consigo quatro conjuntos de dados, sendo cada um dividido em 80% de treino e 20% de testes. Os conjuntos são disjuntos, e servem para que sejam realizados quatro diferentes experimentos, na qual se utiliza a média dos resultados para chegar num número final.
A primeira bateria de testes foi utilizando as recomendações do framework sem considerar a relevância da opinião do usuário. Para cada um dos quatro conjuntos de dados, foi calculado o respectivo MAE e a precisão (conforme explicado na seção anterior). Na segunda bateria, o framework foi ajustado para considerar a relevância da opinião do usuário e os quatro testes foram realizados.
5.4 Apresentação dos Resultados
A tabela 2 mostra o MAE e a Precisão obtidos nos testes. Pode-se notar que houve um aumento no MAE, que por sua vez representa um maior erro. Contudo, esse aumento é de apenas 0,016 ou 0,33% na escala de avaliações 1-5.
Tabela 2 -Resultados dos experimentos
Testes MAE sem relevância MAE com relevância Precisão sem
Relevância Precisão comRelevância
1 0,0473596 0,0714608 81,887% 80,937%
2 0,0495949 0,0584581 82,649% 82,283%
3 0,0321476 0,0413582 81,059% 82,290%
4 0,0324184 0,055317 81,951% 82,907%
Média 0,0403801 0,0566485 81,887% 82,104%
Entretanto, percebe-se um leve aumento da precisão em aproximadamente 0,21%, e observando os quatro testes, em dois deles a precisão com relevância ficou pior e nos outros dois foi melhor. A relação que pode-se estabelecer é quanto à quantidade de itens recomendados, conforme mostra a figura 4, que foi menor nos casos onde a recomendação com relevância desempenhou melhor. Esta redução pode ser considerada boa na medida em que diminui a sobrecarga de informações que chegam ao usuário.
Figura 3 -Número de itens recomendados
6 Conclusão
Inseriu-se o conceito de dar maior peso à opinião de quem possui mais experiência, sem alterar significativamente a qualidade ou precisão, pois considera-se que os índices se mantiveram muito semelhantes aos valores originais sem o uso da relevância. Pode-se destacar então, que o framework consegue realizar o que é a proposta inicial: incluir o conceito de autoridade sem impactar negativamente na qualidade das recomendações. Com isto, o usuário de tais sistemas terá não só um item recomendado (de acordo com o seu perfil), mas também, estará fundamentado em avaliações de pessoas com maior peso de opinião na área, sendo ima indicação a mais de que tal item seria interessante de ser lido primeiro.
Por fim, o protótipo que implementa o framework está na fase de ajustes e deverá ser implantado logo, disponibilizando para o meio acadêmico uma ferramenta útil de recomendação de artigos científicos.
Alguns aspectos poderiam ser observados como trabalhos futuros, contribuindo para a área deste artigo, tais como: avaliação do framework utilizando outras métricas, tais como a ROC-4 (Receiver Operating Characteristic), e avaliação junto ao usuário (on-line) das recomendações, observando novas características como satisfação.
7 Bibliografia
Bellifemine, F., Poggi, A. e Rimassa, G. (1999) “JADE – A FIPA-compliant agent
framework”, CSELT internal technical report, In: Proceedings of The Practical
Application of Intelligent Agents and Multi-Agents (PAAM’99), Londres, p.97-108. Cazella, S. C. e Alvares, Luis O. C. (2003) “W-RECMAS: a hybrid recommender
system based on multiagent system for academic paper recommendation”,
Technical Report, PPGC-UFRGS–2003-339, Federal University of Rio Grande do Sul, Porto Alegre, Brazil.
Danda, W. (2004) “Um Framework para recomendação de artigos científicos
baseado na relevância da opinião dos usuários e em filtragem colaborativa”,
Trabalho de Diplomação, Universidade do Vale do Rio dos Sinos, Brasil.
Herlocker, J. et al. (1999) “An algorithmic framework for performing collaborative
filtering”, In: Conference on Research and Development in Information Retrieval.
Herlocker, J. et al. (2004) “Evaluating Collaborative Filtering Recommender
Systems”, In: ACM Transactions on Information Systems, Vol. 22, No. 1, January.
Sarwar, B. M. et al. (2000) “Analysis of recommender algorithms for e-commerce”, In: Proceedings of the 2nd ACM E-Commerce Conference (EC'00), Minneapolis, MN.
Schafer, J. B. et al. (1999) “Recommender systems in Ecommerce”, In: Proceedings of the ACM Conference on Electronic Commerce (EC`99), N. Y., USA, p. 158-166. Shardanand, U. e Maes, P. (1995) “Social information filtering: Algorithms for
automating "word of mouth"”, In: Proceedings of Human Factors in Computing
Systems (CHI '95), Denver, Colorado, USA, p. 210-217.
Weiss, G. (1999) “Multiagent Systems: a modern approach to distributed artificial
