A B C D E
Peter 10 4 3 8 6
Jane 1 9 8 5 4
Tabela 4.2: Matriz de Payoff para o jogo.
B C D
A (7.0, 5.0) (6.5, 4.5) (9.0, 3.0) D (6.0, 6.5) (3.5, 6.5) (8.0, 5.0) E (5.0, 6.5) (4.5, 6.0) (7.0, 4.5)
4.5 Experimento
Um experimento comparou a abordagem proposta neste artigo com a estratégia de agregação Least Misery, Average, Fairness para 2 cenários diferentes. Essas três estratégias foram escolhidas para comparação por pertencerem a duas diferentes categorias de estratégia de agregação segundo (SENOT et al., 2011).
A base de dados escolhida para experimentação foi a do MovieLens que é bastante uti- lizada em vários estudos de recomendação para grupos, mesmo esta base não possuindo informações sobre grupos de usuários. A base do MovieLens selecionada possui 943 usuá- rios, 1.682 filmes e 100.000 avaliações de filmes pelos usuários no intervalo de 1 a 5.
Na primeira etapa do experimento, utilizando como base as avaliações individuais p(u, i) dos usuários, gerou-se uma lista de previsão de avaliação de todos os filmes ainda não assis- tidos por cada usuário. As previsões de avaliação foram geradas a partir de um algoritmo de filtragem colaborativa baseado em KNN (K-Nearest Neighbor) (DASARATHY, 1991), um dos algoritmos mais utilizados na literatura de sistema de recomendação e que possui uma implementação na ferramenta Mahout 1, utilizada para geração das previsões de avaliação
4.5 Experimento 45 individual dos usuário da base do MovieLens.
As previsões de avaliação dos usuários geraram uma distribuição mais concentrada em valores mais altos do intervalo de 1 a 5, possuindo uma média de 4,01 e desvio padrão de 0,41. Esta distribuição (Figura 4.2) representa o cenário de experimentação 1.
Figura 4.2: Histograma de previsão de avaliação para o cenário de experimentação 1. Para se contrapor ao cenário anterior, gerou-se aleatoriamente outros valores de previsão de avaliação para os mesmos usuários e itens, buscando com isso representar uma distri- buição com valores mais dispersos pela escala de avaliação de 1 a 5 para compor o cenário de experimentação 2. Nessa distribuição artificial (Figura 4.3) o valor da média foi 2,5 e o desvio padrão obteve o valor de 1,01.
No experimento, os itens a serem recomendados para cada grupo pertencem ao conjunto de itens que não foram avaliados por nenhum membro do grupo. Portanto, eles são obtidos a partir da intersecção das listas de itens de previsão de avaliação de cada usuário do grupo (ver Equação 4.4). Os itens pertencentes a esta lista e os valores das previsões que defi- nem as preferências individuais dos usuários do grupo no experimento serão utilizadas nas estratégias de agregação de preferências.
4.5 Experimento 46
Figura 4.3: Histograma de previsão de avaliação para o cenário de experimentação 2.
H =\
u∈g
{i | ˆp(u, i) 6= ∅, i ∈ I} (4.4)
Como a base do MovieLens não possui grupos definidos, realizou-se a formação automá- tica dos grupos para os dois cenários de experimentação. Os usuários da base do MovieLens foram agrupados, utilizando o vetor de previsão de preferência de cada usuário, em √943 clusters o que resultou em 31 clusters com centróide aleatórios com base no algoritmo K- Means (MACQUEEN, 1967). A partir desses clusters, foram selecionados aleatoriamente membros para formar dois tipos de grupos: (i) homogêneo, contendo usuários do mesmo cluster e (ii) heterogêneo, contendo usuários de clusters diferentes. Para cada um desses dois tipos de grupo, foram gerados 28 grupos de 3, 5 e 7 membros, totalizando 336 grupos no total para o experimento. Os grupos possuiam no máximo 7 membros devido a dificul- dade em formar o conjunto intersecção de itens não avaliados por nenhum dos membros do grupo e que o sistema havia conseguido gerar a previsão de avaliação individual para os membros do grupo.
As três ações disponíveis para cada jogador foram escolhidas entre os itens com maiores previsão de avaliação do jogador a partir da lista de potenciais recomendações (lista de itens não avaliados por nenhum membro do grupo).
4.5 Experimento 47 Para construção dos jogos na forma normal e cálculo do equilíbrio de Nash, utilizou- se a ferramenta Gambit (MCKELVEY; MCLENNAN; TUROCY, 2010). Após o cálculo, comparou-se o resultado da estratégia de agregação baseada na Teoria dos Jogos não- cooperativos e equilíbrio de Nash com a estratégia de agregação Average. O resultado baseou-se no cálculo da função de previsão de satisfação do grupo (Equação 4.5) para os itens recomendados. S(g, R) = P u∈g S(u, R) |g| (4.5)
Esta função de previsão de satisfação do grupo é construída a partir da média das satis- fações individuais de cada membro do grupo para a lista de itens da recomendação, repre- sentada pela Equação 4.6.
S(u, R) = P i∈R ˆ p(u, i) |R| (4.6)
A maximização do S(g, R) significa a maximização da satisfação média dos membros do grupo para a lista de itens de recomendação.
Para o cálculo da recomendação baseada na estratégia de agregação Average, a lista de itens recomendados R é definida na Equação 4.7 que considera a previsão de avaliação dos usuários para o seu cômputo:
average(ˆp(g, i)) = 1 |g| X u∈g ˆ p(u, i) (4.7)
Onde a estratégia retorna uma tupla que fornece um valor associado ao item i para ge- ração de um ranking de itens, onde os itens com as melhores médias de avaliação formam o conjunto R de recomendação para o grupo.
Os resultados para o cenário de experimentação 1 são apresentado nas Tabelas 4.3, 4.4, 4.5 e 4.6; e os resultados do cenário de experimentação 2 são apresentados nas Tabelas 4.7, 4.8, 4.9 e 4.10.
4.5 Experimento 48
Qnt. LM Average Fairness Equilibrium
3 µ 4.65 4.68 4.70 4.60 σ .14 .12 .13 .16 Sig. .01 .00 .00 5 µ 4.46 4.51 4.54 4.43 σ .05 .14 .16 .16 Sig. .13 .00 .00 7 µ 4.39 4.44 4.47 4.39 σ .14 .12 .15 .11 Sig. .88 .00 .00
Tabela 4.3: Previsão de satisfação média para os grupos homogêneos no cenário de experi- mentação 1.
Qnt. LM Average Fairness Equilibrium
3 µ 4.56 4.62 4.63 4.53 σ .10 .06 .08 .10 Sig. .19 .00 .00 .00 5 µ 4.41 4.46 4.50 4.39 σ .12 .11 .14 .10 Sig. .13 .00 .00 7 µ 4.35 4.39 4.41 4.35 σ .14 .14 .13 .14 Sig. .82 .00 .00
Tabela 4.4: Previsão de satisfação média para os grupos heterogêneos no cenário de experi- mentação 1.
neos no cenário 2, comprovado pela previsão de satisfação com valores menores comparado ao cenário 1 para o resultado de todas as estratégias. Também é possível observar que a estratégia Average obteve maiores valores de previsão de satisfação do que todas as outras
4.5 Experimento 49
Tipo LM Average Fairness Equilibrium
Ho. µ 4.50 4.54 4.57 4.47 σ .18 .16 .18 .17 Sig. .09 .00 .00 He. µ 4.44 4.49 4.51 4.42 σ .15 .15 .15 .14 Sig. .09 .00 .00
Tabela 4.5: Previsão de satisfação média para os grupos homogêneos e heterogêneos no cenário de experimentação 1.
Tipo LM Average Fairness Equilibrium
Ho. Corr. -.59 -.62 -.53 -.51 Sig. .00 .00 .00 .00 N 84 84 84 84 He. Corr. -.60 -.65 -.61 -.54 Sig. .00 .00 .00 .00 N 84 84 84 84
Tabela 4.6: Correlação do número de membros do grupo e o resultado das estratégias para o cenário de experimentação 1.
estratégias, entre elas a abordagem proposta neste artigo.
As Tabelas 4.6 e 4.10 apresentam o resultado da correlação entre o número de membros do grupo e a previsão de satisfação para as estratégias comparadas. É possível observar que o número de membros do grupo tem uma correlação negativa menor para a estratégia Equilibrium. A correlação negativa entre a quantidade de membros do grupo e a satisfação média do grupo é confirmada também em outro trabalho (SENOT et al., 2010), e isso ocorre devido a uma diminuição do consenso do grupo quanto aos itens recomendados a medida que aumenta o número de membros.