Terceiro Experimento: Interfaces de Recomendação

111

Finalmente, foi calculado o RRarea, aplicando a Equação (7) do Capítulo 3 para todos os atributos selecionados e usando os respectivos pesos. A tabela 6.6 apresenta o valor calculado para cada usuário.

Tabela 6.6: Resultados do Ranqueamento do Recomendador

A interpretação final dos valores obtidos demonstra que a opinião do usuário U10 é mais relevante entre os usuários interessados nesta área de pesquisa. Neste exemplo, foi apresentado o cálculo do RRarea por usuário em uma área específica de interesse (ex, inteligência artificial), mas o mesmo cálculo pode ser realizado para cada área de interesse do usuário.

Os resultados do experimento sugerem que o modelo é flexível e pode ser facilmente aplicado para domínios distintos, uma vez que os atributos e seus pesos podem ser trocados e parametrizados.

O benefício esperado pela aplicação deste modelo é que o mesmo possa auxiliar na representação da relevância da opinião do usuário que participa de uma recomendação, e desta forma espera-se estar oferecendo uma informação que venha a facilitar a escolha do usuário alvo sobre o “consumo” do item recomendado. Buscando verificar se a apresentação do Ranqueamento do Recomendador junto ao item recomendado faria diferença para o usuário alvo, o terceiro experimento (Subseção 6.1.3) foi realizado.

112

6.1.3.1 Método de pesquisa

Os participantes da amostra receberam um e-mail pessoal, no qual foram descritos alguns termos importantes no contexto do experimento que se pretendia realizar, tais como: Sistemas de Recomendação, Sistemas de Recomendação Colaborativos e Relevância da Opinião do Usuário.

O participante foi solicitado a inserir-se em um cenário hipotético e responder três questões objetivas após a visualização das alternativas de interface do sistema de recomendação (apresentadas na figura 6.4 e na figura 6.5).

Na Alternativa 1 (figura 6.4) o usuário visualizava somente a predição do sistema de recomendação ao artigo recomendado, ou seja, o quanto o sistema predizia que o usuário alvo gostaria da recomendação.

Figura 6.4: Interface 1 do terceiro experimento

Na Alternativa 2 (figura 6.5) o usuário visualizava o Ranqueamento do Recomendador que auxiliou na recomendação, ou seja, o quão importante era a opinião de quem auxiliou na recomendação dentro de um sistema colaborativo.

113

Figura 6.5: Interface 2 do terceiro experimento 6.1.3.2 Hipótese de pesquisa

A hipótese que foi levantada para a realização deste experimento é a de que a inclusão do RR dos recomendadores na interface do sistema de recomendação propiciaria uma melhor aceitação das recomendações realizadas que envolvessem especialistas nas áreas de interesse.

6.1.3.3 Perfil da amostra

A amostra utilizada no quarto experimento constituiu-se em uma amostra não probabilística de um total de 70 acadêmicos, entre acadêmicos da área de ciência da computação e da área de sistemas de informação. Neste experimento os participantes foram solicitados a apresentarem sugestões sobre possíveis áreas de aplicação da solução proposta.

Como respondentes obteve-se um total de 62 acadêmicos. Destes 62 respondentes 27 são doutores, 10 doutorandos, 6 mestres, 10 graduandos e 9 graduados conforme apresentado na figura 6.6.

114

Distribuição de acadêmicos e profissionais

Doutores 43%

Doutorandos 16%

Mestres 10%

Graduandos 16%

Graduados 15%

Doutores Doutorandos Mestres Graduandos Graduados

Figura 6.6: Distribuição dos acadêmicos e profissionais do terceiro experimento

6.1.3.4 Resultados

Os respondentes tendo em mente o cenário hipotético apresentado no experimento e abaixo descrito:

“...supondo que você seja um pesquisador iniciando estudos na Área de Conhecimento referente a Sistemas de Recomendação, ou seja, você iniciou a busca por material relevante e confiável para que possa obter conhecimento desta área. Você poderia reportar-se a um sistema de recuperação de informação (exemplo, google) e começar a busca de forma autônoma, o que seria exaustivo pois você não possui conhecimento de que material seria relevante para ler. Visando auxiliar seu inicio de busca lhe foi ofertado um Sistema de Recomendação, o qual apresenta duas alternativas de apresentação de seu conteúdo (Alternativa 1 e Alternativa 2)” .

Responderam as seguintes questões:

Q1) A inclusão do Ranqueamento do Recomendador neste contexto seria um fator que facilitaria a seleção de itens recomendados ao usuário?

Observou-se que 61 acadêmicos de um total de 62 responderam que sim a esta questão, ou seja, 98,4% dos respondentes.

Q2) Você ao verificar a recomendação com a inclusão da relevância da opinião do usuário sentiu-se mais seguro ao decidir que item ler / acessar primeiro devido ao sistema mostrar que este indivíduo tem maior ou menor autoridade na área?

Observou-se que 60 acadêmicos de um total de 62 responderam que sim a esta questão, ou seja, 96,7% dos respondentes.

115 Q3) Em um contexto de recomendação de itens este fator (Ranqueamento do Recomendador) poderia ser um direcionamento para seleção de itens, diminuindo a sensação de sobrecarga de informação comum em sistemas de recuperação de informações (exemplo, google)?

Observou-se que 61 acadêmicos de um total de 62 responderam que sim a esta questão, ou seja, 98,4% dos respondentes.

A tabela 6.7 sumariza estes valores obtidos como resultados.

Tabela 6.7: Respostas do terceiro experimento Respostas

Questões % Sim % Não % Total

Q1 98,4 1,6 100

Q2 96,7 3,3 100

Q3 98,4 1,6 100

Com os resultados obtidos foi possível confirmar a hipótese apresentada no item 6.1.3.2. O retorno que os repondentes enviaram foram levados em consideração na elaboração do experimento final descrito na Seção 6.1.6.

6.1.3.5 Comentários dos Respondentes

Segundo os respondentes as possíveis aplicações do Ranqueamento do Recomendador (solução proposta e apresentada na figura 6.5) seriam:

1) Alunos de pós-graduação iniciando em uma área de pesquisa;

2) Orientadores em busca de novas áreas;

3) Qualquer situação que demande escolha de uma área de conhecimento onde o pesquisador não possua familiaridade;

4) Sistemas onde a avaliação técnica é fundamental (exemplo, avaliação de câmeras digitais);

5) Sistemas de comunidades virtuais e fóruns (exemplo, verificar a relevância da opinião de quem emite avaliação ou idéia sobre algo);

Problemas relevantes quanto à aplicação do Ranqueamento do Recomendador segundo os respondentes:

1) “....como garantir que os rankeados são realmente especialistas...”

2) “...uma lista de 1.000 artigos listados pelo sistema, contra uma lista de 10.000 artigos no google talvez não fossem vistas como coisas diferentes pelo usuário, nos dois casos existirá sobrecarga de informação...”

3) “...como garantir que o especialista não terá ganhos financeiros se avaliar melhor um item ou invés de outro?”

116

4) “...na minha opinião a opinião de um recomendador com notória experiência seria importante em áreas técnicas, nas quais não possuo conhecimento. Em situações de recomendação cultural ou artística, preferiria recomendações feitas por pessoas c/ gostos semelhantes aos meus...”

5) “...quem possui muita experiência pode avaliar bem artigos mais aprofundados e mal os básicos. Como ficaria a recomendação para os iniciantes neste caso?”