Experimentos

Os experimentos realizados neste trabalho tiveram os seguintes objetivos: (i) verificar a qualidade das recomendações obtidas e o grau de satisfação dos usuários com relação ao sistema de recomendação implementado a partir do PersonalTVware; (ii) verificar a diferença da qualidade das recomendações quando explorado ou não o contexto do usuário no sistema de recomendação implementado; e (iii) verificar qual método de aprendizagem de máquina proporciona as melhores recomendações. A seguir são descritos os dados explorados nos experimentos, e a metodologia empregada nos experimentos.

8.2.1 Obtenção dos Dados

Para realização dos experimentos dois tipos de dados são necessários: os

perfis contextuais de usuários e os metadados referentes à programação das

emissoras de TV. Deste modo, foram convidados 10 estudantes de graduação da Universidade do Estado do Amazonas, que utilizaram o sistema de recomendação durante o período de um mês. Cada estudante assumiu um perfil de usuário hipotético, visando representar diferentes perfis de usuários. Com isso, a partir dos registros da interação dos estudantes, 2208 perfis contextuais de usuários com informação de gênero instanciada foram obtidos.

Complementarmente, para avaliar o estudo de caso sob uma perspectiva quantitativa, foi necessária a obtenção de uma coleção de documentos XML, sendo composto por 2426 metadados de programas de TV de 14 canais correspondente a uma semana de programação da TV. Tais metadados foram representados de acordo com a especificação de metadados do padrão TV-Anytime (TV-ANYTIME, 2007b) e coletados em Web sites especializados na publicação da programação das emissoras de televisão. No período da realização dos experimentos, os metadados que compõe as tabelas SI não eram distribuídos pelos provedores de serviços.

8.2.2 Metodologia para Realização de Experimentos

Para realização dos experimentos foi empregado o método Holdout (HAN; KAMBER, 2006). Neste método, os dados obtidos são divididos em dois conjuntos independentes, um conjunto de treinamento e um conjunto de teste.

Figura 43 - Método Holdout. Adaptado de (HAN; KAMBER, 2006).

Conforme ilustrado na Figura 43 o conjunto de treinamento (ou a base de conhecimento) é utilizado para derivar o modelo de conhecimento, cuja qualidade das recomendações é estimada por meio do conjunto de teste. Desta forma, os experimentos foram realizados em três etapas. A Figura 44 apresenta um diagrama de atividades descrevendo a ordem da execução de cada etapa.

Figura 44 - Etapas da metodologia para realização de experimentos Dados Conjunto de treinamento Conjunto de teste Modelo de conhecimento derivado Avaliar qualidade das recomendações

Treinar o sistema de recomendação

Avaliar a qualidade das recomendações sensíveis ao contexto

Avaliar a qualidade das recomendações sem uso do contexto

A primeira etapa foi de treinamento do sistema de recomendação que durou uma semana. Neste período foi gerado o conjunto de treinamento (ou base de conhecimento) composto por perfis contextuais de usuários com informação de gênero instanciada, ou seja, com rótulo de classe.

Figura 45 - Arquivo ARFF com perfis contextuais de usuários

Na Figura 45 há um fragmento do arquivo ARFF utilizado pelo PersonalTVware como conjunto de treinamento. O treinamento consistiu na utilização do sistema de recomendação pelos usuários em diversos contextos, onde os perfis contextuais de usuários foram obtidos por meio da técnica de realimentação de relevância (descrita na subseção 5.5). Por exemplo, cada usuário selecionava dentre os programas de TV apresentados na grade programação das emissoras, o programa de TV que considerava relevante, de acordo com o dia da semana, período do dia, sua localização e o tipo de dispositivo de acesso que utilizava. Deste modo, o perfil contextual do usuário correspondente era obtido.

A segunda etapa consistiu em avaliar a qualidade das recomendações sensíveis ao contexto geradas de acordo com cada método de aprendizagem de máquina suportado pelo PersonalTVware. Nesta etapa, os usuários receberam recomendações de programas de TV. O experimento foi realizado em lote pelos usuários, que consistia em selecionar os programas de TV considerados relevantes dentre aqueles que foram recomendados pelo sistema de recomendação por meio de cada método de aprendizagem de máquina avaliado. O objetivo deste experimento foi analisar qual método proporcionava a recomendação mais adequada ao perfil contextual do usuário com atributo-classe não instanciado.

% Por questões de simplificação, o cabeçalho com a declaração dos atributos foi omitido % (veja Apêndice B) % @relation personalTVware . . . @data male,adult,pt,engineer,BR-AM,home,sunday,midnight,fixed,ENTERTAIN male,adult,pt,engineer,BR-AM,home,sunday,morning,fixed,SPORTS female,adult,pt,student,BR-AM,home,sunday,morning,portable,MUSIC

male,adult,pt,engineer,BR-AM,office,monday,morning,fixed,INFORM

female,adult,pt,student,BR-AM,school,monday,noon,portable,EDUCATE

...

female,adult,pt,student,BR-AM,gym,monday,night,portable,SPORTS

Alguns perfis contextuais de usuários obtidos na fase de treinamento.

Com isso, os usuários realizaram este experimento em cada período do dia durante uma semana, o que constituiu o conjunto de teste. Finalmente, na terceira etapa, os métodos de aprendizagem de máquina não foram empregados. A função de predição foi desabilitada, logo, somente o perfil do usuário definido de forma explícita foi utilizado para geração das recomendações. O objetivo foi verificar a qualidade das recomendações sem a predição de preferências contextuais a partir da exploração do contexto e de métodos de aprendizagem de máquina. Cada usuário realizou este experimento pelo o menos 3 vezes ao dia, um experimento por período, ao longo de uma semana. Com a conclusão dos experimentos foi realizada a avaliação dos resultados obtidos conforme será descrito na próxima seção.