AVALIAÇÃO COMPARATIVA DE ALGORITMOS PARA SISTEMAS DE RECOMENDAÇÃO EM MÚLTIPLOS DOMÍNIOS: MODELOS INTERPRETÁVEIS APLICADOS A DADOS EDUCACIONAIS

AVALIAÇÃO COMPARATIVA DE ALGORITMOS PARA

SISTEMAS DE RECOMENDAÇÃO EM MÚLTIPLOS DOMÍNIOS:

MODELOS INTERPRETÁVEIS APLICADOS A DADOS

EDUCACIONAIS

Hugo Marques Casarini

CEATEC

hugo_marks_@hotmail.com

Juan Manuel Adán Coello

CEATEC

juan@puc-campinas.edu.br Resumo: A previsão da nota que um aprendiz irá

obter em tarefas que ainda não realizou pode ser usada para orientar os seus passos no processo de ensino-aprendizagem. Esta nota pode ser prevista a partir dos dados adquiridos durante a interação de estudantes com sistemas tutores, usando métodos de mineração de dados que produzem modelos de fácil interpretação. Tem sido usada uma grande diversidade desses métodos ou algoritmos, principalmente no domínio do comércio eletrônico, mas o seu uso ainda é raro no contexto considerado. Neste artigo discute-se a aplicação de um algoritmo indutor de conjuntos de regras aplicado ao problema de prever se um estudante acertará ou não uma questão, a partir das questões que ele e seus colegas responderam previamente. A avaliação experimental realizada mostrou que o algoritmo apresenta acurácia, precisão e cobertura elevados quando se dispõe de um elevado número de exemplos, mas o mesmo comportamento não se verifica quando isso não ocorre.

Palavras-chave: Sistemas de recomendação,

modelos de previsão interpretáveis, previsão do desempenho de estudantes.

Área do Conhecimento: Ciências Exatas e da

Terra –Ciência da computação.

1. INTRODUÇÃO

O problema da recomendação de uma informação ou item relevante para um determinado indivíduo é um tema que vem ganhando importância tanto no meio acadêmico quanto no comercial.

Estes sistemas possuem como objetivo reduzir as inúmeras opções de itens disponíveis, prevendo um ou mais que sejam de possível interesse de um usuário. Para isso, podem ser utilizadas informações diversas como as preferências do usuário e seu respectivo histórico de interações com o sistema.

Entre as principais abordagens para utilizar essas informações e fazer recomendações de interesse do usuário, destacam-se a filtragem colaborativa (FC) [1] e a mineração de dados baseada em aprendizado de máquina [2], usando, entre outros, métodos que produzem modelos interpretáveis, como as árvores de decisão e as regras de classificação. Os métodos de aprendizado de máquina podem analisar o comportamento passado dos usuários para prever comportamentos futuros.

Nos sistemas de recomendação usualmente utilizam-se associações usuário-item. Essas associações referem-se a uma lista de m usuários, e uma lista de n itens que são representadas por uma matriz m x n contendo as avaliações (ratings) dadas aos itens pelo o usuário em questão. Entre as limitações dos algoritmos de FC destaca-se a incapacidade de recomendar novos itens e de recomendar itens a novos usuários, já que um novo usuário ainda não avaliou nenhum item e um novo item ainda não foi avaliado por usuário algum. Essa situação caracteriza o problema da partida a frio (cold start problem) e é muito comum sua discussão no estudo de sistemas de recomendação.

Outros problemas importantes decorrem da presença de matrizes esparsas (muitos espaços vazios) e matrizes muito grandes (diversas dimensões) que dificultam fazer previsões precisas e aumentam as demandas computacionais para fazê-lo.

O modelo tradicional para transformação de dados em informação e em conhecimento útil, por exemplo para recomendar itens de interesse de um usuário, consiste em um processamento manual dos dados por especialistas que, então, produzem relatórios que deverão ser analisados. Em muitos casos, devido ao grande volume de dados, esse processo manual torna-se impraticável. O KDD (Knowledge Discovery in

Databases ou Descoberta de Conhecimento nas

o problema causado pela chamada "era da informação": a sobrecarga de dados. O KDD refere-se ao processo de descoberta de conhecimento, tendo a mineração de dados como uma das etapas do processo. Na Figura 1 podemos ver uma representação do processo de KDD.

Figura 1. O processo de KDD Fonte: [2]. Algoritmos de aprendizado de máquina estão entre os principais métodos usados na etapa de mineração de dados do processo de KDD para detectar padrões nos dados disponíveis. O foco do trabalho que deu origem a este artigo são os algoritmos de mineração de dados que produzem modelos interpretáveis por pessoas.

O artigo está organizado da seguinte forma: na Seção 2 faz-se uma introdução e discussão sobre o processo de KDD, apresentando detalhes das suas etapas, como destaque para a mineração de dados, a mais relevante para o trabalho descrito neste artigo; na Seção 3 aprofunda-se a discussão sobre algoritmos de mineração de dados que produzem modelos de fácil interpretação, abordagem utilizada no trabalho descrito para prever o desempenho de estudantes; na Seção 4 apresentam-se os resultados de uma avaliação experimental de alguns desses algoritmos quando utilizados com dados educacionais e, finalmente, na Seção 5 são apresentadas algumas considerações finais. 2. DESCOBERTA DE CONHECIMENTO EM

BASES DE DADOS (KDD)

O processo KDD é definido como o “processo não trivial de identificação de padrões novos, potencialmente uteis e inteligíveis a partir de dados” [2]. O processo é não trivial já que algum método de busca ou inferência está envolvido, ou seja, não se trata apenas de um processo simples de computar quantidades pré-definidas, como calcular a média de um conjunto de números. Os padrões descobertos devem ser válidos, com algum grau de certeza, em novos dados, potencialmente úteis (trazem algum benefício) e compreensíveis (se não imediatamente, então depois da interpretação). O processo de busca de conhecimento contém uma série de passos:

seleção, pré-processamento e limpeza, transformação, mineração de dados e interpretação e avaliação.

Conhecer os dados com os quais se irá trabalhar é fundamental para a escolha dos métodos mais adequados de mineração de dados. Os dados podem ser categorizados em quantitativos e qualitativos. Os dados quantitativos são representados por valores numéricos, podendo ainda ser discretos ou contínuos. Já os dados qualitativos contêm valores nominais e ordinais (categóricos).

Tendo uma visão inicial dos dados, é necessário explorá-los, buscando conhecê-los melhor e encontrar valores que possam comprometer sua qualidade, tais como valores em branco ou nulos e dados duplicados. À medida em que que os dados vão sendo conhecidos, ocorre a sua preparação ou pré-processamento para que os algoritmos de mineração possam ser aplicados.

A etapa de transformação dos dados é necessária como parte da preparação dos dados para o uso dos algoritmos de mineração, já que, por exemplo, alguns algoritmos trabalham apenas com valores numéricos e outros apenas com valores categóricos. Nestes casos, é necessário transformar os valores numéricos em categóricos ou os categóricos em valores numéricos.

Em alguns casos o volume de dados é tão grande que torna o processo de análise dos dados e a própria mineração impraticáveis. Nestes casos, as técnicas de redução de dados podem ser aplicadas para que a massa de dados original seja convertida em uma massa de dados menor, porém, sem perder a representatividade dos dados originais. Isto permite que os algoritmos de mineração sejam executados com mais eficiência, mantendo a qualidade do resultado.

Geralmente, os repositórios usados no processo de KDD possuem quantidades muito elevadas de registros, de modo que o uso de todos os registros para a construção do modelo de mineração de dados pode ser inviável. Nesse contexto, utiliza-se uma amostra representativa que é dividida em três conjuntos: conjunto de treinamento (conjunto de dados usados para produzir o modelo); conjunto de testes (usado para testar o modelo construído); conjunto de validação (usado para validar o modelo construído).

3. MINERAÇÃO DE DADOS

A mineração de dados é um passo no processo de descoberta de conhecimento, que consiste na realização da análise dos dados e na aplicação de algoritmos de descoberta que, sob certas

limitações computacionais, produzem um conjunto de padrões (ou modelos) a partir dos dados. As tarefas mais comuns da etapa de mineração de dados são descrição, classificação, estimação ou regressão, predição, agrupamento e associação. A descrição é a tarefa utilizada para descrever os padrões e tendências revelados pelos dados. A classificação visa a identificar a qual classe um determinado registro pertence. A estimação ou regressão visa encontrar uma função que mapeia itens de dados em uma variável de predição real. O agrupamento visa identificar um grupo finito de categorias, ou grupos, que descreva os dados. A associação consiste em identificar quais atributos estão relacionados.

Tradicionalmente, os métodos de mineração de dados são divididos em aprendizado supervisionado e não-supervisionado. A diferença entre estes métodos reside no fato de que os métodos não-supervisionados não precisam de uma pré-categorização para os dados, ou seja, não é necessário um atributo alvo. Tais métodos geralmente usam alguma medida de similaridade entre os atributos. As tarefas de agrupamento e associação são consideradas como não-supervisionadas. Já no aprendizado supervisionado, é usado um conjunto de dados que possuem uma variável alvo pré-definida e os registros são categorizados em relação a ela. As técnicas de classificação podem ser supervisionadas e não-supervisionadas. São usadas para prever valores de variáveis do tipo categóricas. No trabalho descrito neste artigo busca-se construir um modelo para prever uma nota de um estudante em uma atividade ainda não realizada, a partir das suas notas em outras atividades e das notas de outros estudantes nessa e em outras atividades. Este problema pode ser entendido como um problema de predição (da nota da questão não realizada) ou de classificação (prever se o estudante irá errar ou acertar a questão). O conjunto de dados considerado contém informações do tipo múltipla escolha, em que o estudante pode acertar ou errar uma questão, de modo que o problema foi considerando como sendo de classificação. Entre os requisitos do trabalho considerado estava que os modelos gerados fossem facilmente interpretáveis por pessoas. Por esse motivo foram focados algoritmos que produzem modelos classificatórios na forma de árvores de decisão e de regras.

Em uma árvore de decisão cada nó indica um teste feito sobre uma variável. As ligações entre os nós representam os valores possíveis do teste

do nó superior e as folhas indicam a classe à qual o registro pertence. Após construir uma árvore de decisão, para classificar um novo registro, basta seguir o fluxo na árvore, mediante os testes nos nós não-folha, começando no nó raiz até chegar a uma folha.

Um modelo de classificação baseado em regras emprega clausulas da forma SE condição ENTÃO conclusão.

No trabalho descrito neste artigo foi empregado o algoritmo RIPPER (Repeated Incremental Pruning to Produce Error Reduction) [4] para produzir conjuntos de regras que permitam prever se um estudante acertará ou não uma questão que ainda não fez.

Algoritmos de aprendizado de conjuntos de regras são geralmente comparados com algoritmos de aprendizado de árvores de decisão. Conjuntos de regras apresentam a vantagem de serem fáceis de entender e podem ser representados em lógica de primeira ordem. A sua maior desvantagem é que em geral são pouco escaláveis, à medida que aumenta o conjunto de treinamento, e apresentam dificuldades para tratar de dados com ruído. No entanto, o algoritmo RIPPER não apresenta essas desvantagens. Uma das maiores limitações das de árvores de decisão é o ajuste excessivo (overfitting), ou seja, o modelo produzido funciona muito bem com o conjunto de treinamento, mas não apresenta resultados tão bons com o conjunto de validação (e com dados novos). O RIPPER implementa a técnica REP (Reduced Error

Pruning) que é bem sucedida para evitar o ajuste

excessivo.

Somando as características positivas do RIPPER apresentadas na literatura com o fato de haver uma implementação desse algoritmo no ambiente de mineração de dados Rapidminer1_{, disponível}

para uso do trabalho descrito, este foi o algoritmo de indução de modelos interpretáveis escolhido para aplicar ao problema educacional considerado.

4. AVALIAÇÃO EXPERIMENTAL

Nesta seção descreve-se a avaliação experimental conduzida para avaliar o algoritmo de indução de regras RIPPER quando empregado para uma base de dados educacional. A avaliação foi feita no ambiente RapidMiner, que implementa diversos mecanismos e algoritmos para o processo de KDD, inclusive o algoritmo mencionado. Foi empregada a base de dados educacionais assistments_2009-2010 [5], que consiste em um conjunto de dados coletados entre 2009 e 2010, a partir de uma plataforma online

que permite que resolvam questões e recebam tutoria online. Essa base está organizada em um formato de tabela com diversas colunas. A base contém 1.011.079 respostas de 8.519 estudantes para 35.978 questões.

O algoritmo foi avaliado procurando focar na facilidade de interpretação dos resultados produzidos e da precisão das previsões feitas. A facilidade de interpretação foi avaliada visualmente, na medida que a intenção é verificar se os modelos produzidos são fáceis de entender a uma pessoa. A precisão foi avaliada por um processo de validação cruzada.

O processo implementado no RapidMiner para avaliar os algoritmos consiste na execução de uma sequência de atividades. Incialmente a base original passou por um processo de transformação visando colocá-la no formato requerido pelos algoritmos empregados. Na base transformada, cada linha representa um usuário e cada coluna uma questão respondida pelos usuários. As células definidas por um par linha-coluna indicam se o usuário representado na linha acertou (valor 1) ou errou (valor 0) a questão associada à coluna. Em seguida, transforma esse valor do tipo numérico é transformado para o tipo binominal (true ou false).

A base é então filtrada em função do atributo categórico (questão para a qual se deseja fazer previsões), deixando apenas os registros dos estudantes que responderam a essa questão (com acerto ou com erro).

Em seguida, é selecionado o atributo (coluna da tabela) correspondente à questão para a qual se deseja treinar (aprender) um modelo (atributo categórico) capaz de predizer o seu valor, associando a esse atributo o papel de rótulo (label), passo necessário para indicar ao algoritmo que este é o atributo para o qual se quer realizar a aprendizagem.

No próximo passo do processo, é feita uma amostragem estratificada da base. Esta etapa é necessária pois o computador empregado não tem memória suficiente para executar os algoritmos com toda a base. A amostra estratificada é um subconjunto selecionado aleatoriamente da base original, em que a distribuição de classes é a mesma da base original, isto é, a proporção de registros (linhas da tabela) na amostra correspondente a acertos e a erros é a mesma da base completa.

Após fazer a amostragem, é executado um processo de avaliação cruzada para estimar o desempenho estatístico do modelo produzido pelo algoritmo de aprendizado usado em novos dados.

Isto envolve um subprocesso de treinamento, onde é treinado, ou aprendido, um modelo, e um subprocesso de teste, onde é aplicado o modelo aprendido e medido o seu desempenho.

No processo de validação cruzada, o conjunto de dados, neste caso a amostragem, é particionado em três subconjuntos de mesmo tamanho. Um subconjunto é usado como o conjunto de dados de teste (servirá de entrada para o subprocesso de teste) e dois subconjuntos são usados como os dados de treinamento (serão a entrada do subprocesso de treinamento). O processo de validação cruzada é repetido três vezes, com cada um dos três subconjuntos usado uma vez como dados de teste. Ao final, é feita uma média dos três resultados produzidos para produzir uma estimativa do desempenho do modelo.

Após uma fase inicial em que se tentou produzir árvores de decisão, sem muito sucesso, decidiu-se focar na utilização do algoritmo de indução de regras RIPPER.

Foram utilizados os parâmetros padrão do algoritmo, tal como recomendado pela implementação disponível no Rapidminer, exceto pelo critério utilizado para selecionar os atributos que serão usados na cláusula condicional das regras geradas. O padrão da ferramenta é usar o ganho de informação, mas foram obtidos melhores resultados usando a acurácia. No primeiro caso, a entropia de todos os atributos é calculada e o atributo com a menor entropia é usado na divisão. No segundo caso, é selecionado o atributo que maximiza a acurácia do conjunto de regras. Foram produzidos e avaliados conjuntos de regras para diversas questões. Mostramos aqui os resultados obtidos para duas delas: 11948 e 97607. A primeira estava representada por 478 exemplos na amostra e a segunda por 95.

Os conjuntos de regras produzidos para as questões 11948 e 97607 são mostrados, respectivamente, na Figura 2 e na Figura 3. Esses conjuntos são o resultado da junção dos conjuntos gerados nas três etapas da validação cruzada. Um conjunto de regras deve ser lido de cima para baixo. Logo, no caso da questão 11948, se o usuário acertou (true) a questão 9663, a previsão é que ele erre a 11948. Se essa condição não é verificada, verifica-se se ele acertou a questão 14349. Nesse caso, a previsão é que ele erre a questão 11948. Após outras três condições que levam à previsão de erro, temos a regra padrão que indica acerto da questão 11948.

O desempenho desse conjunto de regras é mostrado na Figura 4 (copiada diretamente da tela

do Rapidminer). Nota-se que a acurácia do conjunto é de 90,81% com um desvio de mais ou menos 4,53%. A acurácia indica o número de previsões corretas feitas. A figura mostra também a precisão e a cobertura desse conjunto de regras. A Figura 5, por sua vez, mostra o desempenho do conjunto de regras gerado para a questão 97607. Neste caso, exceto pela cobertura para a classe falso, todas as métricas mostram um pior desempenho. O motivo, provavelmente, seja o reduzido número de exemplos disponíveis para gerar o modelo.

5. CONCLUSÃO

O objetivo do plano de trabalho detalhado no artigo consistia em analisar o desempenho de algoritmos de mineração de dados baseados em modelos de fácil interpretação, quando aplicados ao problema de prever o desempenho de estudantes.

Para atingir o objetivo foi analisado o desempenho de conjuntos de regras induzidas pelo algoritmo RIPPER, quando aplicados a uma base de dados educacionais. Nos experimentos realizados, verificou-se que o algoritmo apresenta acurácia, precisão e cobertura elevadas quando se dispõe de um número expressivo de exemplos. Por outro lado, quando o número de exemplos é pequeno, o desempenho é bem menor.

Pretende-se, dar continuidade ao trabalho, realizando novos experimentos em que será analisado o efeito da variação dos parâmetros do algoritmo estudado.

Por fim, cabe ressaltar que a mineração de dados é uma área promissora e que, apesar dos bons Figura 2. Conjunto de regras para a

questão 11948.

if 9663 = true then false (20 / 1) if 14349 = true then false (16 / 2) if 2712 = true then false (11 / 0) if 13648 = true then false (11 / 1) if 13907 = true then false (234 / 2) else true (18 / 162)

correct: 454 out of 478 training examples.

Figura 4: Acurácia, precisão e cobertura, conjunto de regras para a questão 11948.

Figura 5: Acurácia, precisão e cobertura, conjunto de regras para a questão 97607.

if 61091 = true then false (9 / 0) if 40849 = true then true (0 / 14) if 40519 = true then false (8 / 0) if 40859 = true then false (4 / 0) if 2672 = true then true (0 / 10) if 97402 = true then false (4 / 0) else false (24 / 22)

correct: 73 out of 95 training examples

Figura 3. Conjunto de regras para a questão 97607.

resultados apresentados, ainda tem muito para oferecer.

AGRADECIMENTOS

À FAPIC/Reitoria pela bolsa de iniciação científica, à PUC-Campinas pelas instalações que permitiram o desenvolvimento deste artigo e as reuniões realizadas, e ao Prof. Dr. Juan Manuel Adán Coello pela orientação e motivação e pelo convite para a participar no trabalho de IC que me permitiu adquirir novos conhecimentos na área de computação.

REFERÊNCIAS

[1] X. Amatrian, A. Jaimes, N. Oliver e J. M. Pujol.

Data Mining Methods for Recommender Systems. Recommender Systems Handbook, pp. 39-71, 2011.

[2] U. Fayyad, G. Piatetsky-Shapiro, P. Smyth. From Data mining to Knowledge Discovery in Databases. AI Magazine, 17(3):37-54, Fall 1996.

[3] I. H. Witten, E. Frank, and M. A. Hall. Data Mining: Practical Machine Learning Tools and Techniques: Practical Machine Learning Tools and Techniques. Morgan Kaufmann, 2011. [4] W. W. Cohen, “Fast Effective Rule Induction,”

in Proceedings of the Twelfth International Conference on Machine Learning, Lake Tahoe, California, 1995.

[5] M. Feng, N. Heffernan e K. Koedinger.

Addressing the assessment challenge with an Online System that tutors as it assesses. The

Journal of User Modeling and User-Adapted Interaction, 2009.