RL: Um novo método para classificação multirrótulo baseado

(1)

RL: Um novo método para classificação multirrótulo baseado

em seleção aleatória de rótulos

Patr´ıcia Pachiega, Flavia C. Bernardini, Bianca Zadrosni 1_{Instituto de Ciˆencia e Tecnologia – Polo Universit´ario de Rio das Ostras}

Universidade Federal Fluminense – (UFF) Rio das Ostras – RJ – Brasil

fcbernardini@puro.uff.br, XXX, YYY, ZZZ

Abstract. Em muitos problemas do mundo real, um classificador dever ser ca-paz de predizer não somente um mas vários rótulos a um caso, como por exem-plo predição de falhas em equipamentos — um equipamento pode apresentar, em algumas situações, mais de uma falha em um mesmo instante de tempo. Para este tipo de problema, são utilizados métodos para aprendizado multirrótulo. Uma abordagem utilizada para o aprendizado multirrótulo é transformar o pro-blema multirrótulo em vários propro-blemas de classificação de rótulo único. Há vários métodos propostos na literatura baseados nessa abordagem, entretanto o poder de predição desses métodos ainda necessitam ser melhorados, devido a problemas de dispersão de exemplos e de rótulos nos dom´ınios. Assim, há a necessidade de propostas de novos métodos para aprendizado multirrótulo. Neste trabalho, propomos o método RL (Random Label) baseado na aborda-gem de transformação do problema multirrótulo em problemas multiclasse, e na abordagem de combinação dos classificadores para novas predições. Foram utilizados conjuntos de dados naturais para avaliação do método, que foi com-parado a dois métodos propostos na literatura — BR e LP. Os resultados foram considerados promissores.

Resumo. xxx

1. Introduc¸˜ao

Um dos principais objetivos de aprendizado de máquina é aprender conceitos e padrões a partir de dados. Os classificadores constru´ıdos pelos atuais algoritmos de aprendizado de máquina rotulam os exemplos com apenas uma classe, e/ou oferecem probabilidades de um exemplo pertencer às classes do dom´ınio em questão. Entretanto, existem problemas nos quais um exemplo é rotulado com mais de uma classe, como por exemplo, rotula-mento de textos, v´ıdeos ou imagens, onde é necessário que se utilize métodos espec´ıficos para fornecer esse tipo de classificação. Uma maneira de resolver esse tipo de problema é decompor o problema multirrótulo original em múltiplos subproblemas de aprendizado binários ou multiclasse, construindo um classificador para cada classe e combinando as sa´ıdas dos classificadores criados para obtenção da classificação final. Existem diferen-tes argumentos para motivar a utilização desta abordagem para a solução de problemas multirrótulo, dentre esses motivos podemos citar alguns: há algoritmos de aprendizado bastante estudados e aceitos pela comunidade de aprendizado de máquina para solução de problemas binários; em geral, os algoritmos não são adequados a problemas com grande

(2)

número de classes ou apresentam dificuldade em lidar com grandes volumes de dados de treinamento; e o uso de técnicas baseadas nesta abordagem podem reduzir a complexi-dade computacional, graças à divisão do problema inicial em subproblemas mais simples. Ainda, deve ser observado que, para problemas de aprendizado supervisionado padrão, ou seja, problemas nos quais o atributo classe possui somente um valor associado a cada exemplo, melhores resultados podem ser obtidos utilizando métodos de construção de ensemblesde classificadores [Dietterich 2002].

Neste trabalho propomos um método de combinação de classificadores que di-vide o problema de aprendizado multirrótulo em diversos problemas multiclasse. A van-tagem desse método está na simplicidade do processo de transformação do problema, associado à complementaridade dos classificadores constru´ıdos. O método proposto foi implementado utilizando a biblioteca Mulan1_{[Tsoumakas et al. 2010b], que é baseado na} ferramenta Weka [Witten and Frank 2005]. Foram utilizados conjuntos de dados naturais, disponibilizados juntamente com a biblioteca Mulan para avaliação do método proposto.

Este artigo está organizado da seguinte forma: Na Seção 2 são descritos concei-tos e definições de aprendizado multirrótulo. Na Seção 3 são descriconcei-tos dois métodos de aprendizado multirrótulo propostos na literatura, que são os mais próximos do algoritmo por nós proposto — BR e LP —, assim como é descrito o método RL proposto neste trabalho. Na Seção 4 são descritos os experimentos realizados, incluindo uma descrição dos conjuntos de dados, assim como são descritos e analisados os resultados obtidos. Por fim, na Seção 5 é realizada a conclusão e são mencionados poss´ıveis trabalhos futuros.

2. Aprendizado Multi-R´otulo

A grande maioria dos problemas de classificação apresentados na literatura2são proble-mas de classificação de rótulo único. Neste tipo de problema, cada exemplo é associ-ado a uma única classe pertencente a um conjunto finito de classes. Entretanto, existe um grande número de problemas em que um determinado exemplo pode ser associ-ado a mais de uma classe. Tais problemas recebem o nome de problemas multi-rótulo. Um exemplo para essa situação é a classificação de um texto que pertence simultane-amente a mais de uma classe, como medicina e informática, ou pertence à economia, pol´ıtica e saúde. Outros exemplos são classificação de imagens, textos, prote´ınas, ge-noma, dentre outros [Tsoumakas et al. 2010a]. Tais problemas têm sido bastante estuda-dos pela comunidade de aprendizado de máquina. Exemplos de trabalhos que abordam problemas multirrótulo são [?, Shen et al. 2004, Sebastiani 2002, Dimou et al. 2009, ?, ?, ?, Calembo et al. 2011]. Poss´ıveis aplicações na área de aprendizado multi-rótulo são classificação de imagens, textos, prote´ınas, genoma, entre outros.

2.1. Caracter´ısticas e Estat´ısticas dos Conjuntos de Dados Multi-R´otulo

Em alguns conjuntos de dados, o número de rótulos de cada exemplo é pequeno, se comparado ao número total de rótulos poss´ıveis |L|. Esse número pode ser um parâmetro que influencia a performance de diferentes métodos multi-rótulo. Para ava-liar o quanto essa medida pode impactar, são definidas duas medidas de um conjunto

1_{Dispon´ıvel em http://mulan.sourceforge.net}

2_Muitos _dos _algoritmos _propostos _de _aprendizado _{supervisionado} _est˜ao _descritos

(3)

de dados: cardinalidade Card e densidade Dens de rótulo de um conjunto de da-dos [Tsoumakas et al. 2010a]. Cardinalidade de um conjunto de dada-dos S é a média do número de rótulos dos exemplos pertencentes a S, definida pela Equação 1. Já a den-sidade de um conjunto S é o número médio de rótulos dos exemplos pertencentes a S dividido pelo número de rótulos |L|, definida pela Equação 2.

Card = 1 N N X i=1 |Yi| (1) Dens = 1 N N X i=1 |Yi| |L| (2)

A cardinalidade de rótulo é independente do número de rótulos |L| no problema de classificação, e é utilizado para quantificar o número de rótulos alternativos que ca-racterizam os exemplos de um conjunto de dados multi-rótulo utilizado para treinamento. Já a densidade de rótulo considera o número de rótulos do dom´ınio D. Dois conjuntos de dados com a mesma cardinalidade de rótulo mas com grande diferença no número de rótulos — e portanto grande diferença na medida de densidade de rótulo — podem não exibir as mesmas propriedades e, assim, causar comportamentos diferentes nos métodos de aprendizado multi-rótulo. O número rótulos distintos é também importante para mui-tos métodos baseados em algoritmos de transformação. Sendo assim, é importante avaliar tais medidas quando se utiliza métodos de aprendizado multi-rótulo.

2.2. Medidas de Avaliac¸˜ao

Para avaliar os classificadores multirrótulo, diferentes classes de medidas podem ser uti-lizadas [Tsoumakas et al. 2010a]. Nesse trabalho utilizamos medidas baseadas em exem-plos, pois essas medidas avaliam o comportamento dos modelos multirrótulo do ponto de vista de classificação de cada exemplo. As medidas utilizadas são Hamming Loss (Ham), precisão (P rec), recall (Rec), acurácia (Acc), medida F (F M easure) e subset accuracy (SubsetAcc), definidas pelas Equações 3 a 8, respectivamente. Em relação à medida Hamming Loss, deve ser observado que essa medida calcula uma distância de Hamming entre a classificação correta e a classificação predita pela máquina. Na Equação 3, ∆ representa a diferença simétrica entre dois conjuntos. Quando Ham é considerada como medida de avaliação, quanto menor o valor, melhor é a performance do algoritmo, tendo zero como valor ideal. Para as demais medidas, valores maiores indicam melhor per-formance. Na Equação 8, I(verdadeiro) = 1 e I(verdadeiro) = 0. Deve ser observado que a medida SubsetAcc é uma medida bastante conservadora, pois requer que o con-junto de rótulos preditos seja exatamente igual ao concon-junto de rótulos verdadeiros. Pode ser notado, na definição da medida F M easure — Equação 7 — é uma combinação das métricas P rec e Rec, e portanto avalia um modelo multirrótulo como uma ponderação entre essas métricas.

Hamm(h, S) = 1 N N X i=1 |Yi∆Zi| |L| (3)

(4)

Deve ser observado que cada uma das medidas de avaliação descritas pode ser utilizada como uma métrica eval calculada em cada iteração da técnica de k-fold cross-validation, para estimar o poder de predição de um classificador multirrótulo constru´ıdo por métodos de construção de classificadores multirrótulo.

3. Métodos de Classificação Multirrótulo

Alguns métodos para classificação de problemas multirrótulo atuam na transformação do conjunto de dados para transformar o problema em um problema binário, como e o caso do algoritmo BR, ou em um problema multiclasse, como é o caso do algoritmo LP [Tsoumakas et al. 2010a]. Ambos os algoritmos, por serem mais simples, foram uti-lizados como comparativos ao método proposto neste trabalho, e são descritos a seguir. 3.1. Método BR — Binary Relevance

Uma poss´ıvel solução para este tipo de problema é a decomposição do problema multi-rótulo em vários subproblemas binários. Um método popular que realiza a decomposição em vários problemas binários é denominado Binary Relevance — BR. No método BR, é constru´ıdo um classificador para cada classe com um mesmo algoritmo de aprendizado de máquina supervisionado. Para isso, inicialmente o conjunto de dados de treinamento, cu-jos exemplos de treinamento possuem mais de um rótulo, é transformado em |L| conjuntos de dados Sl, sendo cada conjunto de dados referente a um rótulo l. Dado um algoritmo de aprendizado para problemas de classificação de somente um rótulo, é constru´ıdo um clas-sificador para cada conjunto de dados Sl. Para classificar um exemplo novo, o exemplo é fornecido a cada um dos classificadores referentes a cada rótulo. Caso o classificador prediga que o exemplo é positivo, o conjunto de rótulos de sa´ıda recebe o rótulo ao qual o classificador se refere.

(5)

3.2. M´etodo LP — Label Powerset

O método LP, proposto em [Read 2008], é um método simples de transformação do pro-blema. Ele considera cada conjunto de rótulos que existe em um conjunto de treinamento multirrótulo como uma das classes de uma nova tarefa de classificação de rótulo único. Por exemplo, dados três rótulos λ1, λ2 e λ3 e um conjunto de treinamento multirrótulo S, o exemplo x1 ∈ S que seja rotulado com os rótulos λ1, λ2 passa a ser rotulado, com essa transformação, por λ1,2; o exemplo x2 ∈ S que seja rotulado com os rótulos λ1, λ3 passa a ser rotulado, com essa transformação, por λ2,3; o exemplo x3 ∈ S que seja rotulado com o rótulo λ1continua sendo rotulado somente λ1; e assim sucessivamente. Com esse novo conjunto de dados transformado S0, um classificador multiclasse h é induzido. Dado um novo exemplo x a ser rotulado, o classificador h rotula x com a classe mais provável, que é um conjunto de rótulos. Supondo que h pode oferecer, além do rótulo mais provável, uma distribuição de probabilidade para todas as classes poss´ıveis de classificação, então o método LP pode oferecer um ranking dos rótulos originais. Supondo que a hipótese h oferece como distribuição de probabilidade nas classes λ1,2 = 0.7, λ2,3= 0.2 e λ1 = 0.1, a probabilidade de x ser rotulado por λ1 = 0.7 × 1 + 0.2 × 0 + 0.1 × 1 = 0.8, a propabi-lidade de ser rotulado por λ2 = 0.7 × 1 + 0.2 × 1 + 0.1 × 0 = 0.9, e a propabilidade de ser rotulado por λ3 = 0.7 × 0 + 0.2 × 1 + 0.1 × 0 = 0.2. Da´ı, um valor limite para rotular um novo exemplo pode ser definido.

3.3. M´etodo RL — Random Label

Uma ferramenta livre desenvolvida para auxiliar o processo de mineração de dados, incluindo ferramentas implementadas para tarefas de classificação, aprendizado super-visionado, e outras, é a Weka [Witten and Frank 2005]. Estão presentes nessa fer-ramenta implementações de métodos de mineração de dados, além de outras ferra-mentas. Essa ferramenta possui a interessante vantagem de ter sido implementada na linguagem Java, permitindo portabilidade. A biblioteca Mulan (Multi-label Lear-ning) [Tsoumakas et al. 2010b] foi proposta para atender as necessidades dos problemas de aprendizado multi-rótulo. A base da biblioteca Mulan é a ferramenta Weka. Essa biblioteca foi utilizada como base para implementação do método RL.

4. Experimentos Realizados e Resultados Obtidos

Nesta seção, apresentamos uma descrição dos experimentos realizados e dos resultados obtidos. Os experimentos foram realizados utilizando o método EBR e o método BR. Foram utilizados diferentes algoritmos de aprendizado de máquina para indução dos clas-sificadores binários. Foram utilizadas quatro bases de dados3: Emotions, Genbase, Scene e a Yeast. Na Tabela 1 são descritas as caracter´ısticas dessas bases de dados, onde #Exs. é o número de exemplos do conjunto de dados; #At. Disc e #At. Cont. são, respectiva-mente, o número de atributos discretos e cont´ınuos presentes na base de dados; # Rótulos é o número de rótulos poss´ıveis |L| do conjunto de dados; Card é a medida de cardina-lidade de rótulo do conjunto de dados — Eq. 1 — ; e Dens é a medida de densidade de rótulo do conjunto de dados — Eq. 2.

RESULTADOS:

3_{Esses e outros conjuntos de dados est˜ao dispon´ıveis no site da biblioteca Mulan — http://mulan.}

(6)

Nome #Exs. #At. Disc. #At. Cont # R´otulos Card Dens Emotions 593 0 72 6 1.869 0.311 Genbase 662 1186 0 27 1.252 0.046 Scene 2407 0 294 6 1.074 0.179 Yeast 2417 0 103 14 4.237 0.303 XXX Preencher YYY Preencher

Tabela 1. Caracter´ısticas dos conjuntos de dados

CD 1 2 3 4 5 RLT01 RLT02 RLT05 RLT04 RLT03

Figura 1. Teste de Hip ´otese H2 — Medida Acc

H0: N e 10N tem comportamentos semelhantes? Wilcoxon - Medida FMeasure, SubsetAcc, OneError e RankingLoss - Hipótese pode ser descartada. N é melhor que 10N com 95% de confiança - já para medida AUCMicro, 10N é melhor que N com 95% de confiança. Observar que AUCMicro é a única medida em que vence. Pensar porque somente para esse caso é melhor, e por isso quando 10N é mais apropriado.

H1: 1 e N apresentam comportamento semelhante? - Wilcoxon - Rejeita com ”N”melhor - Hamming, AUCMic, RankingLoss e OneError

H2: 0.1, 0.2, 0.3, 0.4 e 0.5 apresentam comportamentos semelhantes (usando 1 e N)? Rejeita H2 utilizando teste de hip´oteses Nemenyi - Accuracy — Figura 7(a) — , FMeasure — Figura 7(b) —, SubsetAcc — Figura 7(c) —, F1Micro — Figura 4 —, F1Macro — Figura 5 —, OneError (90% de confianc¸a) — Figura 7(d): 0.1, 0.2 e 0.3 vencem na maioria dos casos

H3: LP, BR e RL apresentam comportamentos semelhantes? Acc, F1Macro, F1Micro, : Não rejeita hipótese H3; AUCMicro: Pode ser rejeitada — Figura 8; FMe-asure: hipótese nula rejeitada — Figura 9; Hamming: rejeita — Figura 10; OneError: Rejeita hipótese nula — Figura 11; Ranking Loss: rejeita — Figura 12; SubsetAcc: re-jeita — Figura 13.

5. Conclus˜oes e Trabalhos Futuros

Neste trabalho, foi proposto um método para construção de classificadores multi-rótulo baseado em combinação de classificadores binários, denominado EBR. O método EBR é

(7)

Figura 3. Teste de Hip ´otese H2 — Medida SubsetAcc

Figura 4. Teste de Hip ´otese H2 — Medida F 1M icro

Figura 5. Teste de Hip ´otese H2 — Medida F 1M acro

CD 1 2 3 4 5 RL-T02 RL-T01 RL-T05 RL-T03 RL-T04

Figura 6. Teste de Hip ´otese H2 — Medida OneError (90% de confianc¸a)

(a) Medida Acc

CD 1 2 3 4 5 RLT01 RLT02 RLT05 RLT04 RLT03 (b) Medida F CD 1 2 3 4 5 RLT02 RLT01 RLT05 RLT04 RLT03 (c) Medida SubsetAcc CD 1 2 3 4 5 RL-T02 RL-T01 RL-T05 RL-T03 RL-T04 (d) Medida OneError – 90% de confianc¸a

(8)

CD 1 2 3 4 RL-T01-N RL-T02-N LP BR

Figura 8. Teste de Hip ´otese H3 — Medida AU CM icro

CD 1 2 3 4 LP BR RL-T01-N RL-T02-N

Figura 9. Teste de Hip ´otese H3 — Medida F

CD 1 2 3 4 BR LP RL-T01-N RL-T02-N

Figura 10. Teste de Hip ´otese H3 — Medida Ham

CD CD 1 2 3 4 RL-T02-N RL-T01-N LP BR

Figura 11. Teste de Hip ´otese H3 — Medida OneErr

CD CD 1 2 3 4 RL-T02-N RL-T01-N LP BR

Figura 12. Teste de Hip ´otese H3 — Medida Rank

CD 1 2 3 4 LP BR RL-T01-N RL-T02-N

(9)

uma extensão do método BR. O método foi implementado utilizando as bibliotecas Mulan e Weka, na linguagem Java. Foram utilizados 4 (quatro) conjuntos de dados naturais para avaliar o método proposto. Pudemos observar nos resultados obtidos dos experimentos realizados que o EBR apresenta uma melhora em relação ao método BR em algumas situações.

Uma parte do funcionamento básico do método EBR é calcular a média das proba-bilidades dos classificadores para cada classe. Sendo assim, classificadores que decidem com maior probabilidade uma classe possui o mesmo peso de decisão que decide por uma classe com probabilidade baixa. Sendo assim, como continuação deste trabalho, pre-tendemos explorar o método de combinação das decisões dos classificadores individuais. Ainda, pretendemos avaliar o método em uma quantidade maior de conjuntos de dados.

Referˆencias

Calembo, K. N., Bernardini, F. C., and Martins, C. B. (2011). Proposta de um método de combinação de classificadores para construção de classificadores multi-rótulo. In Conferência Latinoamericana de Informática — CLEI’2011.

Dietterich, T. G. (2002). Ensemble learning. In Arbib, M., editor, The Handbook of Brain Theory and Neural Networks, Second Edition. MIT Press.

Dimou, A., Tsoumakas, G., Mezaris, V., Kompatsiaris, I., and Vlahavas, I. (2009). An empirical study of multi-label learning methods for video annotation. In 7th Internati-onal Workshop on Content-Based Multimedia Indexing, IEEE, pages 19–24.

Read, J. (2008). A pruned problem transformation method for multi-label classification. In Proc. 2008 New Zealand Computer Science Research Student Conference (NZCSRS 2008), pages 143–150.

Sebastiani, F. (2002). Machine learning in automated text categorization. ACM Compu-ting Surveys, 34(1):1–47.

Shen, X., Boutell, M., Luo, J., and Brown, C. (2004). Multi-label machine learning and its application to semantic scene classification. In Proceedings of the 2004 International Symposium on Electronic Imaging – EI 2004, pages 18–22.

Tsoumakas, G., Katakis, I., and Vlahavas, I. (2010a). Data Mining and Knowledge Dis-covery Handbook, chapter Mining Multi-label Data. Springer, 2nd edition.

Tsoumakas, G., Vilcek, J., Spyromitros, E., and Vlahavas, I. (2010b). Mulan: A java library for multi-label learning. Journal of Machine Learning Research, 12:2411– 2414.

Witten, I. H. and Frank, E. (2005). Data Mining: Practical Machine Learning Tools and Techniques. Morgan Kaufmann, 2nd edition.