Classificação automática de gêneros musicais em bases de letras de músicas em diferentes idiomas utilizando métodos de combinação de classificadores

(1)

C ˆ

AMPUS CORN ´

ELIO PROC ´

OPIO

DIRETORIA DE PESQUISA E P ´

OS-GRADUAC

¸ ˜

AO

PROGRAMA DE P ´

OS-GRADUAC

¸ ˜

AO EM INFORM ´

ATICA

ADRIANO ALVES DE LIMA

CLASSIFICAC

¸ ˜

AO AUTOM ´

ATICA DE G ˆ

ENEROS MUSICAIS EM

BASES DE LETRAS DE M ´

USICAS EM DIFERENTES IDIOMAS

UTILIZANDO M ´

ETODOS DE COMBINAC

¸ ˜

AO DE

CLASSIFICADORES

DISSERTAC

¸ ˜

AO DE MESTRADO

CORN ´ELIO PROC ´OPIO

(2)

CLASSIFICAC

¸ ˜

AO AUTOM ´

ATICA DE G ˆ

ENEROS MUSICAIS EM

BASES DE LETRAS DE M ´

USICAS EM DIFERENTES IDIOMAS

UTILIZANDO M ´

ETODOS DE COMBINAC

¸ ˜

AO DE

CLASSIFICADORES

Dissertação de mestrado apresentada ao Programa de Pós-Graduação em Informática da Universidade Tecnológica Federal do Paraná – UTFPR como re-quisito parcial para a obtenção do t´ıtulo de “Mestre em Informática”.

Orientador: Prof. Dr. Carlos N. Silla Jr.

CORN ´ELIO PROC ´OPIO

(3)

L732 Lima, Adriano Alves de

Classificação automática de gêneros musicais em bases de letras de músicas em diferentes idiomas utilizando métodos de combinação de classificadores / Adriano Alves de Lima. – 2016.

73 f. : il. ; 31 cm

Orientador: Carlos Nascimento Silla Junior.

Dissertação (Mestrado) – Universidade Tecnológica Federal do Paraná. Programa de Pós- Graduação em Informática. Cornélio Procópio, 2016.

Bibliografia: p. 70-73.

1. Classificação. 2. Identidade de gênero na música. 3. Idiomas. 4. Linguística – Processamento de dados. 5. Informática – Dissertações.I. Silla Junior, Carlos Nascimento, orient. II. Universidade Tecnológica Federal do Paraná. Programa de Pós-Graduação em Informática. III. Título.

CDD (22. ed.) 004

(4)

Câmpus Cornélio Procópio

Programa de Pós-Graduação em Informática

Av. Alberto Carazzai, 1640 - 86.300-000- Cornélio Procópio – PR.

Tel. +55 (43) 3520-4055 / e-mail: ppgi-cp@utfpr.edu.br / www.utfpr.edu.br/cornelioprocopio/ppgi Título da Dissertação Nº 15:

“

Classificação Automática de Gêneros Musicais em Bases

de Letras de Músicas em Diferentes Idiomas Utilizando

Métodos de Combinação de Classificadores

”.

por

Adriano Alves de Lima

Orientador: Prof. Dr. Carlos Nascimento Silla Junior

Esta dissertação foi apresentada como requisito parcial à obtenção do grau de MESTRE EM INFORMÁTICA – Área de Concentração: Computação Aplicada, pelo Programa de Pós-Graduação em Informática – PPGI – da Universidade Tecnológica Federal do Paraná – UTFPR – Câmpus Cornélio Procópio, às 08h e 30min do dia 17 de dezembro de 2015. O trabalho foi _aprovado_ pela Banca Examinadora, composta pelos professores:

__________________________________

Prof. Dr. Carlos Nascimento Silla Junior

(Presidente – UTFPR-CP)

__________________________________

Prof. Dr. Danlio Sipoli Sanches

(UTFPR-CP)

_________________________________

Prof. Dr. Emerson Cabrera Paraíso

(PUC-PR)

Visto da coordenação: __________________________________ Carlos Nascimento Silla Junior

Coordenador do Programa de Pós-Graduação em Informática UTFPR Câmpus Cornélio Procópio

(5)

Primeiramente, agradeço a Deus pela benção de chegar a esta fase da vida e estar preparado para muitas outras.

Aos meus pais Wiliam de Alves de Lima e Renilde Ferreira de Lima. Minha amada mãe por seu apoio incondicional e incentivo. E a memória de meu querido pai, que enquanto presente sempre me apoiou e me orientou em minhas decisões.

A minha namorada e parceira de todas as horas, por seu amor, compreens˜ao e ajuda em diversos momentos neste per´ıodo.

Aos meus companheiros de trabalho de Maringá, Londrina e também do Laboratório de Computação e Tecnologia Musical pela companhia, compartilhamento de conhecimento e momentos divertidos.

Agradeço em especial ao meu orientador Carlos Nascimento Silla Junior pela amizade, orientações no desenvolvimento do trabalho e parcerias incontáveis.

A banca examinadora pela atenção dada a esse trabalho e aos demais professores e servidores da Universidade Tecnológica Federal do Paraná, campus Cornélio Procópio e Lon-drina, pelo compartilhamento de conhecimento e ajuda nesta jornada.

Agradeço também aos amigos de turma pela parceria nos trabalhos e também pelos momentos de conversa e troca de experiência.

Por fim, pec¸o desculpas aos demais amigos e pessoas n˜ao citados que me auxiliaram nesta longa caminhada, meus sinceros agradecimentos.

(6)

alma para reconhecer seus erros e fracassos e utiliz´a-los para plantar as mais belas sementes no terreno de sua inteligˆencia.” Augusto Cury

(7)

de LIMA, Adriano Alves. CLASSIFICAÇ ÃO AUTOM ÁTICA DE G ÊNEROS MUSICAIS

EM BASES DE LETRAS DE M ´USICAS EM DIFERENTES IDIOMAS UTILIZANDO M ´ETODOS

DE COMBINAÇ ÃO DE CLASSIFICADORES. 74 f. Dissertação de Mestrado – Programa

de Pós-graduação em Informática, Universidade Tecnológica Federal do Paraná. Cornélio Procópio, 2016.

A classificação automática de gêneros musicais é uma tarefa importante na área de recuperação da informação musical. Para auxiliar esta tarefa diversos recursos lingu´ısticos de processa-mento de linguagem natural vem sendo utilizados em letras de músicas. Isto é importante consi-derando que a classificação baseada em áudio pode ser complementada com caracter´ısticas das letras de músicas para auxiliar na melhoria dos resultados. Este trabalho busca realizar a análise de tais ferramentas de processamento de linguagem natural aplicadas as letras de músicas em diferentes idiomas para a classificação de gêneros musicais. Além disso, foram estudadas ou-tras técnicas para melhorar os resultados da classificação, como por exemplo, combinação de caracter´ısticas por meio de early fusion e late fusion.

Para realizar os experimentos foram criadas três bases de dados com letras de músicas em diversos gêneros nos idiomas Latinos (Português e Espanhol), Nórdicos (Dinamarquês, Noru-eguês e Sueco) e Inglês. Os resultados obtidos demonstram que a combinação das abordagens por meio das técnicas de late fusion através do produto da probabilidade e da técnica de early fusionproporcionaram os melhores resultados na classificação de gêneros musicais utilizando letras de músicas em diferentes idiomas.

Palavras-chave: classificação, gêneros musicais, diferentes idiomas, letras de músicas, early fusion, late fusion

(8)

de LIMA, Adriano Alves. MUSIC GENRE AUTOMATIC CLASSIFICATION IN SONG LY-RICS DATABASE IN DIFFERENT LANGUAGES USING ENSEMBLES CLASSIFIERS METHODS. 74 f. Dissertação de Mestrado – Programa de Pós-graduação em Informática, Universidade Tecnológica Federal do Paraná. Cornélio Procópio, 2016.

The automatic music genre classification is an important area in music information retrieval. For assist this task many languages resources of natural language processing has been used in song lyrics. This is important considering that the classification audio-based might be comple-mented with lyrics features to improve the results. This work analyzes such natural language processing tools employed to song lyrics in different languages for the music genre classi-fication. Furthermore, we studied other techniques to improve the classification results, for example, features combination by mean of early and late fusion methods.

To run the experiments were created three lyrics database in various music genres into the Latin languages (Portuguese and Spanish), Nordic (Danish, Norwegian and Swedish) and En-glish. The results obtained shown that the combination approaches by mean of late fusion with product of the probability and early fusion outperformed the other approaches in music genre classification using song lyrics in different languages.

Keywords: classification, music genres, different languages, song lyrics, early fusion, late fusion

(9)

–

FIGURA 1 Esquema de combinac¸˜ao de caracter´ısticas por early fusion . . . 23 –

FIGURA 2 Esquema de combinac¸˜ao de caracter´ısticas por late fusion usando

pro-babilidade m´axima . . . 24 –

FIGURA 3 Esquema de combinac¸˜ao de caracter´ısticas por late fusion usando soma

das probabilidades . . . 25 –

FIGURA 4 Esquema de combinac¸˜ao de caracter´ısticas por late fusion usando

pro-duto das probabilidades . . . 26 –

FIGURA 5 Nuvem de palavras para o gˆenero dance da NLD . . . 31 –

FIGURA 6 Nuvem de palavras para o gˆenero pop rock da NLD . . . 31 –

FIGURA 7 Nuvem de palavras para o gˆenero rap da NLD . . . 31 –

FIGURA 8 Nuvem de palavras para o gˆenero pop da NLD . . . 32 –

FIGURA 9 Nuvem de palavras para o gˆenero rock da NLD . . . 32 –

FIGURA 10 Nuvem de palavras para o gˆenero ax´e da LMLD . . . 33 –

FIGURA 11 Nuvem de palavras para o gˆenero bachata da LMLD . . . 33 –

FIGURA 12 Nuvem de palavras para o gˆenero bolero da LMLD . . . 33 –

FIGURA 13 Nuvem de palavras para o gˆenero pagode da LMLD . . . 34 –

FIGURA 14 Nuvem de palavras para o gˆenero forr´o da LMLD . . . 34 –

FIGURA 15 Nuvem de palavras para o gˆenero ga´ucha da LMLD . . . 34 –

FIGURA 16 Nuvem de palavras para o gˆenero merengue da LMLD . . . 35 –

FIGURA 17 Nuvem de palavras para o gˆenero salsa da LMLD . . . 35 –

FIGURA 18 Nuvem de palavras para o gˆenero sertaneja da LMLD . . . 35 –

FIGURA 19 Nuvem de palavras para o gˆenero tango da LMLD . . . 36 –

FIGURA 20 Nuvem de palavras para o gˆenero blues da LGTZAN . . . 37 –

FIGURA 21 Nuvem de palavras para o gˆenero country da LGTZAN . . . 37 –

FIGURA 22 Nuvem de palavras para o gˆenero disco da LGTZAN . . . 37 –

FIGURA 23 Nuvem de palavras para o gˆenero hip hop da LGTZAN . . . 38 –

FIGURA 24 Nuvem de palavras para o gˆenero metal da LGTZAN . . . 38 –

FIGURA 25 Nuvem de palavras para o gˆenero pop da LGTZAN . . . 38 –

FIGURA 26 Nuvem de palavras para o gˆenero rock da LGTZAN . . . 39 –

FIGURA 27 Nuvem de palavras para o gˆenero reggae da LGTZAN . . . 39 –

(10)

–

TABELA 1 Caracter´ısticas estil´ısticas . . . 20 –

TABELA 2 Resumo dos trabalhos relacionados . . . 29 –

TABELA 3 Número de atributos para cada representação sem e com remoção de

stopwordspara cada base de dados de letras de m´usicas. . . 40 –

TABELA 4 Mapeamento de caracteres especiais para os idiomas N´ordicos . . . 41

–

TABELA 5 Resultados para cada base de dados individualmente . . . 43 –

TABELA 6 Resultados para os m´etodos early e late fusion na LGTZAN . . . 46

–

TABELA 7 Resultados para os m´etodos early e late fusion na LMLD . . . 51 –

TABELA 8 Resultados para os m´etodos early e late fusion na NLD . . . 55 –

TABELA 9 Resultados para os m´etodos early e late fusion na JLD . . . 59 –

(11)

BOW Bag Of Words

ELF Ethnic Lyrics Fetcher

JLD Joint Lyrics Database

LGTZAN Lyrics GTZAN

LMD Latin Music Database

LMLD Latin Music Lyrics Database

MIR Music Information Retrieval

MIREX Music Information REtrieval eXchange

NLD Nordic Lyrics Database

PLN Processamento de Linguagem Natural

POS Part-Of-Speech

SMO Sequential Minimal Optimization

SSD Statistical Spectrum Descriptors

SVM Support Vector Machines

SWR Stopwords Removal

(12)

T F Frequˆencia do termo em um documento

nD N´umero de documentos utilizados

nDF Número de documentos onde ocorre a representação do termo

V p Verdadeiro positivo

F p Falso positivo

Fn Falso negativo

Z Instˆancia para ser classificada

m Quantidade de classes poss´ıveis

R Modelos de representac¸˜oes

xi I-´esimo classificador x

(13)

1 INTRODUÇ ÃO . . . 12 1.1 CONTEXTUALIZAÇ ÃO . . . 12 1.2 MOTIVAÇ ÃO E JUSTIFICATIVA . . . 12 1.3 HIP ÓTESE . . . 13 1.4 OBJETIVOS . . . 13 1.4.1 Objetivos Espec´ıficos . . . 14 1.5 ORGANIZAÇ ÃO DO DOCUMENTO . . . 14 2 PROBLEMA . . . 15 3 REFERENCIAL TE ÓRICO . . . 17 3.1 MINERAÇ ÃO DE TEXTOS . . . 17 3.1.1 Remoção de stopwords . . . 17 3.1.2 Stemming . . . 18 3.1.3 Caracteres n-gramas . . . 18 3.1.4 TF-IDF . . . 18

3.1.5 Caracter´ısticas estil´ısticas de texto . . . 19

3.2 APRENDIZADO SUPERVISIONADO . . . 19

3.2.1 Classificador SVM . . . 20

3.2.2 Métodos para a avaliação de modelos . . . 21

3.2.2.1 Validac¸˜ao cruzada . . . 21

3.2.2.2 Métricas para avaliação de resultados . . . 22

3.3 COMBINAC¸ ˜AO DE CLASSIFICADORES . . . 22

3.3.1 Early Fusion . . . 22

3.3.2 Late Fusion . . . 23

3.3.2.1 Probabilidade M´axima . . . 24

3.3.2.2 Soma das Probabilidades . . . 25

3.3.2.3 Produto das Probabilidades . . . 25

3.4 TRABALHOS RELACIONADOS . . . 26

4 METODOLOGIA . . . 30

4.1 CRIAC¸ ˜AO DAS BASES DE DADOS . . . 30

4.1.1 Nordic Lyrics Database . . . 30

4.1.2 Latin Music Lyrics Database . . . 32

4.1.3 Lyrics GTZAN Database . . . 36

4.1.4 Joint Lyrics Database . . . 39

4.1.5 Detalhes das bases de dados . . . 39

4.2 PROCESSAMENTO DE LETRAS DE M ´USICAS . . . 40

4.2.1 Detecc¸˜ao de idiomas . . . 41

4.2.2 Pr´e-processamento . . . 41

4.2.3 Stoplists utilizadas . . . 42

(14)

TOS COMPUTACIONAIS . . . 43

5.1 RESULTADOS PARA ABORDAGENS SEM COMBINAC¸ ˜AO (NO FUSION) . . . . 43

5.1.1 Qual representac¸˜ao usar? . . . 44

5.1.2 Qual ´e o impacto das stopwords? . . . 44

5.2 AVALIAÇ ÃO E DISCUSS ÃO GLOBAL DOS RESULTADOS . . . 45

6 EXPERIMENTOS COMPUTACIONAIS . . . 46

6.1 RESULTADOS PARA A COMBINAÇ ÃO DE CLASSIFICADORES NA LGTZAN 46 6.1.1 Combinando N-Gramas com Representações Stemming . . . 48

6.1.2 Combinando N-Gramas com Caracter´ısticas Estil´ısticas . . . 49

6.1.3 Combinando N-Gramas, Stemming e Caracter´ısticas Estil´ısticas . . . 49

6.1.4 Outras Combinac¸˜oes . . . 50

6.2 RESULTADOS PARA A COMBINAC¸ ˜AO DE CLASSIFICADORES NA LMLD . . 51

6.2.1 Combinando Representac¸˜oes N-Gramas com Stemming . . . 52

6.3 RESULTADOS PARA A COMBINAC¸ ˜AO DE CLASSIFICADORES NA NLD . . . . 55

6.3.1 Combinando as Representac¸˜oes N-Gramas com Stemming . . . 57

6.4 RESULTADOS PARA A COMBINAC¸ ˜AO DE CLASSIFICADORES NA JLD . . . . 59

6.4.1 Combinando N-Gramas com Representac¸˜oes Stemming . . . 61

6.5 AVALIAÇ ÃO E DISCUSS ÃO GLOBAL DOS RESULTADOS . . . 63

6.5.1 Avaliac¸˜ao dos Resultados . . . 64

6.5.2 Teste Friedman e Nemenyi . . . 64

6.5.3 An´alise dos Testes Estat´ısticos . . . 65

7 CONCLUS ˜OES . . . 67

(15)

1 INTRODUC¸ ˜AO

1.1 CONTEXTUALIZAC¸ ˜AO

O estudo das tecnologias musicais tem sido um campo importante em muitas áreas de pesquisa, como por exemplo, em Music Information Retrieval (MIR), na qual as pesquisas comumente são direcionadas a recuperação por similaridade musical, classificação de gêneros musicais ou análise de músicas e representação do conhecimento (ORIO, 2006). Em diver-sos trabalhos (NEUMAYER; RAUBER, 2007; MAYER et al., 2008a, 2008b; MAYER; NEU-MAYER, 2009; MAYER; RAUBER, 2010, 2011) foi demonstrado que as letras de músicas são relevantes para auxiliar ou substituir outras abordagens na tarefa de classificação de gêneros musicais. Além disso, as letras de músicas também foram utilizadas para melhorar o reconheci-mento de emoção em músicas (HU et al., 2009, 2009; HU; DOWNIE, 2010a, 2010b). Levando em consideração que a música está presente em diferentes pa´ıses e culturas, naturalmente as letras das músicas são escritas em diferentes idiomas. Entretanto a maioria dos trabalhos de-senvolvidos utilizam apenas letras de músicas em inglês. Mais ainda, de acordo com (SILLA JR. et al., 2010; ZAANEN; KANTERS, 2010) o uso de letras de músicas geralmente depende de ferramentas de Processamento de Linguagem Natural (PLN) que muitas vezes não estão dispon´ıveis para músicas de outros idiomas, como por exemplo, Part-Of-Speech (POS).

1.2 MOTIVAC¸ ˜AO E JUSTIFICATIVA

A análise e desenvolvimento de técnicas para a classificação automática de gêneros musicais utilizando letras de músicas em diferentes idiomas são necessários devido ao au-mento exponencial de dados musicais nos últimos anos (ORIO, 2006; NEUMAYER; RAU-BER, 2007). Além disso, em Bibliotecas de Músicas Digitais é comum usar gêneros musicais para organizar as coleções de músicas. Para os usuários finais dos sistemas a navegação e busca através de gêneros musicais é mais significante do que recomendações ou similaridade por

(16)

artis-tas ou músicas de acordo com (LEE; DOWNIE, 2004). Mais ainda, a classificação automática de gêneros musicais é também importante para aplicações comerciais, tais como: Super Player e Pandora (MCKAY; FUJINAGA, 2006; ORIO, 2006). Isto se deve ao fato do gênero musical ser uma categoria e/ou conceito popular para a classificação das músicas, independentemente da razão, propósito ou critério (FABBRI, 1999a).

O estado da arte não contempla estudos voltados para a classificação de gêneros musi-cais utilizando letras de músicas em diferentes idiomas, sendo, portanto, focados em letras no idioma Inglês (MAYER et al., 2008a, 2008b; MCKAY et al., 2010; MAYER; RAUBER, 2011; FELL; SPORLEDER, 2014). Esse trabalho abrange a análise de técnicas de classificação uti-lizando recursos dependentes e independentes de idiomas aplicadas as letras de músicas em diferentes idiomas, além das combinações destas técnicas visando a melhoria da performance de classificação (SILLA JR.; FREITAS, 2009, 2011). As combinações foram feitas por meio das técnicas early e late fusion. A combinação por early fusion realiza a junção das carac-ter´ısticas unimodais antes da etapa de aprendizado de máquina. Em contra partida, os métodos baseados em late fusion realizam a combinação de caracter´ısticas ou sa´ıdas dos classificado-res posteriormente a etapa de aprendizado de máquina (SNOEK et al., 2005). Para avaliar as técnicas houve a necessidade de desenvolver três bases de letras de músicas em diferentes gêneros e idiomas, além da junção destas para verificar se os resultados obtidos nas bases in-dividualmente podem ser escalados para bases de dados com maior complexidade através da variação de idiomas e gêneros musicais.

1.3 HIP ´OTESE

A hipótese que conduzirá o desenvolvimento deste trabalho é a que se segue: O uso de técnicas de combinação de classificadores leva a melhores taxas no reconhecimento de gêneros utilizando letras de músicas.

1.4 OBJETIVOS

Esse trabalho tem como objetivo principal a análise de técnicas de PLN para a classificação de gêneros musicais utilizando letras de músicas em diferentes idiomas e a avaliação destas técnicas combinadas.

(17)

1.4.1 OBJETIVOS ESPEC´IFICOS

• Analisar as técnicas de combinação de early fusion e late fusion.

• Desenvolver novas bases de letras de músicas em diferentes idiomas e gêneros. • Avaliar os métodos de combinação.

1.5 ORGANIZAC¸ ˜AO DO DOCUMENTO

Esse trabalho está divido em 7 cap´ıtulos. Além do cap´ıtulo inicial de introdução do trabalho que esclarece a contextualização, motivação e justificativa, objetivos e organização do documento, os demais cap´ıtulos são os seguintes:

• Problema: neste cap´ıtulo é apresentado de forma detalhada qual o problema central desse trabalho. Este cap´ıtulo se faz necessário para apresentar o estado da arte em classificação de gêneros musicais utilizando letras de músicas e também para esclare-cer de forma detalhada os termos importantes para compreensão do trabalho.

• Referencial Teórico: neste cap´ıtulo são apresentados os métodos que serão utilizados para realização do trabalho.

• Metodologia: neste cap´ıtulo são apresentados os protocolos experimentais utilizados. Sendo eles: criação das bases de dados, processamento de letras de músicas e interpreta-ção e avaliainterpreta-ção dos resultados.

• Resultados sem Combinação: neste cap´ıtulo são apresentados os experimentos realiza-dos com as representações individualmente nesse trabalho.

• Experimentos Computacionais: neste cap´ıtulo são apresentados os experimentos rea-lizados com as representações combinadas. Para cada experimento realizado é apresen-tado: a combinação dos dados utilizados, as técnicas testadas, os resultados obtidos, e a interpretação e análise dos resultados.

• Considerações Finais: neste cap´ıtulo são apresentadas as considerações finais do traba-lho realizado e os trabatraba-lhos futuros.

(18)

2 PROBLEMA

A classificação automática de gêneros musicais é uma tarefa importante conside-rando o crescimento cont´ınuo dos dados musicais nos últimos anos (algumas Bibliotecas de Músicas Digitais possuem milhões de músicas) e também pela popularidade dos gêneros para a categorização das músicas (FABBRI, 1999a; LEE; DOWNIE, 2004; ORIO, 2006; MCKAY; FUJINAGA, 2006; NEUMAYER; RAUBER, 2007). Para a tarefa de classificação automática de gêneros musicais é poss´ıvel usar dados culturais (WHITMAN; SMARAGDIS, 2002), áudio (LI et al., 2003; SCARINGELLA et al., 2006; FU et al., 2011; SILLA JR. et al., 2010) e/ou letras de músicas (FELL; SPORLEDER, 2014). Esse trabalho foca na classificação automática de gêneros musicais utilizando letras de músicas, mas com potencial para auxiliar e em al-guns casos melhorar os resultados da classificação de gêneros musicais utilizando áudio, tendo em vista que o uso de áudio isoladamente atingiu um “limite” (“glass ceiling”) (PACHET; AUCOUTURIER, 2004), podendo inclusive ser utilizada individualmente (MAYER et al., 2008a, 2008b; MAYER; NEUMAYER, 2009; MAYER; RAUBER, 2010, 2011). As letras de músicas possuem estrutura e vocabulário diferentes de textos comuns, desta forma as técnicas padrões utilizadas na classificação de texto não necessariamente obtém os mesmos resultados na classificação de gêneros musicais utilizando letras de músicas. Além disso, as ferramentas PLN são desenvolvidas majoritariamente para o idioma Inglês (MAYER et al., 2008a, 2008b; MCKAY et al., 2010; MAYER; RAUBER, 2011; FELL; SPORLEDER, 2014).

Como as técnicas de PLN são desenvolvidas tendo como foco principal o idioma Inglês, muitas vezes a aplicação de tais técnicas em outros idiomas se torna inviável, pois cada idioma tem estrutura e vocabulário espec´ıficos. Note que a motivação para aplicação de técnicas em diversos idiomas é relevante, pois a música é um fenômeno global e está presente em diversos pa´ıses e culturas.

Além dos trabalhos da literatura focarem principalmente no desenvolvimento de técni-cas para o idioma Inglês (MAYER et al., 2008a, 2008b; MCKAY et al., 2010; MAYER;

(19)

RAUBER, 2011; FELL; SPORLEDER, 2014), muitas vezes estas técnicas são exclusivamente dependentes de idioma. Desta forma, as técnicas desenvolvidas acabam considerando carac-ter´ısticas exclusivas do idioma em questão, como por exemplo, g´ırias e estruturas ortográficas. Neste contexto, torna-se dif´ıcil inclusive adaptar o uso para outros idiomas.

(20)

3 REFERENCIAL TE ´ORICO

Neste cap´ıtulo são abordadas as ferramentas, técnicas e recursos utilizados para a mineração de texto conforme a Seção 3.1. Na Seção 3.2 são apresentados os algoritmos e métricas de avaliação utilizados no aprendizado supervisionado de máquina. Na Seção 3.3 são apresentadas as técnicas de combinação de classificadores: early e late fusion. Na Seção 3.4 são apresentados os trabalhos relacionados com classificação automática de gêneros musicais utilizando letras de músicas.

3.1 MINERAC¸ ˜AO DE TEXTOS

A Mineração de Textos é uma área da inteligência artificial cujo objetivo é o desenvol-vimento de técnicas computacionais sobre o aprendizado e também a construção de sistemas inteligentes capazes de obter conhecimento de forma automática em grandes quantidades de dados (MONARD; BARANAUSKAS, 2003; LAROSE, 2014). Nesta seção são apresentadas algumas das técnicas comumente utilizadas em Mineração de Textos para extrair caracter´ısticas e padronizar os dados: Na Seção 3.1.1 é apresentado o processo de remoção de stopwords; A técnica stemming é apresentada na Seção 3.1.2; Uma abordagem alternativa são os n-gramas apresentados na Seção 3.1.3; O TF-IDF é utilizado em conjunto com as abordagens anteriores para se obter a importância das palavras, o qual é apresentado na Seção 3.1.4; por fim, na Seção 3.1.5 são apresentadas as caracter´ısticas estil´ısticas.

3.1.1 REMOC¸ ˜AO DE STOPWORDS

As stopwords são palavras comuns (por exemplo, artigos e preposições) que carregam pouco significado semântico para o texto. Estas palavras irrelevantes são inclu´ıdas em uma lista pré-definida chamada “lista de stopwords” ou “stoplist”.

(21)

3.1.2 STEMMING

A técnica stemming é utilizada para obter o radical de todas as palavras a partir de um conjunto de textos. Por exemplo, dadas as palavras “computing” e “computer” em Inglês, o resultado do algoritmo de stemming poderia ser “comput” (PORTER, 1980). Sebastiani (SE-BASTIANI, 2002) mostra que esta técnica é largamente utilizada no dom´ınio de classificação de textos com o objetivo de reduzir a dimensionalidade. Este também é um procedimento muito rápido. É importante ressaltar que os algoritmos de “stemming” são dependentes de linguagem e, portanto podem não estar dispon´ıveis para alguns idiomas (WU; SALTON, 1981).

3.1.3 CARACTERES N-GRAMAS

Esta técnica transforma palavras em n-gramas. Um n-grama é uma sequência de n caracteres (adicionando o caractere especial “ ” para denotar o in´ıcio e o final da palavra), por exemplo, dado o termo “text”: para n = 2, os atributos representativos poderiam ser “ t”, “te”, “ex”, “xt” e “t ”; para n = 3, “ te”, “tex”, “ext” e “xt ”; e para n = 4, “ tex”, “text” e “ext ” (CAVNAR; TRENKLE, 1994). Note que a abordagem por caracteres n-gramas é ligeiramente diferente das word gramas, as quais são palavras utilizadas em conjunto para formar os n-gramas. Por exemplo, na abordagem por word n-gramas com n = 2, o texto “mineração de texto em classificação de gêneros musicais” gera os seguintes atributos: “mineração de”, “de texto”, “texto em”, “em classificação”, “classificação de”, “de gêneros” e “gêneros musicais”.

´

E importante ressaltar que as word n-gramas s˜ao utilizadas em idiomas orientais devido a difi-culdade de se separar palavras em letras em tais idiomas (HU et al., 2009).

Em casos distintos de idiomas esta técnica é geralmente utilizada quando os idiomas tem um radical comum. Desta forma, a variação de algumas palavras não influenciam os ra-dicais que são comuns entre os idiomas. Portanto, esta abordagem permite inferir morfemas dividindo a palavra em uma sequência de tamanho fixo, n, a qual é pré definida de acordo com o contexto da aplicação. Note que os n-gramas gerados são únicos, portanto, não há repetição nas caracter´ısticas geradas.

3.1.4 TF-IDF

Existem muitos m´etodos para calcular o peso de cada termo (por exemplo, Weighted

Inverse Document Frequency(TOKUNAGA; MAKOTO, 1994) e Relevˆancia do Termo (WU;

(22)

BUC-KLEY, 1988). A vantagem do TF-IDF é o trade-off entre quanto um termo ocorre (frequência do termo) e em quantos documentos o termo ocorre. Significando que um termo que ocorre frequentemente em um dado documento pode ser importante, mas somente se este não ocorrer em todos os outros documentos. A fórmula para computar o TF-IDF é apresentada na Equação (1).

T FIDF= T F × log nD

nDF (1)

onde:

• T F é a frequência de um termo no documento, em outras palavras, o número de vezes que o termo ocorre em um documento;

• nD ´e o n´umero de documentos utilizados;

• nDF é o número de documentos onde ocorre a representação do termo;

3.1.5 CARACTER´ISTICAS ESTIL´ISTICAS DE TEXTO

A utilização das caracter´ısticas estil´ısticas de texto para a classificação de gêneros musicais baseada em letras de músicas foi originalmente proposta no trabalho de (MAYER et al., 2008b). No trabalho de (MAYER et al., 2008b) eles propuseram contagens simples de pontuações especiais (por exemplo, “!”, “-”, “?”), ocorrência de d´ıgitos, palavras e palavras únicas por linha, taxa de palavras únicas, caracteres por palavra e palavras por linha. A principal motivação de utilizar as caracter´ısticas estil´ısticas é captar as “palavras de interjeição” nas letras de músicas, pontuações especiais e computar estat´ısticas simples de texto. Posteriormente, estas caracter´ısticas estil´ısticas de texto foram complementadas com novas métricas propostas (conforme Tabela 1) para a tarefa de classificação de emoções baseada em letras de músicas (HU; DOWNIE, 2010a). A utilização das caracter´ısticas estil´ısticas de texto para a classificação de gêneros musicais baseada em letras de músicas foi originalmente proposta no trabalho de (MAYER et al., 2008b).

3.2 APRENDIZADO SUPERVISIONADO

De acordo com (MONARD; BARANAUSKAS, 2003) um algoritmo baseado no apre-ndizado supervisionado, recebe um conjunto de exemplos de treinamento. Geralmente esses

(23)

Tabela 1: Caracter´ısticas estil´ısticas

Caracter´ıstica Definic¸˜ao

palavras de interjeic¸˜ao freq. normal. “ja”, “hejsan”, “yo”, “uh”, “ah”, “aj”,

“yeah”, “hej”, “vad”, “oj”, “hey”, “hei”, “ooh”

pontuações especiais frequência normalizada de “!”, “:”, “?”, “-”, “;”

N ÚMERO frequência normalizada dos números

N´umero de palavras n´umero total de palavras

Número de palavras únicas número total de palavras únicas

taxaDePalavrasRepetidas (Node palav. - Node palav. ´unicas) / Node palav.

Média de tamanho da palavra número médio de caracteres por palavra

N´umero de linhas n´umero total de linhas

Número de linhas únicas número total de linhas únicas

N´umero de linhas em branco n´umero de linhas em branco

taxaDeLinhasEmBranco Node linhas em branco / Node linhas

m´ediaDeTamanhoDeLinhas Node palavras / Node linhas

desvioPadraoDoTamanhoDaLinha desvio padr˜ao do n´umero de palavras por linha

palavras ´UnicasPorLinha Node palavras ´unicas / Node linhas

taxaDeLinhaRepetida (Node linhas - Node linhas ´unicas) / Node linhas

taxaM´ediaDePalavraRepetidaPorLinha taxa m´edia de palavra repetida por linha

taxaDesvPadraoPalavRepetPorLinha taxa de desvio padr˜ao de palavra repetida por linha

Fonte: Adaptado de (HU; DOWNIE, 2010a)

exemplos são compostos por um vetor de caracter´ısticas e o rótulo da classe associada. Nesse caso, o objetivo do algoritmo é construir um classificador, com base nas amostras de exemplo, que seja capaz de rotular uma nova amostra sem rótulo que seja inserida posteriormente. Em s´ıntese, esse tipo de aprendizado é utilizado quando as classes já são conhecidas pelo usuário. Na seção 3.2.1 é apresentado o classificador supervisionado Support Vector Machines (SVM) e na seção 3.2.2 são apresentados os procedimentos utilizados para avaliar os resultados obtidos pelo SVM.

3.2.1 CLASSIFICADOR SVM

O SVM é um algoritmo de aprendizado supervisionado de máquina que utiliza hiper-planos para separar duas classes através do mapeamento dos exemplos de treinamento (BUR-GES, 1998). Com o objetivo de classificar múltiplas classes foi utilizado o algoritmo1

Se-quential Minimal Optimization (SMO) para o treinamento com os parˆametros padr˜oes e as

caracter´ısticas normalizadas (PLATT, 1999).

(24)

O treinamento de um SVM requer a solução de um problema de otimização de progra-mação quadrática (PLATT, 1999). O SMO divide este problema de prograprogra-mação quadrática em uma série de problemas menores. Estes problemas de programação quadrática menores são resolvidos analiticamente usando otimização numérica em repetições internas. A quantidade de memória necessária para o SMO é linear no conjunto de treinamento, a qual permite ao SMO manipular grandes conjuntos. Desta forma, o SMO é mais rápido do que o SVM para conjuntos de dados lineares e esparsos.

Em (DHANARAJ; LOGAN, 2005) foi demonstrado que os SVMs apresentam três principais vantagens: não requer um ajuste complexo dos parâmetros, pode generalizar pe-quenos conjuntos e são adequados para o aprendizado em espaços com alta dimensionalidade. Além disso, o classificador SVM tem recebido atenção em MIR principalmente pelo desem-penho e melhores resultados comparado a outros classificadores padrões como Árvores de De-cisão, K-Vizinhos Mais Próximos e Random Forests (LAURIER et al., 2008). Entre outros artigos que usaram o SVM e outras derivações para a tarefa de classificação de gêneros musi-cais estão (MAYER et al., 2008a, 2008b; MAYER; NEUMAYER, 2009; MAYER; RAUBER, 2010, 2011), portanto, optou-se por utilizar o SVM como classificador devido a maioria dos tra-balhos de classificação de gêneros musicais utilizando letras de músicas obterem os melhores resultados através do SVM, devido a sua capacidade de lidar com espaços de dimensionalidade em grande escala.

3.2.2 M ÉTODOS PARA A AVALIAÇ ÃO DE MODELOS

3.2.2.1 VALIDAC¸ ˜AO CRUZADA

De acordo com (MONARD; BARANAUSKAS, 2003; LAROSE, 2014) este é um tipo de abordagem baseada em amostragem. A validação cruzada divide aleatoriamente o conjunto de dados em r partições mutuamente exclusivas. Essas partições possuem tamanho aproxima-damente igual a n/r amostras. Os exemplos nas partições (r −1) são utilizados para treinamento e a hipótese é testada na partição remanescente. Este processo é repetido r vezes, cada uma considerando uma partição diferente para teste. O erro é estimado por meio da média dos erros calculados em cada uma das r partições.

(25)

3.2.2.2 M ÉTRICAS PARA AVALIAÇ ÃO DE RESULTADOS

Para avaliar o desempenho da classificação podem ser utilizadas as seguintes métricas: precisão, que calcula a porcentagem de amostras positivas classificadas corretamente sobre o total de amostras classificadas como positivas (Equação 2); sensitividade, a qual retorna a por-centagem de amostras positivas classificadas corretamente sobre o total de amostras positivas (cobertura conforme Equação 3); e f-measure, também chamada de f-score, é a média

pon-derada de precisão e sensitividade (Equação 4) (KOHAVI; PROVOST, 1998). V pindica o

número de exemplos positivos da classe que foram previstos corretamente, F p refere-se ao número de exemplos positivos da classe que foram classificados incorretamente e Fn que in-dica o número de exemplos negativos da classe que foram previstos incorretamente.

Precisao˜ = V p

V p+ F p (2)

Cobertura= V p

V p+ Fn (3)

F-measure= 2.Precisao˜ ×Cobertura

Precisao˜ +Cobertura (4)

3.3 COMBINAC¸ ˜AO DE CLASSIFICADORES

Neste trabaho foram feitas diversas combinações das representações individuais para verificar se a fusão dos métodos melhora os resultados da classificação. Estas combinações foram feitas utilizando os métodos early fusion (Seção 3.3.1) e late fusion (Seção 3.3.2).

3.3.1 EARLY FUSION

A Figura 1 ilustra a técnica early fusion. De acordo com (SNOEK et al., 2005) early fusion é o esquema de fusão que integra caracter´ısticas unimodais antes da etapa de aprendi-zado. Desta forma, abordagens de indexação que são baseadas em early fusion primeiramente extraem as caracter´ısticas unimodais. Depois da análise de várias caracter´ısticias de texto, as caracter´ısticas extra´ıdas são combinadas em uma representação simples. Após a combinação das caracter´ısticas unimodais de texto em uma representaçao multimodal, os métodos early fu-sioniniciam o aprendizado supervisionado para classificar baseado nos conceitos semânticos.

(26)

Figura 1: Esquema de combinac¸˜ao de caracter´ısticas por early fusion.

Fonte: Autoria pr´opria

Uma vantagem adicional é a necessidade de uma fase de aprendizado apenas. A desvantagem desta abordagem é a dificuldade para combinar caracter´ısticas em uma representação comum. A técnica de early fusion foi previamente aplicada em (SNOEK et al., 2005; LIMA et al., 2014).

3.3.2 LATE FUSION

De acordo com (SNOEK et al., 2005) late fusion é um esquema de fusão que reduz as caracter´ısticas unimodais para realizarem o aprendizado separadamente, posteriormente in-tegrando as sa´ıdas. Desta forma, abordagens de indexação que são baseadas em late fusion também iniciam com a extração das caracter´ısticas unimodais. Em contraste com early fusion, onde as caracter´ısticas são combinadas em representação multimodal, abordagens baseadas em late fusionrealizam o aprendizado a partir das caracter´ısticas unimodais. Em geral, esquemas late fusioncombinam as sa´ıdas dos classificadores unimodais em uma representação multimo-dal.

Late Fusionfoca nas caracter´ısticas individuais de cada modalidade. As sa´ıdas unimo-dais são fundidas em uma representação semântica multimodal. Uma grande desvantagem de esquemas late fusion é a performance que acaba sendo comprometida, pois muitas modalidades requerem um estágio de aprendizado supervisionado separadamente. Outra desvantagem das abordagens late fusion é a potencial perca de correlação no espaço de caracter´ısticas mixada.

O uso da combinação de classificadores (uma forma de uso dos métodos late fusion) tem por objetivo melhorar a performance de classificação através da complementariedade das sa´ıdas dos classificadores. Neste trabalho foram usados 3 métodos de combinação de

(27)

classifica-dores, sendo estes os mais comuns encontrados na literatura: probabilidade máxima, soma das probabilidades e produto da probabilidade (KITTLER et al., 1998). Neste sentido, foi usada uma abordagem similar na qual é poss´ıvel usar um classificador com diferentes representações combinando as sa´ıdas (para cada representação é gerado um modelo de treinamento). Esta abordagem é conhecida também como late fusion (XU et al., 1992; HO et al., 1994).

3.3.2.1 PROBABILIDADE M ´AXIMA

A partir das probabilidades obtidas de cada classificador é realizado o procedimento para encontrar uma classe com a maior probabilidade entre as representações sendo esta a sa´ıda gerada da combinação de classificadores. A definição formal apresentada na Equação (5) é baseada em (KITTLER et al., 1998):

classi f ique Z→ wj se

P(wj|x1, ..., xR) = max

k P(wk|xk, ..., xR),

(5)

onde Z ´e uma instˆancia para ser classificada em uma das m classes poss´ıveis (w1, ...,

wm). Assuma que R classificadores (neste caso R representa modelos de representac¸˜oes)

de-nota um vetor usado pelo ith classificador xi. A Figura 2 ilustra a t´ecnica late fusion usando

probabilidade m´axima.

Figura 2: Esquema de combinação de caracter´ısticas por late fusion usando proba-bilidade máxima.

(28)

3.3.2.2 SOMA DAS PROBABILIDADES

Este método faz a soma da probabilidade de cada rótulo obtido pelos classificadores e seleciona a classe com o valor mais alto. Desta forma, cada classificador auxilia individual-mente a sa´ıda da classificação e colabora para uma decisão consensual tornando a classificação mais consistente com a melhoria da acurácia. Seguindo as definições em (KITTLER et al., 1998) a equação (6) demonstra as definições formais para obter a sa´ıda do método da soma da probabilidade. A Figura 3 ilustra a técnica late fusion usando soma das probabilidades.

classi f ique Z→ w_j se P(wj) + R

∑

i=1 P(wj|xi) = m max k=1 " P(wk) + R

∑

i=1 P(wk|xi) # (6)

w_m). Assuma que R classificadores (neste caso R representa modelos de representac¸˜oes) denota um vetor usado pelo ith classificador xi.

Figura 3: Esquema de combinac¸˜ao de caracter´ısticas por late fusion usando soma das probabilidades.

3.3.2.3 PRODUTO DAS PROBABILIDADES

A decisão baseada no produto da probabilidade é realizada pela multiplicação entre as probabilidades das classes retornada de cada representação ou classificador. Então, é selecio-nada a classe com o valor mais alto. Esta abordagem considera que as representações usadas

(29)

são condicionalmente independentes. Seguindo as definições em (KITTLER et al., 1998) a Equação (7) demonstra as definições formais para obter a sa´ıda do método do produto da pro-babilidade. A Figura 4 ilustra a técnica late fusion usando o produto das probabilidades.

classi f ique Z→ wj se P(wj) + R

∏

i=1 P(wj|xi) = m max k=1 P(wk) + R

∏

i=1 P(w_k|xi) (7)

wm). Assuma que R classificadores (neste caso R representa modelos de representac¸˜oes) denota

um vetor usado pelo ith classificador xi.

Figura 4: Esquema de combinac¸˜ao de caracter´ısticas por late fusion usando pro-duto das probabilidades.

3.4 TRABALHOS RELACIONADOS

No trabalho de (MAYER et al., 2008b) os autores propuseram o uso de caracter´ısticas de rimas, estil´ısticas e Part-Of-Speech (POS) que é uma técnica de categorização de palavras com propriedades gramaticais similares. Além disso, em (MAYER et al., 2008b) foi proposta a combinação dessas caracter´ısticas com a abordagem de Bag Of Words (BOW) ponderadas com Term Frequency Inverse Document Frequency (TF-IDF) para a tarefa de classificação de gêneros musicais baseada em letras de músicas. Nos experimentos de (MAYER et al., 2008b) foi utilizada uma base de dados com 397 letras de músicas em Inglês distribu´ıdas em 10 gêneros musicais (Country: 29, Folk: 44, Grunge: 40, Hip Hop: 41, Metal: 46, Pop: 42, Punk Rock:

(30)

40, R&B: 40, Reggae: 33, Slow Rock: 42). O melhor resultado obtido nos experimentos de (MAYER et al., 2008b) foi utilizando o classificador SVM com um vetor combinado das carac-ter´ısticas de rimas e estil´ısticas com POS. Eles também reportaram bons resultados utilizando as caracter´ısticas estil´ısticas isoladamente. Porém, neste trabalho foram utilizadas técnicas es-pec´ıficas de idioma, como por exemplo, as caracter´ısticas de rimas, as quais são dependentes de idioma. Além disso, os autores utilizaram uma base de dados exclusivamente com letras de músicas em Inglês, sendo que não necessariamente poderão ser obtidos os mesmos resultados em bases de dados com letras em outros idiomas.

No trabalho de (MAYER et al., 2008a) os autores propuseram combinar as ter´ısticas de rimas e estil´ısticas desenvolvidas anteriormente (baseadas em letras) com carac-ter´ısticas padrões baseadas em áudio para a tarefa de classificação de gêneros musicais. Nos experimentos de (MAYER et al., 2008a) foram empregadas duas bases de dados. A primeira base de dados (collection 600) tem 600 músicas uniformemente distribu´ıdas entre 10 gêneros musicais. A segunda base de dados (collection 3010) tem 3.010 músicas dos mesmos gêneros musicais, mas com a seguinte distribuição: Country: 227, Folk: 179, Grunge: 181, Hip Hop: 381, Metal: 371, Pop: 371, Punk Rock: 374, R&B: 373, Reggae: 181, Slow Rock: 372. Nos experimentos de (MAYER et al., 2008a), o melhor resultado para a primeira base de dados (collection 600) foi obtido com o classificador SVM usando caracter´ısticas de áudio conheci-das como Statistical Spectrum Descriptors (SSD) em combinação com as caracter´ısticas es-til´ısticas de texto e POS (extra´ıdas de letras) através da técnica de early fusion. Para a segunda base de dados (collection 3010) o melhor resultado foi também obtido pelo uso de SSD em combinação com caracter´ısticas estil´ısticas de texto e POS através da técnica de early fusion.

A mesma abordagem usada em (MAYER et al., 2008a) foi estendida (MAYER; NEU-MAYER, 2009) para lidar com uma base de dados de 20.109 músicas com 14 gêneros musicais (Pop: 6.156, Alternative: 3.699, Rock: 3.666, Hip Hop: 2.234, Country: 1.990, R&B: 1.107, Christian: 490, Comedy: 206, Reggae: 121, Dance/Electronic: 112, Blues: 99, Jazz: 97, Sco-res/Soundtrack: 70, Classical: 62). O melhor resultado obtido por (MAYER et al., 2008a) foi através da combinação de SSD com todas as caracter´ısticas baseadas em letras de músicas.

No trabalho de (MCKAY et al., 2010) foi avaliada a performance de classificação de gêneros musicais utilizando caracter´ısticas baseadas em letras de músicas em relação a ca-racter´ısticas de áudio, simbólicas ou culturais. Nos experimentos foi utilizada uma base de dados de 250 músicas com letras em Inglês distribu´ıdas igualitariamente entre 10 gêneros mu-sicais (Modern Blues, Traditional Blues, Baroque, Romantic, Bop, Swing, Hardcore Rap, Pop

(31)

Rap, Alternative Rock, Metal). Na avaliação realizada por (MCKAY et al., 2010) os resulta-dos obtiresulta-dos demonstraram que as caracter´ısticas baseadas em letras de músicas frequentemente melhoram os resultados de classificação ao serem combinadas com outras abordagens através da técnica de early fusion.

No trabalho de (FELL; SPORLEDER, 2014), novas caracter´ısticas baseadas em letras de músicas foram propostas. Mais precisamente, os autores definiram 13 conjuntos de carac-ter´ısticas baseadas em letras de músicas que se enquadram em uma de cinco dimensões: Vo-cabulário, Estilo, Semântica, Orientação ou Estrutura da Música. A dimensão do vocabulário é composta dos top K n-gramas com TF-IDF e palavras sem padrão (por exemplo, palavras incomuns ou g´ırias). A dimensão estilo é composta de POS, echoism (repetições de letras ou palavras, por exemplo, “money, money”) e caracter´ısticas de rimas. Note que as caracter´ısticas de rimas de (FELL; SPORLEDER, 2014) são baseadas exclusivamente no gênero musical Rap do trabalho de (HIRJEE; BROWN, 2010), diferindo portanto das demais utilizadas em outros trabalhos (MAYER et al., 2008b, 2008a; MAYER; NEUMAYER, 2009) que são baseadas em outros gêneros. As caracter´ısticas na dimensão semântica foram obtidas com base nos trabalhos de (MARTINDALE, 1975, 1990). Para a dimensão de orientação eles usam a informação se a canção narra experiências sobre o passado ou presente/futuro. Eles também modelaram como “egocêntrica” uma música pela computação de frequências de pronomes. Para a dimensão de estrutura da música eles pesquisaram por estruturas repetitivas nas letras de músicas. Nos experimentos de (FELL; SPORLEDER, 2014) foi empregada uma base de dados com 3.360 músicas com letras em Inglês de 8 gêneros musicais diferentes (Blues, Rap, Metal, Folk, R&B, Reggae, Country e Religious). O melhor resultado obtido com esses experimentos foi utili-zando o classificador SVM com todos os 13 conjuntos de caracter´ısticas através de early fusion baseadas em letras de músicas.

A análise dos trabalhos relacionados apresentada nesta subseção mostra que para o problema de classificação de gêneros musicais baseada em letras de músicas, somente letras no idioma Inglês tem sido usadas. Infelizmente a maioria das caracter´ısticas propostas base-adas em letras de músicas não podem ser usbase-adas devido a falta de recursos lingu´ısticos com-pat´ıveis. Uma das exceções é o uso das caracter´ısticas estil´ısticas introduzidas em (MAYER et al., 2008b) e que tem sido utilizadas neste trabalho. Além disso, a ideia de combinação da representação BOW (tanto utilizando a abordagem stemming ou caracter n-gramas) em combinação somente com as caracter´ısticas estil´ısticas têm sido negligenciada. Na Tabela 2 são descritos resumidamente os principais trabalhos do estado da arte.

(32)

Tabela 2: Resumo dos trabalhos relacionados

Trabalho Caracter´ısticas Base(s) Melhor

Resultado

Mayer et al. (2008b) Rimas, Estil´ısticas, 397 letras em SVM+

POS, BOW, TFIDF Inglês; 10 gêneros junção das

caracter´ısticas

Mayer et al. (2008a) SSD+Mesmas de Collection 600/ SVM+

(MAYER et al., 2008b) collection 3010; todas as

10 gˆeneros caracter´ısticas

Mayer e Neumayer (2009) Mesmas de 20.109 músicas; Junção das

(MAYER et al., 2008a) 14 gˆeneros caracter´ısticas

McKay et al. (2010) Letras, simbólicas, 250 músicas em Junção das

áudio, culturais Inglês; 10 gêneros caracter´ısticas

Fell e Sporleder (2014) 13 conjuntos em 5 3.360 letras em SVM+

dimensões: estilo, Inglês; 8 gêneros junção das

vocabul´ario, semˆantica, caracter´ısticas

(33)

4 METODOLOGIA

Neste cap´ıtulo são apresentadas as etapas realizadas para a execução dos experimen-tos: Na Seção 4.1 são apresentados os detalhes das bases de dados criadas; e na Seção 4.2 são apresentadas as técnicas utilizadas para o processamento das letras de músicas.

4.1 CRIAC¸ ˜AO DAS BASES DE DADOS

Com o intuito de atender ao objetivo principal deste trabalho, ou seja, analisar a eficácia de diferentes abordagens para a classificação automática de gêneros musicais usando letras de músicas em diferentes idiomas, foi necessário criar novas bases de dados para esse propósito, pois como apresentado no cap´ıtulo 2, os trabalhos existentes focam exclusivamente na classificação de gêneros musicais em inglês.

4.1.1 NORDIC LYRICS DATABASE

A Nordic Lyrics Database (NLD) foi criada em (LIMA et al., 2014) usando o seguinte procedimento: no primeiro estágio foi aplicado um questionário para alguns residentes da Di-namarca, Noruega e Suécia. Neste questionário os participantes foram instru´ıdos para informar as músicas favoritas com os respectivos t´ıtulos, o artista, gênero musical e idioma. Note que foi imposta uma restrição no questionário para informar apenas músicas da Dinamarca, Noruega e Suécia. No segundo estágio, as músicas foram buscadas manualmente na Web para recuperar as letras para os experimentos deste trabalho.

A NLD contém 1.513 letras de músicas divididas em cinco gêneros (Dance: 265, Pop Rock: 263, Rap: 100, Pop: 357 and Rock: 528) distribu´ıdos em três idiomas Nórdicos (Sueco, Dinamarquês e Norueguês). Os gêneros musicais foram rotulados seguindo a definição demonstrada de (FABBRI, 1999b): “a kind of music, as it is acknowledged by a community for any reason or purpose or criteria”. A NLD contém alguns termos no idioma Inglês conforme

(34)

pode ser visto nas Figuras 5, 6, 7, 8 e 9, as quais apresentam nuvens de palavras com os 150 maiores valores de TFIDF.

Figura 5: Nuvem de palavras para o gˆenero dance da NLD.

Figura 6: Nuvem de palavras para o gˆenero pop rock da NLD.

Figura 7: Nuvem de palavras para o gˆenero rap da NLD.

(35)

Figura 8: Nuvem de palavras para o gˆenero pop da NLD.

Figura 9: Nuvem de palavras para o gˆenero rock da NLD.

4.1.2 LATIN MUSIC LYRICS DATABASE

A Latin Music Database (LMD) (SILLA JR. et al., 2008) é uma base de dados de músicas que tem sido usada no Music Information REtrieval eXchange (MIREX) (DOWNIE, 2008) e contém músicas de 10 gêneros latinos diferentes (Axé, Bachata, Bolero, Forró, Gaúcha, Merengue, Pagode, Salsa, Sertaneja, Tango). Neste trabalho foi criada a Latin Music Lyrics

Database (LMLD) através da recuperação das letras de músicas da LMD usando o Ethnic

Lyrics Fetcher(ELF) (RIBEIRO et al., 2014).

A versão final da LMLD contém 3.116 músicas latinas divididas em 10 gêneros (Axé: 303, Bachata: 303, Bolero: 301, Pagode: 301, Forró: 313, Gaúcha: 300, Merengue: 291, Salsa: 299, Sertaneja: 308 and Tango: 397) distribu´ıdas em três idiomas diferentes (Espanhol,

(36)

Português e Inglês). Nas Figuras 10-19 são apresentadas as nuvens de palavras com os 150 maiores valores de TFIDF para cada gênero da LMLD.

Figura 10: Nuvem de palavras para o gˆenero ax´e da LMLD.

Figura 11: Nuvem de palavras para o gˆenero bachata da LMLD.

Figura 12: Nuvem de palavras para o gˆenero bolero da LMLD.

(37)

Figura 13: Nuvem de palavras para o gˆenero pagode da LMLD.

Figura 14: Nuvem de palavras para o gˆenero forr´o da LMLD.

Figura 15: Nuvem de palavras para o gˆenero ga´ucha da LMLD.

(38)

Figura 16: Nuvem de palavras para o gˆenero merengue da LMLD.

Figura 17: Nuvem de palavras para o gˆenero salsa da LMLD.

Figura 18: Nuvem de palavras para o gˆenero sertaneja da LMLD.

(39)

Figura 19: Nuvem de palavras para o gˆenero tango da LMLD.

4.1.3 LYRICS GTZAN DATABASE

A base de dados GTZAN é uma das bases de dados mais empregada para a tarefa da classificação de gêneros musicais. A base de dados original tem o áudio de 1.000 músicas igual-mente distribu´ıdas entre os dez gêneros musicais (Blues, Classical, Country, Disco, Hip-hop, Jazz, Metal, Pop, Reggae and Rock). Neste trabalho foi criada a Lyrics GTZAN (LGTZAN). Mesmo a GTZAN sendo um recurso importante para a comunidade de MIR, a versão com le-tras desta base de dados não foi criada anteriormente. Para recuperar as lele-tras da LGTZAN, foi utilizado o ELF (RIBEIRO et al., 2014) para recuperar automaticamente as letras de músicas a partir da Web. Após a recuperação pelo ELF, foi realizada uma verificação manual para eliminar as letras de músicas que eram apenas instrumentais.

A LGTZAN contém 592 letras de músicas divididas em 8 gêneros (Blues: 52, Coun-try: 89, Disco: 73, Hip Hop: 83, Metal: 61, Pop: 77, Reggae: 57 and Rock: 100) distribu´ıdas em três idiomas diferentes (Inglês, Português e Espanhol). Note que a base de dados LGTZAN não contém alguns gêneros da GTZAN original, pois todas as músicas dos gêneros Classical e Jazz eram instrumentais. Além disso, algumas músicas de outros gêneros também foram de-tectadas como instrumentais e por esta razão nem todos os gêneros da LGTZAN têm 100 letras de músicas. Nas Figuras 20-27 são apresentadas as nuvens de palavras com os 150 maiores valores de TFIDF para cada gênero da LGTZAN.

(40)

Figura 20: Nuvem de palavras para o gˆenero blues da LGTZAN.

Figura 21: Nuvem de palavras para o gˆenero country da LGTZAN.

Figura 22: Nuvem de palavras para o gˆenero disco da LGTZAN.

(41)

Figura 23: Nuvem de palavras para o gˆenero hip hop da LGTZAN.

Figura 24: Nuvem de palavras para o gˆenero metal da LGTZAN.

Figura 25: Nuvem de palavras para o gˆenero pop da LGTZAN.

(42)

Figura 26: Nuvem de palavras para o gˆenero rock da LGTZAN.

Figura 27: Nuvem de palavras para o gˆenero reggae da LGTZAN.

4.1.4 JOINT LYRICS DATABASE

Neste trabalho também foi criada a Joint Lyrics Database (JLD) através da combinação das letras de músicas da NLD, LMLD e LGTZAN. A motivação para a criação da JLD é ava-liar se em um cenário desafiador que lida com letras e gêneros musicais de vários lugares do mundo as técnicas utilizadas apresentarão a mesma performance. A JLD contém 5,221 letras de músicas distribu´ıdas entre 21 gêneros em 6 idiomas diferentes.

4.1.5 DETALHES DAS BASES DE DADOS

A quantidade de atributos gerada por representação e por base de dados sem (-SWR) e com remoção de stopwords (+SWR) são apresentados na Tabela 3. Note que embora não haja

(43)

diferença nos atributos para algumas representações (por exemplo, 2-gramas para a LMLD), existe diferença nos arquivos de caracter´ısticas gerados, os quais podem gerar diferentes resul-tados no experimentos reporresul-tados. Note também que não foram aplicados métodos de redução de dimensionalidade devido aos trabalhos da literatura não realizarem tais tarefas e também a experimentos anteriores retornarem resultados inferiores utilizando métodos como: carac-ter´ısticas com melhor TF-IDF ou com melhor TF.

Tabela 3: Número de atributos para cada representação sem e com remoção de stopwordspara cada base de dados de letras de músicas.

Abordagem LGTZAN LMLD NLD JLD Stemming-SWR 7.913 22.087 20.962 48.658 Stemming+SWR 7.850 22.025 20.704 46.201 2-Gramas-SWR 681 860 1.087 1.103 2-Gramas+SWR 680 860 1.079 1.103 3-Gramas-SWR 4.790 6.330 9.945 10.942 3-Gramas+SWR 4.781 6.321 9.829 10.942 4-Gramas-SWR 13.707 24.778 36.741 49.359 4-Gramas+SWR 13.653 24.741 35.705 49.326

4.2 PROCESSAMENTO DE LETRAS DE M ´USICAS

Uma abordagem comumente empregada para o processamento de texto é o BOW (SEBASTIANI, 2002), no qual os documentos são representados em vetores de palavras que ocorrem nos documentos. Esta abordagem é necessária para padronizar as letras de músicas em um formato fixo e compreendido pelo classificador. Desta forma, nesta seção são descri-tos os métodos utilizados no processamento das letras de músicas e também na fase de pré-processamento, como mostrado na Figura 28. Na fase de pré-processamento são realizados os seguintes passos: identificação do idioma, remoção dos caracteres especiais e a padronização das letras de músicas. Existem 5 etapas independentes na fase de processamento das letras de músicas, são elas: processo opcional de remoção das stopwords (note que embora as stopwords sejam dependentes de idiomas foram utilizadas em ambas as abordagens para complementar os experimentos), o stemming (dependente de idioma), os caracteres n-gramas (que é indepen-dente de idioma), o método TF-IDF (utilizado com stemming e n-gramas) e as caracter´ısticas estil´ısticas de texto.

(44)

Figura 28: Vis˜ao geral das etapas de processamento de letras de m´usicas.

Tabela 4: Mapeamento de caracteres especiais para os idiomas N´ordicos

Idioma(s) Caracteres Especiais Caracter equivalente

Dinamarquˆes, Norueguˆes æ ae

Dinamarquˆes, Norueguˆes ø oe

Dinamarquˆes, Norueguˆes, Sueco ˚a aa

Sueco ¨o oe

Sueco ¨a ae

Fonte: Autoria pr´opria.

4.2.1 DETECC¸ ˜AO DE IDIOMAS

Esta etapa de processamento de letras de músicas consiste na detecção do idioma do documento utilizando uma Biblioteca de código aberto em linguagem Java chamada “Language Detection” (SHUYO, 2010).

4.2.2 PR ´E-PROCESSAMENTO

Antes do processamento das letras de músicas é importante ter uma fase de pré-processamento para remoção de caracteres especiais, pois existem algumas letras de músicas que precisam ser padronizadas para manter seu significado (idiomas Nórdicos), conforme a Tabela 4. A próxima etapa consiste em colocar todas as palavras em minúsculo para auxi-liar as comparações entre as palavras. Depois desta etapa de pré-processamento serão obtidos documentos padronizados sem s´ımbolos inúteis.

(45)

4.2.3 STOPLISTSUTILIZADAS

Neste trabalho são utilizadas uma “stoplist1” para cada idioma, sendo: 114 para Sueco, 176 para Norueguês e 94 para Dinamarquês.

4.2.4 CARACTER´ISTICAS ESTIL´ISTICAS DE TEXTO UTILIZADAS

Neste trabalho foi empregado um subconjunto de caracter´ısticas estil´ısticas propos-tas para a tarefa de classificação de emoções baseada em letras de músicas (HU; DOWNIE, 2010a). Este subconjunto foi utilizado porque complementa as caracter´ısticas estil´ısticas origi-nais com novas métricas conforme apresentado anteriormente na seção 3.1.5 e também devido a melhora de resultados obtida em (MAYER et al., 2008b). Neste trabalho não foram usadas as caracter´ısticas estil´ısticas relacionadas aos arquivos de áudio (por exemplo, número de palavras por minuto ou o número de linhas por minuto). A principal vantagem das caracter´ısticas es-til´ısticas é que são computadas medidas estat´ısticas simples baseadas na frequência da palavra ou caractere.

(46)

5 RESULTADOS SEM COMBINAC¸ ˜AO (NO FUSION) PARA OS EXPERIMENTOS COMPUTACIONAIS

Neste cap´ıtulo serão respondidas as seguintes questões através de experimentos con-trolados: Quando lidamos com cada conjunto de dados que tem letras de músicas em dife-rentes idiomas qual representação deveria ser utilizada? Uma representação dependente de idioma (usando ferramentas de idioma tais como stemmers ou remoção de stopwords) é melhor do que uma representação independente de idioma (usando n-gramas)? Qual é o impacto das stopwordsna classificação de gêneros musicais utilizando letras de músicas? Além disso, o que acontece com todas essas questões quando os três conjuntos de dados são combinados na JLD? Para avaliar os resultados neste trabalho foi usada a F1-score (a qual é a média harmônica das métricas de precision e recall) com o procedimento de validação cruzada fator 10.

5.1 RESULTADOS PARA ABORDAGENS SEM COMBINAC¸ ˜AO (NO FUSION)

Os resultados (em %) detalhados sem (-SWR) ou com (+SWR) remoção de stopwords para cada representação no fusion são apresentados na Tabela 5.

Tabela 5: Resultados para cada base de dados individualmente

Abordagem LGTZAN LMLD NLD JLD Stemming-SWR 34.3 37.6 38.7 35.3 Stemming+SWR 40.4 31.7 35.1 30.9 2-Gramas-SWR 34.6 51.3 62.9 46.7 2-Gramas+SWR 36.7 49.9 62.6 46.1 3-Gramas-SWR 42.6 60.3 77.4 51.8 3-Gramas+SWR 40.9 60.3 78.4 52.2 4-Gramas-SWR 43.9 65.6 87.1 49.7 4-Gramas+SWR 42.2 65.4 87.5 49.2 Estil´ıstica-SWR 33.8 58.9 35.6 47.3 Estil´ıstica+SWR 34.3 59.9 32.6 49.1

(47)

5.1.1 QUAL REPRESENTAC¸ ˜AO USAR?

A análise dos resultados apresentados na Tabela 5 apresenta resultados interessantes. Primeiro, a melhor abordagem para a LGTZAN é o 4-Gramas sem SWR (43.9%). Segundo, as caracter´ısticas estil´ısticas obtiveram resultados similares com a abordagem stemming sem SWR. Terceiro, a abordagem 4-Gramas ainda provê resultados melhores do que as abordagens 2-Gramas e 3-Gramas.

A análise dos resultados da LMLD apresentados na Tabela 5 apresenta resultados similares aos analisados para a LGTZAN. A melhor abordagem na LMLD é a abordagem 4-Gramas sem remoção de stopwords (65.6%). Primeiro, o stemming obteve o pior resultado dentre todas as demais abordagens. Segundo, o 4-Gramas provê resultados melhores do que o 2-Gramas e 3-Gramas.

A melhor abordagem para a NLD (apresentada na Tabela 5) é o 4-Gramas com SWR (87.5%). Primeiro, aumentando o valor de n na representação n-gramas é poss´ıvel melhorar os resultados da classificação. Segundo, a representação n-grama é melhor do que stemming em todas as parametrizações. Terceiro, o uso das caracter´ısticas estil´ısticas provê um resultado in-teressante que atinge resultados de classificação similares a abordagem stemming, mas usando somente 17 caracter´ısticas.

Os resultados da JLD são apresentados na Tabela 5. A melhor abordagem para a JLD é o 3-Gramas com SWR (52.2%). Este é um resultado interessante, pois para as bases de le-tras individuais, o 3-Gramas não atingiu os melhores resultados nas diferentes bases de dados. Para a NLD este atingiu 78.4% de F-measure, enquanto a melhor abordagem (4-Gramas-SWR) atingiu 87.7%. Para a LMLD este obteve 60.3% enquanto que a melhor abordagem (4-Gramas-SWR) atingiu 65.6%. Para a LGTZAN, o 3-Gramas+SWR obteve 40.9%, enquanto o melhor resultado (4-Gramas) obteve 43.9%. A análise destes resultados demonstra que enquanto al-guns métodos trabalharam bem nas bases de letras individualmente, eles não trabalharam tão bem com um número maior de idiomas.

5.1.2 QUAL ´E O IMPACTO DAS STOPWORDS?

Os resultados sem e com SWR para a LGTZAN são apresentados na Tabela 5. Note que o uso de SWR claramente melhora a medida de classificação F-measure da abordagem stemmingde 34.3% para 40.4%. Para as caracter´ısticas estil´ısticas de texto existe um pequeno ganho em F-measure enquanto que para as abordagens baseadas em n-gramas sempre há perca

(48)

em F-measure.

Para a LMLD o uso de SWR melhora os resultados como mostrado na Tabela 5. Ape-nas as caracter´ısticas estil´ısticas de texto são beneficiadas pelo uso da remoção das stopwords. Para as representações N-Gramas existe uma diminuição exceto para 3-Gramas que mantive-ram o mesmo resultado. A abordagem stemming não obteve bons resultados com o uso de SWR diminuindo de 37.6% para 31.7%.

Ao lidar com letras em idiomas Nórdicos ainda não está claro se as stopwords deve-riam ou não ser removidas. A análise dos resultados apresentados na Tabela 5 demonstra que removendo as stopwords das letras de músicas na NLD prejudica os resultados da classificação em várias representações.

Para a JLD, o uso de SWR claramente melhora os resultados para as caracter´ısticas estil´ısticas de texto como apresentado na Tabela 5. Enquanto existe um pequeno ganho (0.4%) em F-measure para 3-Gramas e uma diminuic¸˜ao em F-measure (4.4%) para stemming.

5.2 AVALIAÇ ÃO E DISCUSS ÃO GLOBAL DOS RESULTADOS

O melhor resultado obtido dentre todas as base de dados foi 87.5% para a NLD usando 4-gramas com SWR. Para as demais bases, o melhor resultado de cada uma foi: 4-Gramas-SWR para a LGTZAN e LMLD, atingindo respectivamente 43.9% e 65.6% de F-measure; 3-Gramas+SWR (atingindo 52.2%) para a JLD. Portanto, os resultados experimentais demons-tram uma tendˆencia para o uso da abordagem 4-gramas ao lidar com letras de m´usicas em diferentes idiomas.

Experimentos adicionais foram executados para avaliar o impacto da remoção das stopwords na tarefa de classificação de letras de músicas. Isto é importante por duas razões: não está claro se as stopwords deveriam ou não ser removidas ao lidar com letras de músicas; e as stopwords são recursos dependentes de idiomas e podem não estar dispon´ıveis para alguns idiomas. Para as caracter´ısticas estil´ısticas está claro que o uso de SWR sempre melhora os re-sultados nos experimentos realizados. No entanto, para as demais técnicas não houve melhoria evidente, pois em alguns casos melhorou e em outros não.

(49)

6 EXPERIMENTOS COMPUTACIONAIS

6.1 RESULTADOS PARA A COMBINAC¸ ˜AO DE CLASSIFICADORES NA LGTZAN

Nesta seção estão os resultados (em %) para as combinações das representações usando as abordagens early e late fusion (com os métodos da probabilidade máxima, soma e produto das probabilidades) para a LGTZAN apresentados na Tabela 6. Esta seção contém os resulta-dos detalharesulta-dos para a LGTZAN para as seguintes questões: A combinação com alta dimensi-onalidade através de N-Gramas+Stemming é a melhor abordagem? Ao usar as caracter´ısticas estil´ısticas qual é a melhor combinação N-Gramas+Estil´ıstica, N-Gramas+Stemming+

Estil´ıstica ou outras combinac¸˜oes?

Tabela 6: Resultados para os m´etodos early e late fusion na LGTZAN

Combinac¸˜ao Early Fusion Max Soma Produto

2-Gramas+Stemming-SWR 42.4 41.2 44.5 45.9 2-Gramas+Stemming+SWR 49.7 50.2 52.2 58.4 3-Gramas+Stemming-SWR 44.8 48.5 54.6 53.0 3-Gramas+Stemming+SWR 52.5 60.2 59.5 63.5 4-Gramas+Stemming-SWR 43.6 55.4 60.8 55.9 4-Gramas+Stemming+SWR 53.4 64.6 67.6 64.7 N-Gramas+Stemming-SWR 45.6 52.8 59.2 58.5 N-Gramas+Stemming+SWR 43.3 52.4 60.2 59.6 2-Gramas+3-Gramas+Stemming-SWR 45.1 47.1 56.2 55.4 2-Gramas+3-Gramas+Stemming+SWR 52.5 56.6 57.8 58.9 2-Gramas+4-Gramas+Stemming-SWR 45.4 54.2 57.6 57.1 2-Gramas+4-Gramas+Stemming+SWR 52.0 58.2 62.3 64.0 3-Gramas+4-Gramas+Stemming-SWR 44.4 54.4 61.3 58.6 3-Gramas+4-Gramas+Stemming+SWR 53.0 64.2 61.6 62.5

(50)

Tabela 6 – Continuação da página anterior

Combinac¸˜ao Early Fusion Max Soma Produto

2-Gramas+Estil´ıstica-SWR 42.6 47.6 49.4 54.8 2-Gramas+Estil´ıstica+SWR 43.9 43.5 42.9 43.8 3-Gramas+Estil´ıstica-SWR 44.8 58.1 51.3 63.2 3-Gramas+Estil´ıstica+SWR 46.8 57.3 59.5 64.6 4-Gramas+Estil´ıstica-SWR 42.4 65.7 66.7 69.9 4-Gramas+Estil´ıstica+SWR 42.9 62.6 65.8 70.7 2-Gramas+3-Gramas+Estil´ıstica-SWR 50.7 53.9 61.4 78.5 2-Gramas+3-Gramas+Estil´ıstica+SWR 48.3 51.8 56.3 58.9 2-Gramas+4-Gramas+Estil´ıstica-SWR 51.9 60.2 65.6 65.2 2-Gramas+4-Gramas+Estil´ıstica+SWR 50.7 53.2 61.9 67.3 3-Gramas+4-Gramas+Estil´ıstica-SWR 50.8 64.8 65.1 67.0 3-Gramas+4-Gramas+Estil´ıstica+SWR 50.5 64.5 60.3 61.6 N-Gramas+Estil´ıstica-SWR 50.7 59.7 50.5 68.5 N-Gramas+Estil´ıstica+SWR 50.2 52.2 58.6 63.5 2-Gramas+Stemming+Estil´ıstica-SWR 46.8 52.1 60.8 65.8 2-Gramas+Stemming+Estil´ıstica+SWR 52.5 51.1 60.4 62.6 3-Gramas+Stemming+Estil´ıstica-SWR 51.0 57.1 68.4 53.0 3-Gramas+Stemming+Estil´ıstica+SWR 54.2 60.6 67.4 59.7 4-Gramas+Stemming+Estil´ıstica-SWR 52.5 63.0 63.2 63.0 4-Gramas+Stemming+Estil´ıstica+SWR 53.9 64.7 62.4 70.3 N-Gramas+Stemming+Estil´ıstica-SWR 50.7 54.3 60.0 64.6 N-Gramas+Stemming+Estil´ıstica+SWR 50.8 54.3 67.0 63.6 2-Gramas+3-Gramas+Stemming+Estil´ıstica-SWR 51.2 56.6 59.5 61.2 2-Gramas+3-Gramas+Stemming+Estil´ıstica+SWR 54.2 56.7 59.9 65.1 2-Gramas+4-Gramas+Stemming+Estil´ıstica-SWR 51.2 60.3 64.8 64.3 2-Gramas+4-Gramas+Stemming+Estil´ıstica+SWR 53.9 58.2 66.6 67.7 3-Gramas+4-Gramas+Stemming+Estil´ıstica-SWR 50.3 61.5 63.9 65.5 3-Gramas+4-Gramas+Stemming+Estil´ıstica+SWR 54.9 61.6 66.4 66.1 Stemming+Estil´ıstica-SWR 41.7 48.5 52.4 58.9 Stemming+Estil´ıstica+SWR 48.0 53.2 53.3 53.2 2-Gramas+3-Gramas-SWR 44.9 50.6 53.4 56.1