Resultados

Para avaliação dos resultados considerou-se a AUC (area under the receiver operating characteristic curve). A Tabela 4.6 contém a média da AUC para os classificadores tradicionais e as Tabelas 4.7, 4.8 e 4.9 contém a média da AUC para os classificadores relacionais considerando as redes kNN, M-kNN e S-kNN respectivamente. Para os classificadores relacionais, apenas o maior valor de AUC obtido é apresentado, considerando as diferentes redes construídas para cada base de dados utilizando diferentes valores de k. O valor de k aparece entre parênteses. Em todas as tabelas os melhores resultados para cada classificador aparece em negrito e os melhores resultados para cada característica musical aparece com a célula da tabela em cinza.

A partir destes resultados observa-se o impacto das características musicais, dos classificadores e dos métodos de construção de redes, na acurácia da clas- sificação.

1_{http://www.cs.waikato.ac.nz/ml/weka/}

88 PROPOSTOS

Tabela 4.6: AUC para os classificadores tradicionais. Adaptada de Valverde-

Rebaza et al. (2014).

J48 NB MLP SMO histograma 0.619 0.607 0.665 0.506 momentos 0.706 0.750 0.771 0.585 estrutura 0.738 0.920 0.816 0.724

Tabela 4.7: AUC para os classificadores relacionais nas redes kNN. Adaptada de

Valverde-Rebaza et al. (2014).

no-lb-mode no-lb-count no-lb-binary no-lb-distrib wvrn no-Bayes prn histograma 0.575 (k=11) 0.723 (k=9) 0.622 (k=2) 0.71 (k=8) 0.712 (k=9) 0.515 (k=1) 0.537 (k=1) momentos 0.547 (k=5) 0.635 (k=13) 0.575 (k=8) 0.644 (k=7) 0.644 (k=9) 0.563 (k=2) 0.571 (k=3) estrutura 0.834 (k=7) 0.939 (k=14) 0.851 (k=4) 0.945 (k=14) 0.931 (k=15) 0.922 (k=15) 0.903 (k=9)

Tabela 4.8: AUC para os classificadores relacionais nas redes M-kNN. Adaptada

de Valverde-Rebaza et al. (2014).

no-lb-mode no-lb-count no-lb-binary no-lb-distrib wvrn no-Bayes prn histograma 0.621 (k=1) 0.712 (k=10) 0.626 (k=2) 0.735 (k=12) 0.727 (k=13) 0.555 (k=1) 0.571 (k=1) momentos 0.570 (k=1) 0.657 (k=14) 0.588 (k=2) 0.633 (k=15) 0.630 (k=14) 0.578 (k=1) 0.574 (k=1) estrutura 0.864 (k=1) 0.955 (k=14) 0.818 (k=2) 0.963 (k=15) 0.964 (k=14) 0.913 (k=6) 0.902 (k=2)

Tabela 4.9: AUC para os classificadores relacionais nas redes S-kNN. Adaptada

de Valverde-Rebaza et al. (2014).

no-lb-mode no-lb-count no-lb-binary no-lb-distrib wvrn no-Bayes prn histograma 0.608 (k=1) 0.724 (k=8) 0.611 (k=2) 0.737 (k=12) 0.730 (k=12) 0.544 (k=1) 0.553 (k=1) momentos 0.569 (k=1) 0.652 (k=13) 0.571 (k=1) 0.620 (k=8) 0.625 (k=6) 0.560 (k=1) 0.565 (k=1) estrutura 0.904 (k=1) 0.948 (k=11) 0.82 (k=1) 0.967 (k=15) 0.966 (k=15) 0.923 (k=3) 0.904 (k=2)

Com relação as características musicais, nos classificadores tradicionais (Ta- bela 4.6) nota-se que todos obtiveram melhores resultados para a caracterís- tica estrutural. Para a característica histograma e momentos, o classificador MLP obteve maior acurácia na classificação se comparado aos demais. Para os classificadores relacionais (Tabelas 4.7, 4.8 e 4.9) todos obtiveram melhores re- sultados usando a característica estrutural. A característica histograma gerou melhor acurácia no classificador no-lb-count, para as redes kNN, e no classifi- cador no-lb-distrib, para as redes M-kNN e S-kNN. Já a característica momentos gerou melhor acurácia no classificador no-lb-distrib, para as redes kNN, e no classificador no-lb-count, para as redes M-kNN e S-kNN.

Para determinar o melhor classificador aplicou-se o teste de Freidman e post- hoc de Nemenyi (Demšar, 2006). A Figura 4.15 mostra o resultado para os clas- sificadores tradicionais. A diferença crítica (critical difference - CD) no percentil 95 é 2.71. No eixo é mostrado os ranks médios dos classificadores. Neste eixo os menores (melhores) ranks estão no lado esquerdo. Os classificadores ana- lisados que não apresentam diferença significativa estão conectados por uma linha preta. Observa-se que nesse caso não houve diferença significativa e os classificadores MLP e NB ficaram em primeiro e segundo lugar no rank.

4.1. ANÁLISE E APLICAÇÃO DAS REDES REGULARES 89 As Figuras 4.16, 4.17 e 4.18 contém os resultados para os classificadores relacionais nas redes kNN, M-kNN e S-kNN, respectivamente. A CD para todos os testes post-hoc no percentil 95 é 5.20. Não houve diferença estatística significativa entre os classificadores e os métodos no-lb-distrib, no-lb-count e wvrn obtiveram os três melhores ranks.

1 2 3 4 MLP

NB J48SMO CD

Figura 4.15: Resultado do teste de Nemenyi para os classificadores tradicionais.

Obtida em Valverde-Rebaza et al. (2014).

1 2 3 4 5 6 7 no-lb-distrib no-lb-count wvrn no-lb-binary prn no-Bayes no-lb-mode CD

Figura 4.16: Resultado do teste de Nemenyi para os classificadores relacio-

nais, considerando as redes kNN. Obtida em Valverde-Rebaza et al. (2014). 1 2 3 4 5 6 7 no-lb-distrib wvrn no-lb-count no-lb-binary no-Bayes prn no-lb-mode CD

Figura 4.17: Resultado do teste de Nemenyi para os classificadores relacionais,

considerando as redes M-kNN. Obtida em Valverde-Rebaza et al. (2014). 1 2 3 4 5 6 7 no-lb-distrib wvrn no-lb-count no-lb-binary no-lb-mode prn no-Bayes CD

Figura 4.18: Resultado do teste de Nemenyi para os classificadores relacionais,

considerando as redes S-kNN. Obtida em Valverde-Rebaza et al. (2014).

90 PROPOSTOS

1 2 3 4 no-lb-distrib

wvrn MLPNB CD

Figura 4.19: Resultado do teste de Nemenyi para os melhores classificadores

tradicionais e relacionais (considerando as redes S-kNN). Obtida em Valverde-Rebaza et al. (2014).

Figura 4.20: Resultado do teste de Nemenyi para identificar o melhor método de

construção de redes. Obtida em Valverde-Rebaza et al. (2014). Compararam-se os dois melhores classificadores tradicionais (MLP e NB) com os dois melhores classificadores relacionais (no-lb-distrib e wrn) considerando as redes S-kNN. A Figura 4.19 mostra o resultado do teste post-hoc de Nemenyi. O valor de CD no percentil 95 é 2.71. Não se observa diferença significativa, porém os classificadores relacionais ficam melhor ranqueados.

Finalmente, comparou-se os métodos para construção de redes. Para isso, calculou-se a média dos melhores resultados (valores em negrito das Tabelas 4.7, 4.8 e 4.9) e analisou-se o resultado estatisticamente. A Figura 4.20 mostra o resultado do teste post-hoc de Nemenyi. O valor de CD para o percentil 95 é 1.25. Não houve diferença estatística, entretanto o método S-kNN ficou melhor ranqueado.

Analisou-se a variação da AUC para diferentes valores de k nas redes S-kNN (Figura 4.21). Em geral, todos os classificadores mantêm um valor constante da acurácia para k > 3. Apenas os classificadores no-lb-mode, no-lb-binary e prn têm o desempenho reduzido significatimente na característica estrutura conforme o valor de k aumenta.

4.1.3.6 Discussão

Nesta seção foi apresentada uma aplicação do método S-kNN em classificação de gêneros musicais (Valverde-Rebaza et al., 2014). Utilizaram-se três medi- das de extração de características de arquivos músicais no formato MIDI: his- tograma, momentos e estrutura gerando três bases de dados. A partir dessas bases analisou-se o impacto dessas características na classificação de gêneros músicais. Além disso, analisou-se o desempenho de classificadores tradicionais