5 Materiais e Métodos
5.3 Algoritmos de Redução de Dimensionalidade
6.1.1 Análise Comparativa Métodos de Fusão
Esta análise tem como objetivo comparar o desempenho dos métodos de fusão pro- postos nesta dissertação (fusão de decisão e fusão de dados), em comparação com PCA, Seleção Randômica (RANDOM) e conjunto original de dados (No-FS). Na Tabela 3 as células sombreadas em cinza, com texto em negrito, representam os métodos que obtive- ram o melhor desempenho em termos de acurácia, em relação as demais abordagens, para cada base dados.
Como pode ser observado a partir da Tabela 3, a Fusão de Decisão obteve desempenho superior em onze (11) bases de dados, sendo seguido por cinco (5) bases de dados para o
Resultados - Análise Comparativa
Método FusãoDec FusãoDad PCA RANDOM No-FS
Métricas Acc±Std Acc±Std Acc±Std Acc±Std Acc±Std
B1 68.00±19.88 66.19±14.67 50.44±14.09 55.07±18.44 73.82±5.19 B2 97.40±3.40 92.44±8.80 95.24±3.87 95.96±3.36 92.41±2.87 B3 92.47±3.70 92.04±1.93 90.73±2.18 82.40±9.66 92.20±2.43 B4 76.41±8.98 75.84±4.87 74.43±4.68 65.57±5.15 72.22±4.71 B5 88.40±6.57 87.35±4.30 81.37±3.64 81.02±7.87 86.88±2.43 B6 90.65±11.57 89.11±12.02 86.26±10.38 81.96±13.67 62.51±7.20 B7 91.24±1.28 86.27±2.20 92.86±5.04 88.57±2.56 88.54±3.97 B8 89.07±4.39 87.76±4.74 80.75±7.50 71.40±2.33 88.28±4.47 B9 77.77±9.78 76.64±8.91 61.91±2.77 59.22±4.89 76.46±12.46 B10 75.48±16.77 73.74±12.92 65.20±12.17 71.21±9.08 73.84±9.10 B11 99.09±1.36 96.19±5.17 94.30±4.1 96.60±4.17 90.19±4.73 B12 63.64±6.08 55.79±6.05 56.18±7.92 53.96±6.78 65.43±3.16 B13 71.90±15.30 70.66±13.04 65.35±10.40 52.30±2.26 75.10±1.87 B14 81.00±19.08 86.10±16.84 99.65±1.08 67.48±19.19 56.95±8.70 B15 91.72±11.10 93.42±4.86 97.87±2.68 81.57±7.89 73.34±8.92 B16 66.73±8.25 64.21±5.36 71.47±18.99 69.45±12.27 64.69±4.53 B17 72.80±7.91 69.90±6.15 69.93±6.31 67.53±7.69 72.64±5.13 B18 77.59±9.80 79.28±3.92 77.26±5.53 60.96±7.91 79.70±4.52 B19 81.76±6.74 78.42±3.79 67.21±3.98 60.19±3.96 78.47±5.49 B20 78.34±5.16 75.69±4.13 78.63±4.12 76.48±3.37 74.62±4.59 Total Wins 11/20 0/20 5/20 0/20 4/20
Tabela 3: Resultados da Análise Comparativa entre os Métodos de Fusão, Algoritmos de Redução Existentes e No-FS
PCA e quatro (4) bases de dados para o No-FS. É importante notar que a Fusão de Decisão foi capaz de obter resultados superiores de acurácia em bases de dados com diferentes características. Por exemplo, o método mostrou-se eficaz em prover boas soluções em problemas de classificação binária (2 classes) em nove (9) de doze (12) bases e, também em problemas de classificação multi-classe, como a B6 (9 classes) e B11 (20 classes).
Estes resultados indicam que a utilização de abordagens de fusão de múltiplos algorit- mos de seleção de atributos, podem prover não somente resultados próximos do melhor, mas também desempenho superior quando comparado à abordagens de redução de dimen- sionalidade encontradas na literatura. A utilização da estrutura de comitês de classifica- dores como modo de fusão de decisão, nos permitiu construir um modelo de classificação treinado com diferentes perspectivas sobre a mesma base de dados. O aumento da diversi- dade no processo de treinamento dos classificadores individuais é fortemente corroborado pelos resultados de acurácia obtidos, demonstrando que a capacidade de generalização do comitê é acrescida quando a decisão de diferentes classificadores, treinados por diferentes subconjuntos de atributos, é utilizada.
Em contrapartida, observando o desempenho da fusão de dados em relação as demais abordagens, não levando em consideração os resultados da fusão de decisão, é possível
notar que a fusão de dados obteve desempenho superior, em termos de acurácia, em apenas quatro (4) bases de dados (B4, B5, B6 e B9), quando comparada ao PCA, RANDOM e No-FS. O desempenho inferior da fusão de dados pode ser associado a baixa diversidade no processo do cálculo de relevância dos atributos, uma vez que o processo de fusão a priori do dados leva em consideração a posição na qual os atributos aparecem no ranking. De acordo com esse processo, há a possibilidade que dada a baixa de taxa de seleção aplicada (10%) sobre os conjuntos de dados, relacionada com o cálculo da relevância dada a posição dos atributos nos rankings, tenham desfavorecido a seleção de atributos relevantes para treinamento dos classificadores, impactando diretamente na acurácia dos modelos produzidos. Logo, demonstrando que a fusão a priori dos dados advindos dos algoritmos de seleção de atributos necessita de uma técnica mais robusta para capturar as relações entre atributos.
É importante notar, considerando uma comparação par-a-par entre a fusão de dados e as demais abordagens, que a fusão de dados obteve desempenho superior em oito (8) bases de dados, em relação ao PCA, em quinze (15) bases de dados em relação ao RANDOM e em nove (9) em relação ao No-FS. A partir dessa comparação, podemos notar que, de forma geral, o desempenho da fusão de dados é competitivo. Visto que a fusão de dados trabalha com o ranking ordenado da relevância dos atributos, dado um grupo de atributos relevantes que aparecem próximos do threshold da taxa de seleção para a maioria dos seletores e, para um dos seletores, esse grupo não é relevante (ficando abaixo do threshold ), esse cenário faz com que esse grupo de atributos seja excluído do ranking final de atributos selecionados. Dessa forma, causando perda de informação relevante no processo de seleção de atributos. A investigação acerca da aplicação de diferentes taxas de seleção de atributos na fusão de dados, pode influenciar positivamente para inclusão de mais atributos relevantes, considerando atributos potencialmente relevantes que ficaram abaixo do threshold aplicado. Assim sendo, o uso de um threshold restrito representa uma clara limitação dessa abordagem.
Os resultados descritos na Tabela 3 demonstram a superioridade, em termos de acurá- cia, da Fusão de Decisão, quando comparada aos demais métodos. Com intuito de validar o desempenho obtido pela abordagem Fusão de Decisão na análise empírica, nós realizamos uma análise estatística dos dados, aplicando o teste de Friedman e testes post-hoc.
Neste teste, todas as abordagens comparativas foram consideradas, com todas as 10 execuções da validação cruzada com 10-folds, para todos os algoritmos de classificação. Os resultados do teste de Friedman são exibidos na Tabela 4 e a sua primeira coluna
mostra o p-value do teste de Friedman. As demais colunas apresentam os resultados do teste post-hoc, comparando o desempenho da Fusão de Decisão com as quatro demais abordagens comparativas. No teste post-hoc, a comparação, no formato 1-2, foi realizada e ”<” representa desempenho estatístico superior da abordagem 1 sobre 2; ”>” representa o contrário (desempenho estatístico significante de 2 sobre 1), enquanto ”=” demonstra que não há evidências para afirmar que há diferença entre o desempenho dos métodos 1 e 2. As células sombreadas representam os casos onde o desempenho da Fusão de Decisão alcançou desempenho superior, do ponto de vista estatístico. Em contraste, as células com (*) representam os casos onde as outras abordagens foram superiores, do ponto de vista estatístico, à Fusão de Decisão. Para as demais células, o desempenho estatístico de ambas as abordagens são similares.
Testes Estatísticos - Métodos de Fusão Teste Friedman 1 - 2 1 - 3 1 - 4 1 - 5 Métrica p-value p-value p-value p-value p-value
B1 <0.0001 < < < = B2 <0.0001 < < < < B3 <0.0001 < < < < B4 <0.0001 < < < < B5 <0.0001 < < < = B6 <0.0001 < < < < B7 <0.0001 < >(∗) < < B8 <0.0001 < < < < B9 <0.0001 = < < < B10 <0.0001 < < < < B11 <0.0001 < < < < B12 <0.0001 < < < >(∗) B13 <0.0001 < < < >(∗) B14 <0.0001 = >(∗) < < B15 <0.0001 >(∗) = < < B16 <0.0001 < = = < B17 <0.0001 < < < = B18 <0.0001 >(∗) = < >(∗) B19 <0.0001 < < < < B20 <0.0001 < = < < Win - 16/20 14/20 19/20 14/20
Tabela 4: Resultados dos Testes Estatísticos da Análise Comparativa dos Métodos de Fusão. 1 - Fusão de Decisão, 2 - Fusão de Dados, 3 - PCA, 4 - RANDOM e 5 - No-FS
A partir da Tabela 4, podemos observar que o desempenho de todos os cinco métodos são diferentes, do ponto de vista estatístico, em todas as 20 bases de dados (p-values < 0.05). Por meio teste post-hoc, podemos afirmar que a Fusão de Decisão obteve desem-
penho superior (células sombreadas), do ponto de vista estatístico, em 16 bases de dados, quando comparado a Fusão de Dados, em 14 bases de dados, quando comparado ao PCA e a No-FS, e em 19 bases de dados, quando comparado ao RANDOM.
Os resultados obtidos após a aplicação dos testes estatísticos asseguram a ideia de que a utilização da estrutura de comitês de classificadores como modo de fusão a posteriori, produz resultados superiores a utilização da fusão de dados (fusão a priori), além de su- perar algoritmos de redução individuais (PCA e RANDOM) e o desempenho do conjunto de dados original (No-FS).
6.2
Análise dos Métodos de Seleção Dinâmica
Esta análise experimental é dividida em cinco partes, onde a primeira visa investigar o impacto do uso de medidas da Teoria da Informação no método de seleção dinâmica de atributos (DFS) como critério de avaliação. O método de seleção dinâmica, original- mente proposto em (NUNES et al., 2016), foi explorado por meio da variação do critério de avaliação utilizado para calcular a relevância dos atributos. Por meio da análise re- alizada, foi possível identificar que o uso da Informação Mútua, ao invés da Correlação de Spearman, foi capaz de capturar com mais eficiência a relevância dos atributos. A partir dos resultados obtidos na investigação acerca dos critérios de avaliação no DFS, a segunda análise tem como objetivo analisar o impacto do particionamento dos dados na seleção dinâmica de atributos. Dessa forma, visando uma análise robusta para análise do particionamento dos dados, utilizaremos o método de seleção dinâmica com critério de avaliação baseado em Informação Mútua (DFS-M). A terceira análise avalia o uso de diferentes critérios no processo de automatização pela fronteira de pareto do método de seleção dinâmica proposto nesta dissertação (PF-DFS). As últimas duas análises são de natureza comparativa, onde a primeira visa comparar o desempenho do método proposto, PF-DFS, com o algoritmo original (DFS). Por fim, a segunda análise comparativa visa comparar o desempenho do PF-DFS com algoritmos de redução conhecidos, bem como com o conjunto original de dados (sem seleção de atributos). O principal objetivo dessa análise é verificar o desempenho do método proposto, em comparação com a aplicação, ou ausência, de métodos tradicionais de seleção de atributos. Os resultados descritos nessa seção são representados pela acurácia média e desvio padrão obtidos levando em consi- deração todos os três algoritmos de classificação (Árvore de Decisão, SVM e k-NN), para todas as 10 execuções do método de validação cruzada com 10-folds.