Resultados - Análise dos Resultados do MINAS-LC

6.4 Análise dos Resultados do MINAS-LC

6.4.2 Resultados

Nesta seção apresentaremos os resultados obtidos pelo MINAS-LC e por todos os métodos da literatura apresentados na Tabela 7 (Seção 6.2). As bases de dados usadas nos experimentos foram apresentadas na Tabela5(Seção6.1.1) avaliadas seguindo a metodologia da Seção6.3.1.

Nas Tabelas 12e 13, apresentamos as médias das medidas F1Me F1mdas bases de dados. Nessas tabelas, também são mostradas a configuração de parâmetros utilizada pelo

MINAS-LCem cada uma das bases de dados. Escolhemos aF1para mostrar os resultados pois é uma estratégia simples e comumente usada em trabalhos da literatura para comparar métodos. Ainda, através dos cálculos das média micro e macro, é possível calcular os resultados dando pesos iguais para os exemplos (média micro) e para os rótulos (macro), obtendo assim, uma comparação mais justa.

Como o objetivo dos experimentos é validar oMINAS-LCem relação os métodos lower bounds, nas Tabelas12e13, destacamos em sublinhado os melhores resultados dentre esses métodos e marcamos em negrito os melhores resultados dentre todos os métodos, incluindo os upper bounds.

OMINAS-LCobteve resultados superiores aos métodos lower bounds em todas as bases de dados, exceto na 5CVT (quando não os superou naF1M, superou-os naF1m, mesmo com pequenas diferenças entre os resultados). É importante destacar que nas bases de dados reais o

MINAS-LCobteve resultados competitivos até com os métodos upper bounds, superando-os nas bases NUS-WIDE, Yeast e Reuters. Isso indica que, mesmo em ambientes estacionários e com poucos exemplos disponíveis para treinamento, oMINAS-LCé capaz de construir modelos de decisão eficazes.

Tabela 12 – MédiasF1Msobre todas a janelas de avaliação nos experimentos do MINAS-LC. A coluna Config. representa a configuração de parâmetros usada pelo MINAS-LC na base de dados. Os melhores resultados entre oMINAS-LCe os métodos lower boundsestão sublinhados e os melhores resultados entre todos os métodos estão em negrito. representa a configuração de parâmetros usada pelo MINAS-LC na base de dados.

Bases de Dados Config. MINAS-LP MINAS-PS CC PS MLHT iSOUPtree EaM LHT EaCC EaBR

Mediamill 4 0.170 0,205 0,208 0,126 0,126 0,355 0,248 0,350 0,370 NUS-WIDE 2 0,443 0,391 0,354 0,301 0,301 0,323 0,344 0,420 0,434 Scene 5 0,566 0,514 0,137 0,025 0,025 0,174 0,331 0,643 0,652 Yeast 5 0,537 0,538 0,358 0,244 0,244 0,531 0,320 0,430 0,399 Reuters 1 0,400 0,407 0,124 0,004 0,004 0,067 0,078 0,099 0,098 5CVT 3 0,586 0,563 0,651 0,645 0,655 0,499 0,755 0,869 0,888 4CRE-V1 5 0,357 0,352 0,271 0,233 0,233 0,328 0,725 0,966 0,968 4CRE-V2 5 0,399 0,455 0,351 0,295 0,325 0,440 0,836 0,942 0,955 MOA-3C-2D 2 0,729 0,689 0,542 0,548 0,520 0,649 0,928 0,964 0,973 MOA-5C-2D 5 0,567 0,569 0,554 0,350 0,363 0,562 0,861 0,950 0,956

Capítulo 6. Experimentos 101

Tabela 13 – MédiasF1msobre todas a janelas de avaliação nos experimentos do MINAS-LC. A coluna Config. representa a configuração de parâmetros usada pelo MINAS-LC na base de dados. Os melhores resultados entre oMINAS-LCe os métodos lower boundsestão sublinhados e os melhores resultados entre todos os métodos estão em negrito.

Bases de Dados Config. MINAS-LP MINAS-PS CC PS MLHT iSOUPtree EaM LHT EaCC EaBR

Mediamill 4 0,610 0,589 0,538 0,552 0,552 0,368 0,601 0,647 0,656 NUS-WIDE 2 0,503 0,426 0,530 0,463 0,463 0,338 0,424 0,550 0,559 Scene 5 0,689 0,545 0,306 0,059 0,059 0,242 0,213 0,775 0,789 Yeast 5 0,542 0,545 0,669 0,565 0,565 0,539 0,584 0,670 0,678 Reuters 1 0,380 0,399 0,110 0,069 0,069 0,071 0,136 0,105 0,105 5CVT 3 0,480 0,528 0,617 0,620 0,639 0,484 0,755 0,857 0,877 4CRE-V1 5 0,345 0,340 0,236 0,193 0,193 0,321 0,696 0,964 0,967 4CRE-V2 5 0,392 0,451 0,374 0,292 0,332 0,461 0,832 0,940 0,954 MOA-3C-2D 2 0,760 0,704 0,613 0,605 0,581 0,654 0,928 0,928 0,972 MOA-5C-2D 5 0,603 0,578 0,618 0,361 0,388 0,561 0,867 0,950 0,956

Dados os resultados apresentados nas Tabelas12e13, para analisar se há diferenças estatísticas entre os algoritmos, realizamos o teste de Friedman assumindo a equivalência entre os algoritmos como hipótese nula. Se essa hipótese nula é rejeitada (com confiança de 95%) o pós-teste de Nemenyi é executado para detectar quais métodos possuem diferenças significativas entre si (DEMŠAR,2006). O desempenho de dois métodos é significativamente diferente se a média de seus correspondentes rankings for maior do que o valor da diferença crítica (CD) definido no pós-teste de Nemenyi.

Na Figura13, mostramos o gráfico de diferenças críticas das medidasF1MeF1m. Nas figuras, os métodos são dispostos em rankings de acordo com seu desempenho nas bases de dados de maneira que os métodos melhores ranqueados estão a esquerda. A diferença crítica necessária para diferenciar dois métodos é mostrada no topo dos gráficos.É possível notar que, mesmo o

MINAS-LCnão obtendo resultados significativamente diferentes dos métodos lower bounds, ele sempre está mais bem ranqueado do que eles. Além disso, os resultados doMINAS-LCtambém não apresentam diferenças significativas dos resultados dos métodos upper bounds e, em relação aF1M, oMINAS-LCestá na mesma posição do ranking que o EaM LHT .

Figura 13 – Diagramas de diferença crítica obtidos a partir do teste de Friedman com 95% de significância e pós-teste de Nemenyi.

1 2 3 4 5 6 7 8 9 EaBR EaCC MINAS-LP MINAS-PS EaMLHT ISOUPTree CC MLHT PS CD

(a) Diagrama de diferença crítica daF1M

1 2 3 4 5 6 7 8 9 EaBR EaCC EaMLHT MINAS-LP MINAS-PS CC MLHT ISOUPTree PS CD

Capítulo 6. Experimentos 102

Figura 14 – Resultados F1m e F1M do MINAS-LC nas bases de dados sintéticas

0.00 0.25 0.50 0.75 1.00 0 10 20 30 40 50 Window F1M CC

EaBR EaCCEaMLHT ISOUPTreeMINAS-LP MINAS-PSMLHT PS

(a) F1M da 4CRE-V1 com configuração 5 de parâme- tros 0.00 0.25 0.50 0.75 1.00 0 10 20 30 40 50 Window F1m CC

EaBR EaCCEaMLHT ISOUPTreeMINAS-LP MINAS-PSMLHT PS

(b) F1m da 4CRE-V1 com configuração 5 de parâme- tros 0.00 0.25 0.50 0.75 1.00 0 10 20 30 40 50 Window F1M CC

EaBR EaCCEaMLHT ISOUPTreeMINAS-LP MINAS-PSMLHT PS

(d) F1m da 4CRE-V2 com configuração 5 de parâme- tros 0.00 0.25 0.50 0.75 1.00 0 10 20 30 40 50 Window F1M CC

EaBR EaCCEaMLHT ISOUPTreeMINAS-LP MINAS-PSMLHT PS

(e) F1M da 5CVT com configuração 3 de parâmetros 0.00 0.25 0.50 0.75 1.00 0 10 20 30 40 50 Window F1m CC

EaBR EaCCEaMLHT ISOUPTreeMINAS-LP MINAS-PSMLHT PS

(f) F1m da 5CVT com configuração 3 de parâmetros

Na mineração deFCDmostrar a média dos resultados dos métodos em bases de dados cuja distribuição é não estacionárias, não é suficiente. É importante mostrar os resultados do método ao longo do tempo, possibilitando assim, observarmos seus comportamentos perante mudanças de conceito. Portanto, apresentamos nas Figuras14e15os resultados deF1MeF1m

dos métodos ao longo do tempo.

Na base de dados 4CRE-V1 (Figura14ae14b) ambas as variações doMINAS-LC(com métodosPSe LP), mesmo encontrando dificuldades em superar o iSOU P T ree, estão quase sempre acima dos métodos lower bounds. Nessa base de dados, nota-se a grande diferença entre

Capítulo 6. Experimentos 103

Figura 15 – Resultados F1m e F1M do MINAS-LC nas bases de dados sintéticas

0.00 0.25 0.50 0.75 1.00 0 10 20 30 40 50 Window F1M CC

EaBR EaCCEaMLHT ISOUPTreeMINAS-LP MINAS-PSMLHT PS

(a) F1M da MOA-3C-2D com configuração 2 de pa- râmetros 0.00 0.25 0.50 0.75 1.00 0 10 20 30 40 50 Window F1m CC

EaBR EaCCEaMLHT ISOUPTreeMINAS-LP MINAS-PSMLHT PS

(b) F1m da MOA-3C-2D com configuração 2 de pa- râmetros 0.00 0.25 0.50 0.75 1.00 0 10 20 30 40 50 Window F1M CC

EaBR EaCCEaMLHT ISOUPTreeMINAS-LP MINAS-PSMLHT PS

(d) F1m da MOA-5C-2D com configuração 5 de pa- râmetros

os resultados dos métodos upper bounds, cujos modelos de decisão são atualizados com os rótulos reais de exemplos, e os resultados doMINAS-LCe dos métodos lower bounds, cujos modelos de decisão não atualizam ou são atualizados de forma não supervisionada. O EaCC e EaBR quase sempre mantêm seus resultados em 100% deF1MeF1m, mesmo passando por várias mudanças de conceito ao longo do tempo.

Um característica importante doMINAS-LCé manter sua estabilidade após às mudanças de conceito. Essa característica é observada em todos as bases de dados não estacionária, destacando-se na 4CRE-V2 (Figura 14c e 14d) e MOA-3C-2D (Figura 15a e 15b). Nessas bases de dados, o desempenho preditivo dos métodos lower bounds sofrem queda contínua e significativa (entre 40% a 80% aproximadamente) até a janela 10 (no caso da 4CRE-V2) e janela 20 (no caso da MOA-3C-2D), enquanto oMINAS-LCse mantém sempre estável ou, após uma queda de desempenho, se estabiliza e até evolui (como observado em sua variação MINAS-PS na Figura14c).

A base de dados MOA-5C-2D é composta por classes com deslocamento rápido no espaço de forma a trocarem de posição umas com as outras com frequência (isso pode ser observado na Figura10). Esse tipo de comportamento é desafiador para métodos com modelos de decisão baseados em agrupamento. No caso doMINAS-LCesse tipo de mudança de conceito,

Capítulo 6. Experimentos 104

impossibilita a atualização de seu modelo de decisão a tempo de adaptar-se de forma precisa. Como as classes trocam de lugar com frequência, os microgrupos não são removidos, ou são atualizados erroneamente, pois continuam classificando exemplos da nova classe que assumiu o lugar da classe usada na construção do microgrupo. Portanto, nos experimentos executados nessa bases de dados, o MINAS-LCsuperou com dificuldades (em médiaF1M) os métodos lower bounds. No entanto, ao observar o desempenho ao longo do tempo (Figuras15ce15d), percebemos a superioridade dos resultados do método CC em relação ao MINAS-LC até a metade do fluxo de dados. Ainda, o métodoiSOUPTreemanteve-se com resultados semelhantes aos doMINAS-LCpor todo o fluxo de dados.

Por fim, na base de dados 5CVT, acontece um problema semelhante ao da base de dados MOA-5C-2D. As classes não trocam de lugar, mas se movem em conjunto de um lado para outro rapidamente (ver Figura9). Isso faz com que oMINAS-LC, até mesmo com configurações de parâmetros que possibilitam a eliminação e criação de microgrupos com frequência (C1 e C3, por assumirem valores de Θ e ω baixos), não seja apto a adaptar-se a tais mudanças de conceito de modo a superar os métodos lower bounds.

No documento Detecção de novidade em fluxos contínuos de dados multirrótulo (páginas 101-105)