Testes Estat´ısticos para Avalia¸c˜ ao dos M´ etodos Propostos

A.4 Resultados do classificador OSOPF 2 no dataset CALTECH-256

4.7 Testes Estat´ısticos para Avalia¸c˜ ao dos M´ etodos Propostos

Propostos

Utilizou-se o método estat´ıstico Análise de Variância (ANOVA) junto a Tukey’s HSD para comparar os classificadores desenvolvidos nesta pesquisa com os propostos em [41, 42], com o objetivo de verificar se existe diferen¸ca estat´ıstica entre eles.

ANOVA [43, 74] é um método exploratório para analisar dados experimentais e é muito utilizado em várias aplica¸cões estat´ısticas. O propósito do Análise de Variân¸ca é identificar se existe diferen¸cas significativas entre a média de grupos de valores de um conjunto de experimentos, em que existem variáveis de resposta que dependem de certas combina¸cões e variávies de classifica¸cão. Com ANOVA, avaliou-se se existe diferen¸ca estat´ıstica significativa entre as médias dos resultados de cada classificador.

A análise estat´ıstica baseada bo uso do ANOVA não ajuda a saber quais classificadores diferem do resto. Para isto, foi utilizado Tukey Honest Significant Differences (HSD) [30], também chamado de teste das compara¸cões. Tukey’s HSD faz compara¸cões pairwise entre as médias e apresenta a diferen¸ca entre cada par de médias no P-value ou em um intervalo de confian¸ca. Com este método, procuram-se as diferen¸cas entre os resultados de cada classificador e determina-se se existe diferen¸ca estat´ıstica significativa entre cada par de classificadores. Para confirmar a diferen¸ca estat´ıstica entre os métodos, levou-se em considera¸cão 95% como intervalo de confian¸ca nos resultados gerados pelo teste estat´ıstico. Utilizou-se a mesma metodologia proposta em [41, 42]: foram feitas 10 execu¸cões para cada classificador com n classes conhecidas (3, 6, 9, 12, 15). Ou seja, foram realizadas 10 execu¸cões utilizando 3 classes do dataset como classes conhecidas e cada execu¸cão é feita com um conjunto diferente de classes conhecidas. O mesmo foi feito para 6, 9, 12 e 15 classes conhecidas.

Figura 4.8: Matriz de confusão para problemas open set utilizada no cálculo das me- didas precision e recall. Exemplo com 4 classes conhecidas e com amostras de classes desconhecidas (U). São considerados os falsos desconhecidos (f ni na coluna U) e falsos conhecidos (f pi na linha U). No entanto, os valores da interse¸cão da coluna U e linha U não são considerados como verdaderos desconhecidos (tp).

Resultados dos Experimentos e

Discuss˜ao

Neste cap´ıtulo, apresentam-se os resultados obtidos pelos classificadores propostos em [41, 42] e os desenvolvidos neste trabalho (Se¸cão 3) nos datasets ALOI e CALTECH- 256. Todos os experimentos consideraram os descritores: ACC, BIC, CCV, LAS e QCCH (Se¸cão 4.3). Para fins de compara¸cão, foram selecionados os descritores que obtiveram os melhores resultados com os classificadores OSOPF1 e OSOPF2, os resultados desses experimentos são reportados no Apêndice A.

A Se¸c˜ao 5.1 apresenta os resultados obtidos com os classificadores propostos nesta pesquisa e a Se¸c˜ao 5.2 mostra os resultados dos testes estat´ısticos aplicados para verificar se existe diferen¸ca estat´ıstica entre os classificadores avaliados.

5.1 Resultados dos M´etodos Propostos

Esta se¸cão apresenta os resultados dos métodos para fusão de dados propostos neste trabalho junto com os classificadores OSOPF1 e OSOPF2. Nas Figuras 5.1 e 5.2 são apresentados os resultados dos métodos OSOPF1_{, OSOPF}1_{-CGP, OSOPF}1_{-OGP, Voting-} OSOPF1_{, OSOPF}2_{, OSOPF}2_{-CGP, OSOPF}2_{-OGP e Voting-OSOPF}2 _{nos datasets ALOI} e CALTECH-256, respectivamente. Nesta se¸cão, chamaremos “Métodos OSOPF1_{” ao} conjunto de métodos composto pelo classificador OSOPF1 _{e todos os m´}_{etodos GP ba-} seados nele; e “Métodos OSOPF2” ao grupo de classificadores composto pelo método OSOPF2 e todos os métodos GP baseados nele.

As Figuras 5.1a e 5.2a mostram a acurácia normalizada dos métodos OSOPF1 _{nos da-} tasets ALOI e CALTECH-256, respectivamente. Observa-se que no ALOI (Figura 5.1a), para 3 e 6 classes conhecidas, o melhor classificador foi o OSOPF1_{-OGP, para 9 clas-} ses o melhor foi o OSOPF1 _{e para 12 e 15 classes o Voting-OSOPF}1 _{superou o resto de} classificadores. Observa-se ainda que as acurácias dos classificadores vão melhorando na medida em que o número de classes conhecidas vai aumentando. Este fenômeno faz com que o Voting-OSOPF1 _{melhore seus resultados consideravelmente. Por outro lado, no da-} taset CALTECH-256 (Figura 5.2a) que é um conjunto com maior grau de dificuldade na classifica¸cão pelo tipo de imagens que contém, os métodos propostos obtiveram acurácias

(a) M´etodos OSOPF1. (b) M´etodos OSOPF2.

Figura 5.1: Resultados dos m´etodos GP no dataset ALOI.

(a) M´etodos OSOPF1_. _{(b) M´}_{etodos OSOPF}2_. Figura 5.2: Resultados dos m´etodos GP no dataset CALTECH-256.

relativamente melhores que o classificador OSOPF1_{, excetuando o experimento que con-} sidera 15 classes conhecidas, no qual o OSOPF1 s´o ´e melhor do que o OSOPF1-OGP. O classificador Voting-OSOPF1 foi o melhor em todos os experimentos.

As acurácias normalizadas dos métodos OSOPF2 _{nos datasets ALOI e CALTECH-256} é apresentada nas Figuras 5.1b e 5.2b. Na Figura 5.1b, nota-se que os métodos Voting- OSOPF2 _{e OSOPF}2_{-OGP foram os melhores em todos os experimentos. Al´}_{em disso,} o método OSOPF2_{-CGP obteve resultados relativamente melhores do que o OSOPF}2 para 6, 9, 12 e 15 classes conhecidas. No dataset CALTECH, o OSOPF2 foi relativamente melhor para 3 e 6 classes conhecidas, enquanto que o OSOPF2-OGP foi melhor nos outros casos.

Nas Figuras 5.3 (ALOI) e 5.4 (CALTECH-256), apresentam-se a acurácia das amostras de classes conhecidas (AKS), das classes desconhecidas (AUS) e a acurácia normalizada (NA) correspondentes a todos os métodos utilizados neste trabalho. No conjunto de imagens ALOI (Figura 5.3), os classificadores baseados no método OSOPF1 e OSOPF2 obtiveram os melhores resultados na AKS (Figura 5.3a) e AUS (Figura 5.3b), respectivamente.

Porém, a diferen¸ca nos resultados da AKS entre os métodos OSOPF1 _{e OSOPF}2 _n˜_{ao foi} muito grande; diferente do que aconteceu em rela¸cão à AUS, em que os métodos OSOPF2 são amplamente melhores do que os OSOPF1. É por isso que os métodos OSOPF2 obtiveram uma melhor acurácia normalizada (Figura 5.3c) nos experimentos para 3, 6, 9, 12 e 15 classes conhecidas. No dataset CALTECH (Figura 5.4), o método OSOPF1_-CGP tem a melhor AKS (Figura 5.4a) enquanto o método Voting-OSOPF2 _{a melhor AUS (Fi-} gura 5.4b). A Figura 5.4c mostra que em rela¸cão à acurácia normalizada, para 3 e 6 classes conhecidas o classificador relativamente melhor foi o OSOPF2_{. Nos demais experimentos,} os melhores classificadores foram o Voting-OSOPF1 e OSOPF2-OGP.

No dataset ALOI, a microAverage-F-Measure (Figura 5.3d) e macroAverage-F-Measure (Figura 5.3e) aumentam seus valores na medida em que o openness vai diminuido. Por outro lado, no dataset CALTECH, a microAverage-F-Measure (Figura 5.4d) e macroAverage- F-Measure (Figura 5.4e) não são muito afetadas pelo grau de openness, dado que os valores de classifica¸cão não são muito altos (dataset dif´ıcil de classificar).

Os métodos desenvolvidos neste trabalho obtiveram melhores resultados na maior parte dos experimentos. A combina¸cão de diferentes descritores com programa¸cão genética e Majority Voting permitiu obter melhores resultados no reconhecimento de objetos em cenários abertos, já que cada descritor contribui com diferentes “visões” acerca do conteúdo visual das imagens.

Observa-se nos resultados dos experimentos realizados que os métodos baseados no OSOPF1 são melhores na acurácia das amostras das classes conhecidas (AKS) e os métodos baseados no OSOPF2 são melhores na acurácia das amostras das classes desconhecidas (AUS). O OSOPF1 _obt´_{em melhores resultados na AKS porque a decis˜}_{ao do} classificador para atribuir um label a uma amostra depende se os dois melhores caminhos oferecidos pela floresta de caminhos ótimos pertencem à mesma classe. Desta forma existe um certo grau de especializa¸cão do classificador nas amostras das classes conhecidas já que todas as amostras mais fortemente ligadas a uma determinada classe serão etiquetadas como sendo desta classe. Por outro lado, os métodos OSOPF2 possuem uma alta AUS porque são baseados na propor¸cão das distâncias dos dois melhores caminhos até árvores com amostras de classes diferentes, com isto, todas as amostras que estão em regiões onde existe overlapping (amostras de diferentes classes que possuem vetores de caracter´ısticas similares) são classificadas como desconhecidas e não como parte de uma das classes que estão na região de overlapping.

Nos resultados, também se pode observar que os métodos CGP (treino fechado) con- seguiram uma boa especializa¸cão do classificador na classifica¸cão das amostras, com isto, obtiveram-se bons resultados na AKS. Entretanto, os métodos OGP obtiveram melhores resultados na AUS porque lograram uma boa generaliza¸cão do classificador na classifica¸cão das amostras. Finalmente, embora o Majority Voting seja uma técnica fácil de implementar para combinar dados, os métodos Voting-OSOPF1 e Voting-OSOPF2 obtiveram resultados promissores no reconhecimento de amostras de classes conhecidas e desconhecidas, respectivamente. De fato, dentre os métodos avaliados neste trabalho, o Voting-OSOPF2_{e o OSOPF}2_{-OGP foram os m´}_{etodos com os resultados mais promissores.}

(a) Acur´acia das classes conhecidas (AKS). (b) Acur´acia das classes desconhecidas (AUS).

(d) microAverage-F-Measure. (e) macroAverage-F-Measure.

(a) Acur´acia das classes conhecidas (AKS). (b) Acur´acia das classes desconhecidas (AUS).

(d) microAverage-F-Measure. (e) macroAverage-F-Measure.

No documento Técnicas de combinação de evidências para problemas de reconhecimento em cenário aberto (páginas 51-58)