NIOTS: Ambiente de Estatística

Quando se trabalha com vários algoritmos de otimização e estes possuem alguns parâmetros a serem configurados, torna-se necessário um estudo estatístico, para que seja possível discernir quais são as opções mais viáveis. O estudo estatístico valida ou não as propostas de algoritmos e suas configurações para determinados problemas. O ambiente Estatistics foi implementado para tornar prático e rápido os testes estatísticos realizados.

O ambiente Estatistics possui três painéis, o primeiro gera gráficos das métricas hipervolume,

cardinalidade do conjunto de não dominados e spacing de cada iteração do conjunto de solu-

ções não dominadas. No painel, têm-se as opções sample means, standard deviation e median, conforme Figura 6.10. O cálculo de cada uma dessas estatísticas é realizado com base em cada iteração das amostras. A opção Pareto front gera o gráfico da fronteira de Pareto de todas as amostras.

Neste painel, o botão Data load possibilita a leitura do arquivo “metricas.txt”, que contém os dados necessários para gerar os gráficos (o botão Run gera os gráficos).

O painel Plot Multi-target tem os mesmos objetivos e funcionalidades do painel plot single- target.

Figura 6.10 – Ambiente gráfico NIOTS - Estatística.

No painel Hypothesis test, é possível fazer a leitura de duas séries de dados que serão com- paradas. As séries são ajustadas e, então, é aplicado o teste Kolmogorov-Smirnov para verificar se a distribuição das amostas provém ou não de uma distribuição Normal. Caso as duas dis- tribuições advenham de uma distribuição Normal, é aplicado o teste ANOVA e são gerados os gráficos de Boxplot. Caso as séries não advenham de uma distribuição Normal, é aplicado o teste de Wilconxon e são gerados os gráfico de Boxplot.

6.2 CONCLUSÕES DO CAPÍTULO

Os problemas de otimização multiobjetivo representam melhor o problema de seleção dos hiperparâmetros de uma SVM/SVR, pois consideram um compromisso entre a capacidade de ge- neralização e a complexidade da máquina, além de permitir que o projetista escolha uma solução adequada à sua aplicação.

Para resolver problemas de otimização multiobjetivos multimodais, é comum na literatura o emprego de algoritmos meta-heurísticos. Os algoritmos APMT-MODE e MOPSO em conjunto com as ferramentas LibSVM possuem ampla faixa de possibilidades, o que dificulta a definição de seus parâmetros e escolha da ferramenta. Para tanto, foi desenvolvido o NIOTS, um ambiente gráfico simples que utiliza esses algoritmos e gera um conjunto de relatórios que torna prática a avaliação de uma grande quantidade de informação. O NIOTS possibilita também a validação estatística dos algoritmos implementados e seus parâmetros.

Na versão atual, o NIOTS possibilita a combinação de técnicas novas e outras implementa- das em algoritmos mono-objetivo, de modificação de estratégias de exploração e refinamento do espaço de busca do problema de seleção de hiperparâmetros das SVMs, para que seja possível a comparação com outros algoritmos do estado da arte.

7 ESTUDO DE CASOS

A validação dos algoritmos meta-heurísticos APMT-MODE, AP-MODE e MOPSO tem como objetivo demonstrar a capacidade dos algoritmos em resolver diferentes problemas. Os estudos foram realizados com benchmarks classificadores e regressores para os kernels Gaussiano, po- linomial, arco cosseno e Cauchy. Os resultados obtidos foram comparados, através de testes estatísticos não paramétricos, com os resultados obtidos pelo algoritmo NSGA-II.

7.1 INTRODUÇÃO

Para que haja credibilidade na análise do desempenho alcançados pelos algoritmos APMT- MODE, AP-MODE e MOPSO diante do NSGA-II, foram aplicados os testes estatísticos não paramétrico de Friedman aos resultados obtidos por estes algoritmos, em quatro problemas de aproximação de funções e oito classificadores combinados com os kernels Gaussiano, Cauchy, Polinomial e arco cosseno.

Os testes estatísticos podem ser categorizados em duas classes: (a) paramétricos e (b) não paramétricos. Os testes paramétricos são utilizados quando as amostras de determinado conjunto de experimentos possuem distribuição normal, independência dos dados e homogeneidade da variância, estes dois últimos segundo García et al. (GARCÍA et al., 2008).

A independência dos dados indica a influência que a captação de uma amostra aplica sobre a outra. Neste trabalho, as meta-heurísticas são testadas 32 vezes utilizando os mesmos parâmetros

vide(Tabela 7.4). Porém todos os processos que envolvem geração de números aleatórios foram

realizados de maneira independente, garantindo, assim, a independência entre as amostras. A homogeneidade da variância requer que as amostras de uma mesma população devem pos- suir variância iguais.

Assim, os testes não paramétricos são utilizados quando não se pode atestar a normalidade das amostras e/ou a homogeneidade das mesmas. Mesmo quando não são realizados os testes de normalidade, ou não há informação suficiente sobre as amostras, recomenda-se aplicar os testes não paramétricos (DERRAC et al., 2011).

Os testes estatísticos não paramétricos permitem verificar se há diferença significativa entre os resultados obtidos por dois ou mais algoritmos, como também mensurar esta diferença. Estes dados sempre são dados por um nível de significância α, geralmente assumindo os valores 0, 05 ou 0, 1, aqui adotado como α = 0, 05. Assim, um valor de p < α significa que a hipótese nula é rejeitada e que, pelo menos, uma amostra é estatisticamente diferente da(s) outra(s).

Na comparação de múltiplos algoritmos, deve-se inicialmente identificar (ou inferir) se as soluções obtidas pelos algoritmos em avaliação provêm de uma mesma população, ou seja, se

os algoritmos em questão produzem resultados estatisticamente equivalentes. Essa inferência é realizada através de testes estatísticos de hipótese, em que há duas hipóteses: (a) hipótese nula

(H0), que afirma que não diferença entre as soluções, e (b) hipótese alternativa (H1), que afirma

que há diferença significativa entre os algoritmos avaliados.

Atualmente, a comunidade que tem trabalhado com análise de desempenho de meta-heurísticas opta, nos últimos anos, por usar testes estatísticos não paramétricos. Portanto, foi escolhido o teste de Friedman N × N para avaliar o desempenho entre os algoritmos APMT-MODE, AP-MODE, MOPSO e NSGA-II, conforme sugerido por Islam et al. (2012).

Na Seção 7.2, são caracterizados os benchmarks aplicados às meta-heurísticas APMT-MODE, AP-MODE, MOPSO e NSGA-II.