TESTES ESTATÍSTICOS

Os resultados de algoritmos evolucionários são estocásticos e podem ser modelados como variáveis aleatórias. Para comparar dois algoritmos evolucionários utilizam-se testes es- tatísticos sobre indicadores (média, mediana, etc.) das amostras coletadas durante as execuções

dos algoritmos.

Os testes estatísticos classicamente utilizados são os testes de hipótese. Um teste de hipótese é um fato que se deseja provar verdadeiro (ou falso). No contexto de simulações, uma hipótese pode ser algo como “O algoritmo A é melhor que o algoritmo B” ou “A média dos resultados do algoritmo A é melhor do que a média dos resultados do algoritmo B”. Um teste estatístico é um algoritmo utilizado para aferir com um certo grau de confiança se uma hipótese é válida (verdadeira) ou não (falsa). Existem diferentes classes de testes de hipótese. Os testes podem ser paramétricos ou não-paramétricos. Um teste paramétrico só é válido sob certas condições, mas são mais precisos que testes não paramétricos e, portanto, são preferíveis caso as condições sejam atendidas. Segundo García et al. (2009), há uma série de condições que devem ser assumidas para o uso seguro de testes estatísticos paramétricos:

• independência: em estatística, dois eventos são independentes quando o fato de um ocor- rer não modifica a probabilidade de ocorrência do outro;

• normalidade: uma observação é normal quando seu comportamento se assemelha a uma distribuição Gaussiana com um certo valor de média µ e variância σ . Um teste de norma- lidade aplicado sobre uma amostra pode indicar a presença ou ausência destas condições nos dados observados. García et al. (2009) propõem três testes de normalidade:

– Kolmogorov-Smirnov: este teste compara a distribuição acumulada dos dados ob- servados com a distribuição acumulada esperada para uma distribuição Gaussiana, obtendo um p-valor baseado nas duas discrepâncias;

– Shapiro-Wilk: este teste analisa os dados observados para computar o nível de sime- tria e formato da curva com o objetivo de computar a diferença com respeito a uma distribuição Gaussiana obtendo o p-valor da soma dos quadrados destas discrepân- cias. O Shapiro-Wilk foi utilizado nesta tese para testar a normalidade dos indi- cadores de qualidade;

– D’Agostino-Pearson: este teste, primeiro computa a falta de simetria e o formato da curva para quantificar quão longe de uma distribuição Gaussiana os dados estão em termos de assimetria e formato. Então o teste calcula o quanto cada um destes valores difere do valor esperado para uma distribuição Gaussiana, e computa um único p-valor a partir da soma destas discrepâncias.

• homocedasticidade (Homoscedasticity): esta propriedade indica a existência da hipótese de igualdade das variâncias. O teste de Levene (LEVENE, 1960) é usado para verificar se as amostras testadas apresentam homogeneidade (homoscedasticity) ou heterogeneidade

de variâncias (heteroscedasticity). Nesta tese não foi realizado nenhum teste de homo- cedasticidade.

Assumindo que as condições descritas anteriormente são satisfeitas, pode-se aplicar diferentes testes estatísticos paramétricos tais como o teste-t (CASELLA; BERGER, 2001) ou o teste-z (CASELLA; BERGER, 2001) para a comparação entre duas amostras. Quando se de- seja comparar três ou mais algoritmos (amostras) pode-se utilizar o teste ANOVA (CASELLA; BERGER, 2001).

No caso da violação das condições sugeridas por García et al. (2009), deve-se utilizar um teste não-paramétrico. Os testes não-paramétricos são considerados uma ferramenta útil quando os dados resultantes de um experimento não satisfazem as condições discutidas anteri- ormente. No caso de duas amostras, os testes não-paramétricos de Wilcoxon (dados pareados) ou Mann-Whitney rank sum (dados independentes) podem ser utilizados.

Além de paramétrico ou não paramétrico, um teste de hipótese pode ser próprio para dados pareados ou não pareados. Um teste não pareado deve ser aplicado quando os conjuntos de dados não são correlatos, ou seja, são independentes. Conjuntos correlatos de dados, ou seja, dependentes podem se beneficiar de testes pareados. No caso de simulações, dados correlatos podem estar associados a populações iniciais idênticas dos algoritmos. Em caso de dados não- pareados e um conjunto com mais de duas amostras (dois algoritmos), o teste de Kruskal-Wallis é bem aceito quando as condições para testes paramétricos não são satisfeitas e apresenta um poder maior na presença de distribuições assimétricas, outliers, etc. Para duas amostras não- pareadas o teste comumente utilizado é o de Mann-Whitney.

Uma outra classe de testes são os testes em bloco, os quais permitem verificar o desem- penho de algoritmos sobre um problema, ou seja, um grupo/bloco de instâncias (DERRAC et al., 2011). Um exemplo deste tipo de teste é o teste de Friedman. O teste de Friedman (FRIED- MAN, 1937) pode ser utilizado quando se deseja realizar a análise estatística em experimentos envolvendo dois fatores, como por exemplo quando deseja-se comparar o desempenho de múlti- plos algoritmos em múltiplas instâncias de teste (bloco de instâncias). O teste está interessado em identificar a variação da mediana dos resultados dos algoritmos dentro das várias instâncias, minimizando erros to tipo I (falsos positivos). A hipótese nula quando aceita indica que não há diferença estatística entre os algoritmos nas instâncias consideradas (HOLLANDER; WOLFE, 1999).

Conforme apresentado no Capítulo 7 para a análise instância a instância, optou-se neste trabalho pelo uso do teste Mann-Whitey rank sum (MOORE et al., 2003; GIBBONS, 1985)

para a comparação quando duas amostras (algoritmos) são levadas em consideração e do teste Kruskal-Wallis (CASELLA; BERGER, 2001; KNOWLES et al., 2006) quando três ou mais amostras estão sendo comparadas. Para a análise do desempenho geral dos algoritmos no trata- mento de um conjunto de instâncias, optou-e pelo teste MS_Friedman. O teste de normalidade adotado foi o Shapiro-Wilk.

3 PROBLEMAS MULTIOBJETIVO TRATADOS

Este Capítulo apresenta a descrição dos dois problemas de otimização combinatória com múltiplos objetivos tratados neste trabalho: o problema do caixeiro comprador multiobje- tivo (Seção 3.1) e o problema quadrático de alocação multiobjetivo (Seção 3.2).