O primeiro experimento aqui apresentado diz respeito à otimização de funções não- ruidosas. Nesse experimento, o algoritmo ES-AP é comparado com uma estratégia evolutiva simples, ES-BS, e com uma estratégia evolutiva com busca local do tipo Quasi-Newton, ES-QN. Os algoritmos ES-BS, ES-QN e ES-AP, com parâmetros sin- tonizados [Eiben & Smit, 2011] pela heurística RPS, de acordo com o Apêndice A, são utilizados para realizar a otimização das 12 funções-objetivo [Liang et al., 2013] mencionadas na Tabela 4.1 na dimensão 10, com região de busca [−100; 100] para cada variável, e ajustadas para que no ótimo o valor da função-objetivo seja igual a 0 (zero). Menciona-se também que cada função-objetivo é rotacionada por uma matriz particu- lar e possui a solução ótima localizada em diferentes posições, não sendo o centro da região de busca.
Cada algoritmo dispõe de um orçamento de 1000 avaliações de função-objetivo por execução, sendo executado 30 vezes para cada função-objetivo, com distintas sementes para o gerador de números aleatórios. Isso significa que cada algoritmo será represen- tado por 360 resultados, sendo 30 resultados para cada uma das 12 funções-objetivo. O resultado, para cada heurística, é representado pelo melhor valor de função-objetivo encontrado durante a execução. Os algoritmos são executados, neste experimento, com os parâmetros sintonizados conforme mostrado na Tabela 4.2.
O nível de significância igual a 0,05 é utilizado em um teste de hipótese cuja hipótese nula afirma que as medianas das estimativas do valor ótimo da função-objetivo encontradas pelos algoritmos, considerando todas as execuções, são iguais. A hipótese alternativa desse teste afirma que pelo menos um dos algoritmos resulta em mediana diferente das demais.
4.1. Experimento 1 - Comparação dos Algoritmos em Objetivos Não
Ruidosos 43
Tabela 4.1: Conjunto de funções-objetivo com os valores estimados de amplitude no valor de objetivo em um raio de distância 1 do ótimo.
Função Amplitude Características
Elliptic 3,7193 · 106 Unimodal; não-separável; quadrática mal-condicionada.
Bent Cigar 1,5784 · 107 Unimodal; não-separável; suave porém estreita.
Discus 2,0545 · 106 Unimodal; não-separável; com uma direção sensível.
Rosenbrock 5,0863 Multimodal; não-separável; possui um vale estreito doótimo local para o global. Ackley 6,5721 Multimodal; não-separável.
Weierstrass 2,4268 Multimodal; não-separável; contínua, mas diferenciávelsomente em um conjunto de pontos. Griewank 1,2362 Multimodal; não-separável.
Rastrigin 9,2487 Multimodal; não-separável; quantidade alta de ótimoslocais. Schwefel 207,0700 Multimodal; não-separável; quantidade alta de ótimoslocais, cujo segundo melhor é longe do ótimo global. Katsuura 6,2114 Multimodal; não-separável; contínua, mas não diferen-ciável. HappyCat 0,9613 Multimodal; não-separável.
HGBat 3,2226 Multimodal; não-separável.
Tabela 4.2: Parâmetros sintonizados para objetivos não ruidosos.
Heurística Parâmetros
ES-BS (pu, ps, pc) = (0,856; 9,035; 0,674)
ES-QN (pu, ps, pc, pl, pε) = (1,038; 14,506; 0,712; 0,129; 0,068)
ES-AP (pu, ps, pc, pl, pε, pdb, psp) = (0,885; 14,080; 0,888; 0,271; 0,009; 2,511; 1,475)
Os 360 valores obtidos por cada uma das heurísticas ES-BS, ES-QN e ES-AP, nas 30 execuções para cada uma das 12 funções-objetivo, são representados na Figura 4.1. Neste beanplot observa-se que, com um mesmo orçamento de avaliação, a distribuição da amostra gerada pelo algoritmo proposto ES-AP atinge valores de função-objetivo menores, quando comparados àqueles produzidos pelos outros algoritmos estudados. Verifica-se nessa figura que o ES-AP obteve valores de função-objetivo em geral menores que os correspondentes quantis dos outros algoritmos, além de apresentar distribuição de valores com menor dispersão. Deve-se notar ainda que os gráficos de beanplot dos diferentes algoritmos exibem agrupamentos de valores de função-objetivo que permitem identificar, nesses gráficos que agregam todas as funções-objetivo, as contribuições de diferentes funções – o que permite inferir o comportamento de cada algoritmo em cada função. O detalhamento dos resultados, com a exibição dos gráficos correspondentes a cada função-objetivo, é apresentado no Apêndice B.
44 Capítulo 4. Resultados
Todos os Objetivos
Log do Melhor Objetiv
o 0 2 4 6 8 10 12 14 16 18 BS QN AP
Figura 4.1: Beanplot para o log(f(x) + 1) dos melhores valores de objetivo retornados pelos algoritmos em relação a todas as funções-objetivo.
Tabela 4.3: Estatísticas para o log(f(x)+1) dos melhores valores de objetivo retornados pelos algoritmos em relação a todas as funções-objetivo sem ruído.
Estatística BS QN AP Mínimo 0,0397 0,0610 0,0000 1o Quartil 0,5726 0,6867 0,3104 Mediana 3,0445 3,0839 1,1730 3o Quartil 7,5454 7,2941 3,0445 Máximo 17,2193 17,8617 10,9260
Tabela 4.4: Valores-p geral e das comparações pareadas entre os algoritmos pelo teste de Quade em relação a todas as funções-objetivo sem ruído.
ES-BS ES-QN
ES-QN 0,448097 –
ES-AP 0,000000 0,000000 Valor-p do Teste: 0,000000
O exame da Tabela 4.3 permite concluir que o algoritmo ES-AP atingiu o valor ótimo para pelo menos alguma função-objetivo, e alcançou o melhor valor, dentre todos os algoritmos, para cada um dos quantis examinados.
A Tabela 4.4 mostra o valor-p obtido no teste de Quade, que indica a existência de diferença significativa entre, pelo menos, algum par de algoritmos em relação aos melhores valores de objetivo retornados nas execuções. Isso está de acordo com a diferença detectada entre o ES-AP e as outras duas estratégias pelo valor-p menor que 10−6. Por outro lado, não se observou diferença significativa entre os algoritmos ES-BS
e ES-QN.
4.1. Experimento 1 - Comparação dos Algoritmos em Objetivos Não Ruidosos 45 0.2 0.4 0.6 0.8 1.0 1 2 3 4 5
Todos os Objetivos
Evolução do Número de Avaliações
Log da Melhor Mediana de Objetiv
o
BS QN AP
Figura 4.2: Evolução da mediana do log(f(x) + 1) para o melhor valor de objetivo obtido pelos algoritmos pela progressão do número de avaliações, em relação a todas as funções-objetivo.
as 30 execuções de cada algoritmo) da melhor solução como função do número de ava- liações de função-objetivo, construiu-se a Figura 4.2. Nesse gráfico é possível observar como a busca local baseada na otimização de uma aproximação de função contribuiu para a melhoria da convergência. Nota-se que no início a heurística ES-QN gera solu- ções melhores até vinte e cinco por cento do total de avaliações e, a seguir, permanece estagnada com soluções cuja qualidade é próxima daquelas geradas pela heurística ES- BS. Por outro lado, após esse número de avaliações, a heurística ES-AP ultrapassa o ES-QN, sendo que a diferença do valor da função-objetivo alcançado persiste aumen- tando até o final da execução.
Com base nesses resultados, pode-se afirmar que a heurística ES-AP foi superior em relação às heurísticas ES-BS e ES-QN para a otimização do conjunto considerado de funções não-ruidosas.
A análise detalhada dos dados considerados é apresentada no Apêndice B, em que as Figuras B.1 e B.2 e Tabelas B.1 e B.2, apresentam os resultados separadamente para cada função-objetivo. Tais saídas se encontram sintetizadas na Tabela 4.5.
O exame da Tabela 4.5 permite concluir que a estratégia ES-AP parece global- mente superior às outras duas, só não tendo obtido o primeiro lugar no ranking para uma das funções-objetivo. Mesmo nesse caso, o ES-AP não foi significativamente pior que o ES-BS, que por sua vez não foi também significativamente pior que o ES-QN.
46 Capítulo 4. Resultados
Tabela 4.5: Ranking da mediana do valor da função-objetivo para as diferentes heurís- ticas, considerando cada função-objetivo, para problemas não-ruidosos. Considera-se empate no caso de diferença não-significativa, para significância de 0,05. Por convenção, se ocorre empate de duas heurísticas no ranking 1, a terceira heurística recebe ranking 2 se ficar empatada com uma das duas primeiras, ou ranking 3 se for significativamente diferente das duas primeiras.
ES-BS ES-QN ES-AP
Elliptic 3 2 1 Bent Cigar 3 2 1 Discus 2 2 1 Rosenbrock 1 2 1 Ackley 1 3 1 Weierstrass 1 1 1 Griewank 2 3 1 Rastrigin 2 1 1 Schwefel 1 1 1 Katsuura 1 1 1 HappyCat 1 1 2 HGBat 1 1 1
Alguns aspectos interessantes podem ser observados nessa tabela. Por exemplo, nota-se que em funções unimodais convexas, como a Elliptic e a Bent Cigar, os métodos ES-AP e ES-QN superam o método ES-BS, o que seria de se esperar, dado que esses fazem uso de aproximações quadráticas da função-objetivo. Não haveria uma razão a priori, nesses casos, nem para um melhor desempenho do ES-AP em relação à ES-QN nem para o contrário disso. Os experimentos revelaram, no entanto, o melhor desem- penho do ES-AP. No caso de funções unimodais não convexas, como a Rosenbrock, ou de funções multimodais, como a Rastrigin, seria de se esperar que as aproximações quadráticas empregadas tanto pelo ES-AP quanto pelo ES-QN pudessem não repre- sentar tamanha vantagem, o que de fato se verificou, tendo o ES-BS nos dois casos atingido o primeiro lugar no ranking, ao lado do ES-AP. Nesses casos, pode-se inferir que a forma de utilização da aproximação quadrática empregada no ES-AP pelo menos não prejudicou o desempenho do algoritmo, ao contrário da formulação empregada no ES-QN, que causou degradação no desempenho do algoritmo. Pode-se conjecturar que essa diferença ocorra pelo fato de que o ES-QN utiliza a informação da aproximação quadrática de maneira estritamente local, perfazendo uma busca em linha, enquanto o ES-AP utiliza informação semelhante de uma maneira semi-global, que pode permitir que a aproximação realize uma “filtragem” na paisagem de fitness da função, auxiliando a heurística na fuga de pontos de mínimo local.
4.2. Experimento 2 - Comparação dos Algoritmos em Objetivos
Ruidosos 47
Tabela 4.6: Parâmetros sintonizados para objetivos ruidosos.
Heurística Parâmetros ES-BS (pu, ps, pc) = (0,926; 7,531; 0,757) ES-QN (pu, ps, pc, pl, pε) = (0,841; 12,860; 0,505; 0,444; 0,345) ES-AP (pu, ps, pc, pl, pε, pdb, psp) = (1,143; 14,508; 0,659; 0,114; 0,009; 2,973; 1,817) ES-CC (pu, ps, pc, pE, pα) = (0,805; 6,231; 0,899; 2; 0,727) ES-APCC (pu, ps, pc, pE, pα, pl, pε, pdb, psp) = (0,806; 5,786; 0,563; 2; 0,856; 0,368; 0,338; 2,967; 2,033)