Log do Melhor Objetiv
o 0 2 4 6 8 10 12 14 16 18 20 BS QN AP CC APCC (f) Desvio de 1e−3.
4.2. Experimento 2 - Comparação dos Algoritmos em Objetivos
Ruidosos 53
Todos os Objetivos pelo Desvio 0.01
Log do Melhor Objetiv
o 0 2 4 6 8 10 12 14 16 18 20 BS QN AP CC APCC (g) Desvio de 1e−2.
Todos os Objetivos pelo Desvio 0.1
Log do Melhor Objetiv
o 0 2 4 6 8 10 12 14 16 18 20 BS QN AP CC APCC (h) Desvio de 1e−1.
Figura 4.5: Beanplot para o log(f(x) + 1) dos melhores valores de objetivos reais retornados pelos algoritmos em relação a todas as funções-objetivo em cada nível de ruído.
54 Capítulo 4. Resultados
O detalhamento dos resultados obtidos para cada função-objetivo é apresentado nas Tabelas B.3 e B.4 do Apêndice B. Esses resultados são sintetizados na Tabela 4.9. Quanto à metodologia para construção desta tabela, deve-se mencionar que o caráter não transitivo da relação de equivalência neste contexto faz com que não seja imediata a construção de um ranking a partir das relações de equivalência ou diferença entre os diversos elementos de um conjunto. Assim, mesmo se não há diferença significativa entre A e B e também não há diferença significativa entre B e C, ainda pode ser que exista diferença significativa entre A e C. A construção dos rankings exibidos na Tabela 4.9 adota então o seguinte critério:
(i) Faz-se k ← 1;
(ii) O algoritmo de melhor mediana recebe ranking k;
(iii) Caso haja p algoritmos cujas medianas não apresentem diferença significativa em relação ao algoritmo anterior, todos esses também recebem ranking k;
(iv) O primeiro algoritmo que não tiver mediana equivalente à do algoritmo indicado no passo (ii) recebe ranking k + 1 caso tenha mediana não-significativamente diferente que algum ou alguns dos algoritmos indicados no passo (iii), ou ranking (k + p + 1) caso tenha mediana significativamente diferente de todos esses; (v) Caso ainda existam algoritmos não ranqueados, faz-se k ← k + p + 1, e retorna-se
ao passo (iii).
Os resultados obtidos neste experimento sugerem conclusões interessantes: • A simples introdução da reavaliação de soluções para aumentar a confiança nas
escolhas feitas por um algoritmo ES não foi vantajosa, em geral, neste experi- mento, não tendo havido ganho de convergência associado ao custo adicional de avaliações de função. Desta forma a heurística ES-CC foi, em geral, pior que o algoritmo básico ES-BS.
• No contexto de funções ruidosas, a heurística ES-QN parece ter tido desempenho um pouco degradado em relação ao contexto isento de ruídos. Isso pode ser medido pela comparação com a heurística básica ES-BS: o ES-QN foi melhor ou igual à heurística ES-BS por 8 vezes, no caso sem ruído, e apenas 6 vezes no caso com ruído.
• A heurística ES-AP, por outro lado, havia sido melhor ou igual à heurística ES- BS por 11 vezes no contexto isento de ruído, passando a ficar melhor ou igual à ES-BS por 12 vezes (a totalidade dos casos) na situação com ruído.
4.2. Experimento 2 - Comparação dos Algoritmos em Objetivos
Ruidosos 55
Tabela 4.9: Ranking da mediana do valor da função-objetivo para as diferentes heu- rísticas, considerando cada função-objetivo, agregando-se todos os níveis de ruído. Considera-se empate no caso de diferença não-significativa, para significância de 0,05. Por convenção, se ocorre empate de duas ou mais heurísticas em determinado ranking, uma heurística situada logo abaixo recebe ranking um a mais se ficar empatada com uma das anteriores, ou ranking igual ao número de heurísticas anteriores mais um se for significativamente diferente das anteriores. A entrada na tabela indicada com (*) indica heurística não equivalente às outras em decorrência da existência de expressivo número de outliers.
ES-BS ES-QN ES-AP ES-CC ES-APCC
Elliptic 3 3 1 5 2 Bent Cigar 2 5 1 4 2 Discus 3 3 1 3 2 Rosenbrock 1 5 1 1 4 Ackley 1 5 1 1 4 Weierstrass 3 2 2 3 1 Griewank 2 5 1 3 4 Rastrigin 3 2 3 3 1 Schwefel 1 1 1 1 1 Katsuura 2 5 1 1 5 HappyCat 5 2 1 5 5 HGBat 1 (*) 1 1 1
• Nas duas únicas funções para as quais a heurística ES-AP não é a melhor, no contexto de funções ruidosas, a primeira colocação no ranking fica com a heurís- tica ES-APCC. Ou seja, em todos os casos, a heurística de melhor desempenho faz uso do procedimento proposto de aproximação quadrática.
• A heurística ES-APCC apresentou desempenho melhor ou igual ao da heurística básica ES-BS para oito funções no contexto de funções ruidosas, o que a situa em posição melhor que as heurísticas ES-BS, ES-CC e ES-QN.
Em síntese, os resultados obtidos parecem sugerir, para o contexto estudado, que a maneira mais eficaz de tratar problemas de otimização de funções ruidosas seria pela aplicação de aproximações lineares-quadráticas como mecanismo gerador de no- vas soluções. Pode-se conjecturar que essas aproximações quadráticas produzam um efeito de filtragem do ruído, desta forma produzindo uma melhoria da convergência do algoritmo.
O mecanismo mais comumente empregado na literatura para tratar ruído, que é o da reamostragem, não se mostrou eficaz nos testes realizados quando aplicado isolada- mente. Quando aplicada em conjunto com a aproximação quadrática, a reamostragem
56 Capítulo 4. Resultados
produziu efeito positivo, mas o melhor custo-benefício foi alcançado pela simples apli- cação da aproximação, que parece fazer o melhor uso de um orçamento limitado de avaliações de função.
Uma possível explicação para essa observação seria a de que deve ser mais van- tajoso examinar um novo ponto, ainda não avaliado, do que repetir a avaliação de um ponto já observado. O possível ganho que seria obtido com essa repetição da avali- ação do mesmo ponto já é aproximadamente obtido pelo efeito de filtragem causado pela aproximação quadrática, que produz novos “palpites” sobre os valores de função- objetivo que já agregam a informação de várias amostragens (embora não do mesmo ponto). Em outras palavras, o efeito de redução do ruído obtido com a reamostra- gem do mesmo ponto também é alcançado com a utilização das diferentes amostras de pontos distintos na síntese da função de aproximação quadrática. Esta amostragem de pontos diferentes tem a vantagem adicional de trazer informação nova, sobre pon- tos anteriormente não amostrados. Tal observação parece constituir uma contribuição relevante desta tese ao conhecimento hoje existente.