Análise do pior desempenho para o algoritmo proposto

Esta subseção trata de analisar as instâncias para as quais o algoritmo proposto perdeu no teste de Kruskal-Wallis: WFG1, WFG2, WFG4, WFG7, DTLZ1, DTLZ2, DTLZ3, DTLZ4, DTLZ7, ZDT1, ZDT2, ZDT3 e ZDT6. Todos os boxplot das análises são referentes ao indica- dor de qualidade hipervolume por ser o principal indicador aplicado. Nesta seção, a proposta (MOEA/D-DRA-UCB) é denominada UCBHybrid por questões de simplificação dos gráficos.

A Figura 16 apresenta duas imagens, à esquerda a média da evolução do hipervolume durante a busca (em % do número de avaliações) e à direita o boxplot final da instância WFG1. No gráfico que apresenta a evolução do hipervolume é possível ver o domínio da abordagem proposta (UCBHybrid) durante um período inicial da busca (até cerca de 35%), e no boxplot é possível ver que a abordagem proposta produz mais resultados outliers, ou seja discrepantes, o que contribui para a diferença estatística no resultado final onde a abordagem proposta teve desempenho inferior.

Figura 16: Análise da instância WFG1.

A Figura 17 apresenta à esquerda a média da evolução do hipervolume (somente até 50% do processo de evolução, pois a progressão se mantêm até o final da execução) e ao centro o boxplot final e à direita o boxplot desconsiderando o algoritmo IBEA (para melhor a visuali- zação da comparação) da instância WFG2.

A análise da instância WFG4 é apresentada na Figura 18, à esquerda a evolução do hipervolume ao centro a evolução do indicador Spread (que tem como objetivo medir o espa- lhamento, sendo um minimizador) à direita o boxplot final. Os dois primeiros gráficos conside-

Figura 17: Análise da instância WFG2.

ram somente 50% das avaliações iniciais, pois a partir desse ponto mantém-se o mesmo padrão. É possível observar que o hipervolume da abordagem proposta segue o NSGA-II, porém, no Spread a abordagem tem grande desvantagem.

Figura 18: Análise da instância WFG4.

A Figura 19 apresenta a análise da instância WFG7. Do mesmo modo que a instância WFG4, sua principal desvantagem é no espalhamento dos resultados.

Todas as instâncias analisadas do WFG são unimodais, ou seja, podem ter uma função objetivo com somente um ótimo local (HUBAND et al., 2006). É possível observar que, a carac- terística unimodal do problema reduz a eficiência do espalhamento das soluções da abordagem

Figura 19: Análise da instância WFG7.

proposta.

As análises das instâncias do DTLZ são apresentadas nas Figuras 20, 21, 22, 23 e 24. Na instância DTLZ1 (Figura 20) a abordagem proposta apresenta uma convergência inicial nitidamente superior à obtida pelos demais algoritmos, porém, após cerca de 30% de avaliações a abordagem proposta deixa de ter ganho em relação às demais, e por fim, o NSGA-II tem o melhor desempenho.

Figura 20: Análise da instância DTLZ1.

A instância DTLZ2 (Figura 21) tem um comportamento semelhante ao analisado na instância DTLZ1. A abordagem proposta tem um valor de Spread melhor que o MOEA/D-

DRA, porém, no hipervolume o MOEA/D-DRA possui o melhor desempenho.

Figura 21: Análise da instância DTLZ2.

A Figura 22 apresenta a evolução do hipervolume e o boxplot final da instância DTLZ3, o hipervolume da proposta é superior em cerca de 75% do processo de evolução, ao final, o MOEA/D-DRA torna-se uma melhor opção.

Figura 22: Análise da instância DTLZ3.

A análise da instância DTLZ4 é apresentada na Figura 23, onde é possível observar uma dominância da proposta durante o início da busca (evolução do hipervolume durante 50% das avaliações iniciais da busca, gráfico à esquerda), porém, o MOEA/D-DRA torna-se uma melhor opção ao final.

Figura 23: Análise da instância DTLZ4.

A Figura 24 apresenta a evolução do hipervolume à esquerda, evolução do Spread ao centro, e o boxplot final à direita. O algoritmo NSGA-II é claramente mais eficiente tanto no hi- pervolume quanto no Spread. A abordagem proposta tem melhor Spread que o MOEA/D-DRA original, porém, ambas têm pior desempenho quando comparadas ao NSGA-II, esta instância tem a característica unimodal.

Figura 24: Análise da instância DTLZ7.

Nas instâncias DTLZ2, DTLZ3 e DTLZ4 o MOEA/D-DRA obteve melhor resultado, todas estas possuem fronteiras de Pareto Côncavas, o que pode indicar que a abordagem original possui melhores resultados em problemas com esta característica. O NSGA-II obteve melhores

resultados nas instâncias DTLZ1 e DTLZ7.

O MOEA/D-DRA tem melhor desempenho na instancia ZDT1, sua análise é apresen- tada na Figura 25. O boxplot à direita desconsidera o IBEA para melhor visualização.

Figura 25: Análise da instância ZDT1.

Assim como a instância ZDT1, na instância ZDT2 a abordagem proposta também perde para o MOEA/D-DRA original, essa comparação é apresentada na Figura 26.

Figura 26: Análise da instância ZDT2.

A Figura 27 apresenta a análise da instância ZDT3, a qual tem características unimodal e Fronteira de Pareto desconectada. O melhor algoritmo claramente é o NSGA-II.

Figura 27: Análise da instância ZDT3.

A análise da instância ZDT6 (apresentada na Figura 28) mostra que a abordagem pro- posta tem desempenho muito próximo ao MOEA/D-DRA, nessa instância com Fronteira Côn- cava.

Figura 28: Análise da instância ZDT6.

Na maioria das instâncias analisadas nesta subseção, o algoritmo proposto apresentou melhores resultados de hipervolume no início da busca e ao decorrer da evolução os demais algoritmos o superaram. Em muitas instâncias é visível que o indicador de qualidade Spread tem resultados inferiores para o algoritmo proposto quando comparado aos demais algoritmos analisados.

Estes resultados mostram que para as instâncias usadas no treinamento, o período de warm-up funciona com os parâmetros otimizados para o hipervolume (mas com certa degra- dação para o Spread). No entanto, esse desempenho superior não é mantido para os períodos finais onde o UCB atua unicamente.

Em geral, os experimentos realizados neste trabalho demonstram que a aplicação de um período de warm-up apresenta rápida convergência na evolução das soluções. Ao mesmo tempo, a utilização de técnicas de configuração automática de parâmetros gera bons resultados em uma ampla gama de instâncias nas quais os testes foram realizados.

5 CONCLUSÃO E TRABALHOS FUTUROS

Neste trabalho, foram consideradas diferentes variantes do framework principal base- ado no MOEA/D-DRA visando melhorar sua eficiência através de uma hiper-heurística.

No primeiro estágio de testes, foram avaliadas as estruturas de MAB (múltiplas estrutu- ras de MAB uma por parâmetro) versus uma única estrutura de MAB a qual define um conjunto de parâmetros) sendo que no caso do conjunto avaliou-se também a influência do warm-up com parâmetros fixados com valores default do MOEA/D-DRA. Os resultados das comparações en- tre as versões mostram que a versão que utiliza somente uma estrutura de MAB para definir um conjunto de parâmetros é superior àquelas que usam múltiplas estruturas. Além disso, foi pos- sível concluir que a utilização de um período de warm-up é benéfica à proposta e tem melhores resultados que a versão original do MOEA/D-DRA em grande parte das instâncias.

Após a configuração da estrutura da abordagem, os testes seguintes foram utilizados para configurar alguns parâmetros internos. A função peso dada porφreward foi definida como uma função linear por obter resultados melhores do que funções quadráticas. Em seguida foi testado o tempo de warm-up, concluindo-se que um bom compromisso entre tempo e desempe- nho foi obtido quando se fixou o período de warm-up como 1/6 do número total de avaliações. O passo seguinte foi configurar o tamanho da janela deslizante (SWsize), sendo os melhores resultados obtidos com a janela de tamanho 60. Por fim, tendo em vista a importância do warm- up, a sua própria configuração (que foi definida como os parâmetros default do MOEA/D no primeiro estágio) foi refinada através do uso do irace. Nestes estágios iniciais, o hipervolume foi utilizado como indicador de qualidade para mensurar o desempenho de cada variante.

Ao final dos estágios de ajuste da proposta, a melhor variante foi comparada com a versão original do MOEA/D-DRA (baseado em decomposição), NSGA-II (utiliza dominância de Pareto) e o IBEA (que é baseado em indicadores), ou seja, um algoritmo representando cada categoria. Nesta fase foram utilizados os benchmarks CEC2009, GLT, LZ09, MOP, DTLZ, WFG e ZDT e utilizados os indicadoresε-unário, IGD e Spread, além do hipervolume. Para comparar estatisticamente os algoritmos foi utilizado o teste de Kruskal-Wallis.

Os resultados permitiram concluir que a versão proposta é muito competitiva quando comparada com a literatura. Os testes mostraram que a proposta foi melhor ou igual em 38 (74.5%) instâncias e em apenas 13 (25.49%) ela obteve diferença estatística inferior.

As análises das instâncias inferiores (com diferença estatisticamente significativa) in- dicaram que a proposta tem desvantagem em instâncias unimodais em relação ao NSGA-II, bem como em instâncias com Fronteira de Pareto côncava, onde a versão original do MOEA/D- DRA tende a dar bons resultados. Em 11 dessas instâncias a abordagem obteve uma convergên- cia mais rápida que os demais algoritmos no início da busca, o que também indica que nessas instâncias o algoritmo pode ser vantajoso com um número menor de avaliações (menor budget computacional).

De acordo com o artigo "No Free Lunch Theorems for Optimization" de Wolpert e Ma- cready (1997) não há um algoritmo que resolva todo tipo de problema, sem nenhuma perda de desempenho em alguma outra classe de problemas. Portanto, os experimentos nos permitiram concluir que a abordagem proposta tem um bom desempenho em um conjunto representativo dos problemas investigados.

Há diversas frentes de trabalho que ainda podem ser exploradas, tais como: investigar outras estruturas do UCB, estudar períodos de intensificação e exploração e analisar o desem- penho da abordagem em um problema real. Em trabalhos futuros pretende-se ainda estudar o conjunto de combinações possíveis para a seleção via UCB, assim como analisar os operado- res utilizados durante a busca. Outro ponto de estudo é aumentar o número de parâmetros do MOEA/D que podem ser configurados automaticamente. A análise da função de pesos pode ser mais amplamente investigada ao incluir outras funções como por exemplo, funções loga- rítmicas. Pretende-se também estudar o tamanho da janela deslizante proporcional ao total de avaliações ao invez de ser proporcional ao tamanho da população.

REFERÊNCIAS

ANSóTEGUI, C.; SELLMANN, M.; TIERNEY, K. A gender-based genetic algorithm for the automatic configuration of algorithms. In: Proceedings of the 15th International Confe- rence on Principles and Practice of Constraint Programming. Berlin, Heidelberg: Springer- Verlag, 2009. (CP’09), p. 142–157. ISBN 3-642-04243-0, 978-3-642-04243-0. Disponível em: <http://dl.acm.org/citation.cfm?id=1788994.1789011>.

AUER, P. Using confidence bounds for exploitation-exploration trade-offs.Journal of Machine Learning Research, v. 3, n. Nov, p. 397–422, 2002.

AUER, P.; CESA-BIANCHI, N.; FISCHER, P. Finite-time analysis of the multiarmed bandit problem.Machine learning, Springer, v. 47, n. 2-3, p. 235–256, 2002.

BÄCK, T.; FOGEL, D.; MICHALEWICZ, Z. Handbook of evolutionary computation.Release, v. 97, n. 1, p. B1, 1997.

BEUME, N.; NAUJOKS, B.; EMMERICH, M. SMS-EMOA: Multiobjective selection based on dominated hypervolume. European Journal of Operational Research, v. 181, n. 3, p. 1653–1669, September 2007.

BEZERRA, L. C. T.; LÓPEZ-IBÁÑEZ, M.; STÜTZLE, T. Comparing decomposition-based and automatically component-wise designed multi-objective evolutionary algorithms. Evolu- tionary multi-criterion optimization: 8th international conference, EMO 2015, Springer International Publishing, Guimarães, Portugal, n. TR/IRIDIA/2015-002, p. 396–410, March 29–April 1 2015.

BOX, J. F. et al. Guinness, gosset, fisher, and small samples. Statistical science, Institute of Mathematical Statistics, v. 2, n. 1, p. 45–52, 1987.

BURKE, E. K. et al. Hyper-heuristics: A survey of the state of the art.Journal of the Opera- tional Research Society, Springer, v. 64, n. 12, p. 1695–1724, Dec 2013. ISSN 0160-5682. BURKE, E. K. et al. A classification of hyper-heuristic approaches. In:Handbook of metaheu- ristics. [S.l.]: Springer, 2010. p. 449–468.

CARLOS, A. et al.Evolutionary Algorithms for Solving Multi-Objective Problems. 2. ed. [S.l.]: Springer, 2007.

CHAKHLEVITCH, K.; COWLING, P. Hyperheuristics: Recent developments. In: COTTA, C.; SEVAUX, M.; SöRENSEN, K. (Ed.). Adaptive and Multilevel Metaheuristics. [S.l.]: Springer, 2008, (Studies in Computational Intelligence, v. 136). p. 3–29. ISBN 978-3-540- 79437-0.

COELLO, C. A.; LAMONT, G. b. Applications of multi-objective evolutionary algorithms. London: World Scientifics, 2004.

DANIEL, W. Applied nonparametric statistics. PWS-Kent Publ., 1990. (The Duxbury ad- vanced series in statistics and decision sciences). ISBN 9780534919764. Disponível em: <https://books.google.com.br/books?id=0hPvAAAAMAAJ>.

DAS, S.; MULLICK, S. S.; SUGANTHAN, P. Recent advances in differential evolution – an updated survey. Swarm and Evolutionary Computation, p. 1–30, 2016. ISSN 2210-6502. Disponível em: <http://www.sciencedirect.com/science/article/pii/S2210650216000146>. DASGUPTA, D. An overview of artificial immune systems and their applications. In:Artificial immune systems and their applications. [S.l.]: Springer, 1993. p. 3–21.

DE CASTRO, L. N. Fundamentals of Natural Computing: Basic Concepts, Algorithms, and Applications. 1. ed. USA: Chapman & Hall/CRC, 2006.

DEB, K.Multi-Objective Optimization using Evolutionary Algorithms. [S.l.]: John Wiley & Sons, Chichester, 2001. (Wiley-Interscience Series in Systems and Optimization).

DEB, K. et al. A fast and elitist multiobjective genetic algorithm: NSGA-II.IEEE Transactions on Evolutionary Computation, v. 6, n. 2, p. 182–197, 2002.

DEB, K. et al. Scalable test problems for evolutionary multiobjective optimization. Evoluti- onary Multiobjective Optimization. Theoretical Advances and Applications, Springer, p. 105–145, 2005.

DORIGO, M.; GAMBARDELLA, L. M. Ant colony system: a cooperative learning approach to the traveling salesman problem.IEEE Transactions on evolutionary computation, IEEE, v. 1, n. 1, p. 53–66, 1997.

DUNN, O. J. Estimation of the means of dependent variables.The Annals of Mathematical Statistics, JSTOR, p. 1095–1111, 1958.

DURILLO, J. J.; NEBRO, A. J. jmetal: A java framework for multi-objective optimization. Advances in Engineering Software, v. 42, p. 760–771, 2011. ISSN 0965-9978. Disponível em: <http://www.sciencedirect.com/science/article/pii/S0965997811001219>.

EBERHART, R.; KENNEDY, J. A new optimizer using particle swarm theory. In: IEEE.Mi- cro Machine and Human Science, 1995. MHS’95., Proceedings of the Sixth International Symposium on. [S.l.], 1995. p. 39–43.

EHRGOTT, M. A discussion of scalarization techniques for multiple objective integer program- ming.ANN OPE RES, Springer Netherlands, v. 147, p. 343–360, 2006.

FIALHO, A.; SCHOENAUER, M.; SEBAG, M. Analysis of adaptive operator selection te- chniques on the royal road and long k-path problems. In: AL., G. R. et (Ed.). Genetic and Evolutionary Computation Conference (GECCO). [S.l.]: ACM Press, 2009. p. 779–786. FRIEDMAN, M. The use of ranks to avoid the assumption of normality implicit in the analysis of variance.J AM STAT ASSOC, v. 32, p. 675–701, 1937.

GOLDBERG, D. E.Genetic Algorithms in Search, Optimization and Machine Learning. 1st. ed. Boston, MA, USA: Addison-Wesley Longman Publishing Co., Inc., 1989. ISBN 0201157675.

GONÇALVES, R. A.Algoritmos Culturais para o Problema do Despacho de Energia Elé- trica. Tese (Doutorado) — Curso de Pós Graduação em Engenharia Elétrica e Informática In- dustrial, Universidade de Tecnologia Federal do Paraná, 2010.

GONÇALVES, R. A.; ALMEIDA, C. P.; POZO, A. Upper confidence bound (UCB) algorithms for adaptive operator selection in MOEA/D. In: SPRINGER. International Conference on Evolutionary Multi-Criterion Optimization. [S.l.], 2015. p. 411–425.

GU, F.; LIU, H.-L.; TAN, K. C. A multiobjective evolutionary algorithm using dynamic weight design method.International Journal of innovative Computing, Information and Control, ICIC International, v. 8, n. 5 (B), p. 3677–3688, 2012.

HANSEN, M. P.; JASZKIEWICZ, A.Evaluating the quality of approximations to the non- dominated set. [S.l.]: Technical report, IMM, Department of Mathematical Modelling, Tech- nical University of Denmark, 1998.

HUANG, W.; LI, H. On the differential evolution schemes in MOEA/D. In: International Conference on Natural Computation. [S.l.: s.n.], 2010. p. 2788–2792. ISBN 978-1-4244- 5961-2.

HUBAND, S. et al. A review of multiobjective test problems and a scalable test problem toolkit. IEEE Transactions. Evolutionary Computation, v. 10, n. 5, p. 477–506, 2006.

HUTTER, F.; HOOS, H. H.; LEYTON-BROWN, K. Sequential model-based optimization for general algorithm configuration. In: SPRINGER.International Conference on Learning and Intelligent Optimization. [S.l.], 2011. p. 507–523.

HUTTER, F. et al. Paramils: An automatic algorithm configuration framework. Journal of Artificial Intelligence Research, v. 36, p. 267–306, October 2009.

ISHIBUCHI, H.; SHIBATA, Y. Mating scheme for controlling the diversity-convergence balance for multiobjective optimization. In: SPRINGER. Genetic and Evolutionary Computation–GECCO 2004. [S.l.], 2004. p. 1259–1271.

JOZEFOWIEZ, N.; SEMET, F.; TALBI, E.-G. Multi-objective vehicle routing problems.Eu- ropean Journal of Operational Research, v. 189, n. 2, p. 293 – 309, 2008. ISSN 0377-2217. Disponível em: <http://www.sciencedirect.com/science/article/pii/S0377221707005498>. KNOWLES, J.; THIELE, L.; ZITZLER, E. 214.A Tutorial on the Performance Assessment of Stochastic Multiobjective Optimizers. [S.l.]: ETH Zurich, 2006. Revised version.

KRUSKAL, W. H.; WALLIS, W. A. Use of ranks in one-criterion variance analysis.Journal of the American statistical Association, Taylor & Francis, v. 47, n. 260, p. 583–621, 1952. LI, H.; ZHANG, Q. Multiobjective optimization problems with complicated pareto sets, MOEA/D and NSGA-II.IEEE transactions on evolutionary computation, Institute of Elec- trical and Electronics Engineers Inc., The, v. 13, p. 284–302, 2009. ISSN 1089-778X.

LI, K. et al. Adaptive operator selection with bandits for a multiobjective evolutionary algorithm based on decomposition. IEEE Transactions on Evolutionary Computation, IEEE, v. 18, n. 1, p. 114–130, 2014.

LIU, H.-L.; GU, F.; ZHANG, Q. Decomposition of a multiobjective optimization problem into a number of simple multiobjective subproblems.IEEE Transactions on Evolutionary Com- putation, IEEE, v. 18, n. 3, p. 450–455, 2014.

LÓPEZ-IBÁÑEZ, M.Automatic Design of Algorithms with iRace for Multi-objective Op- timization and Anytime Optimization. Brussels, Belgium, September 2012.

LÓPEZ-IBÁÑEZ, M. et al.The irace package, Iterated Race for Automatic Algorithm Con- figuration. [S.l.], 2011. Disponível em: <http://iridia.ulb.ac.be/IridiaTrSeries/IridiaTr2011- 004.pdf>.

MAASHI, M.; ÖZCAN, E.; KENDALL, G. A multi-objective hyper-heuristic based on choice function.Expert Systems with Applications, v. 41, n. 9, p. 4475–4493, 2014.

MAHAJAN, A.; TENEKETZIS, D. Multi-armed bandit problems. In: Foundations and Ap- plications of Sensor Management. [S.l.]: Springer, 2007. p. 121–151.

MIETTINEN, K. Nonlinear multiobjective optimization. [S.l.]: Kluwer Academic Pu- blishers, Boston, 1999.

MOHAMMADI, A. et al. Sensitivity analysis of penalty-based boundary intersection on aggregation-based EMO algorithms. In:Evolutionary Computation (CEC), 2015 IEEE Con- gress on. [S.l.: s.n.], 2015. p. 2891–2898.

PÉREZ, L.; LÓPEZ-IBÁÑEZ, M.; STÜTZLE, T.An Analysis of Parameters of irace. Brus- sels, Belgium, November 2014. 37–48 p. Techreport.

PONSICH, A.; JAIMES, A.; COELLO, C. A survey on multiobjective evolutionary algorithms for the solution of the portfolio optimization problem and other finance and economics applica- tions.Evolutionary Computation, IEEE Transactions on, v. 17, n. 3, p. 321–344, June 2013. ISSN 1089-778X.

PRESTES, L. et al. A hyper-heuristic in moea/d-dra using the upper confidence bound tech- nique. Brazilian Conference on Intelligent Systems (BRACIS), Uberlândia, Brazil, n. 6, p. 396–401, October 2017.

PRESTES, L. et al. Boosting the performance of moea/d-dra with a multi-objective hyper- heuristic based on irace and ucb method for heuristic selection. In: . Rio de Janeiro, Brasil: [s.n.], 2018, in press.

QIN, A. K.; SUGANTHAN, P. N. Self-adaptive differential evolution algorithm for numerical optimization. In: IEEE. Evolutionary Computation, 2005. The 2005 IEEE Congress on. [S.l.], 2005. v. 2, p. 1785–1791.

RIQUELME, N.; LÜCKEN, C. V.; BARAN, B. Performance metrics in multi-objective opti- mization. In: IEEE.Computing Conference (CLEI), 2015 Latin American. [S.l.], 2015. p. 1–11.

SATO, H. Inverted PBI in MOEA/D and its impact on the search performance on multi and many-objective optimization. In: Proceedings of the 2014 Conference on Genetic and Evo- lutionary Computation. New York, NY, USA: ACM, 2014. (GECCO ’14), p. 645–652. ISBN 978-1-4503-2662-9. Disponível em: <http://doi.acm.org/10.1145/2576768.2598297>.

SIEGEL, S.; CASTELLAN, N. Nonparametric Statistics for the

Behavioral Sciences. McGraw-Hill, 1988. (McGraw-Hill internatio-

nal editions. Statistics series). ISBN 9780071003261. Disponível em:

<https://books.google.com.br/books?id=ha3AQgAACAAJ>.

STORN, R. On the usage of differential evolution for function optimization. In:in NAFIPS’96. [S.l.]: IEEE, 1996. p. 519–523.

STORN, R.; PRICE, K. Differential evolution – a simple and efficient heuristic for global opti- mization over continuous spaces.J GLOB OPT, Kluwer Academic Publishers, Hingham, MA, USA, v. 11, n. 4, p. 341–359, 1997. ISSN 0925-5001.

TAPIA, M. G. C.; COELLO, C. A. C. Applications of multi-objective evolutionary algorithms in economics and finance: A survey. In: IEEE.Evolutionary Computation, 2007. CEC 2007. IEEE Congress on. [S.l.], 2007. p. 532–539.

TRAUTMANN, H.; WAGNER, T.; BROCKHOFF, D. R2-emoa: Focused multiobjective search using r2-indicator-based selection. In: NICOSIA, G.; PARDALOS, P. M. (Ed.).LION. [S.l.]: Springer, 2013. (Lecture Notes in Computer Science, v. 7997), p. 70–74. ISBN 978-3-642- 44972-7.

TRIVEDI, A. et al. A survey of multiobjective evolutionary algorithms based on decomposition. IEEE Transactions on Evolutionary Computation, IEEE, v. 21, n. 3, p. 440–462, 2017. VELDHUIZEN, D. A. V.; LAMONT, G. B.Multiobjective evolutionary algorithm research: A history and analysis. Tech Report; Air Force Institute of Technology; Wright-Patterson, Ohio, EUA: [s.n.], 1998.

VENSKE, S.; GONÇALVES, R. A.; DELGADO, M. ADEMO/D: Adaptive differential evolu- tion for multiobjective problems. In: Brazilian Conference on Neural Networks 2012. [S.l.: s.n.], 2012. p. 226 – 231.

WHILE, L. et al. Heuristics for optimizing the calculation of hypervolume for multi-objective optimization problems. In: Evolutionary Computation, 2005. The 2005 IEEE Congress on. [S.l.: s.n.], 2005. v. 3, p. 2225–2232 Vol. 3.

WILCOXON, F. Individual comparisons by ranking methods. Biometrics bulletin, JSTOR, v. 1, n. 6, p. 80–83, 1945.

WOLPERT, D. H.; MACREADY, W. G. No free lunch theorems for optimization.IEEE tran- sactions on evolutionary computation, IEEE, v. 1, n. 1, p. 67–82, 1997.

ZHANG, J.; SANDERSON, A. C. JADE: adaptive differential evolution with optional external archive.IEEE J EVC, IEEE Press, Piscataway, NJ, USA, v. 13, p. 945–958, 2009. ISSN 1089- 778X.

ZHANG, Q.; LI, H. MOEA/D: A multi-objective evolutionary algorithm based on decomposi- tion.IEEE J EVC, v. 11, n. 6, p. 712–731, 2007.

ZHANG, Q.; LIU, W.; LI, H. The performance of a new version of MOEA/D on CEC09 uncons- trained mop test instances. In: Evolutionary Computation, 2009. CEC ’09. IEEE Congress on. [S.l.: s.n.], 2009. p. 203–208.

ZHANG, Q. et al. Multiobjective optimization test instances for the cec 2009 special session and competition.Mechanical Engineering, p. 1–30, 2009.

ZITZLER, E.; DEB, K.; THIELE, L. Comparison of multiobjective evolutionary algorithms: Empirical results.Evolutionary computation, MIT Press, v. 8, n. 2, p. 173–195, 2000.

ZITZLER, E.; KUNZLI, S. Indicator-based selection in multiobjective search. In: YAO, X. et al. (Ed.). Parallel Problem Solving from Nature - PPSN VIII. [S.l.]: Springer Berlin - Heidelberg, 2004, (Lecture Notes in Computer Science, v. 3242). p. 832–842. 10.1007/978-3- 540-30217-9-84.

ZITZLER, E.; LAUMANNS, M.; THIELE, L. SPEA2: Improving the strength pareto evolu- tionary algorithm for multiobjective optimization. In: GIANNAKOGLOU, K. C. et al. (Ed.). Evolutionary Methods for Design Optimization and Control with Applications to Indus- trial Problems. Athens, Greece: International Center for Numerical Methods in Engineering, 2001. p. 95–100.

ZITZLER, E.; THIELE, L. Multiobjective evolutionary algorithms: A comparative case study and the strength pareto evolutionary algorithm.IEEE J EVC, v. 3, n. 4, p. 257–271, 1999.