Algoritmo evolucionário adaptativo em problemas multimodais dinâmicos

Texto

(1)Universidade Federal de Pernambuco Centro de Informática. Pós-gradua¸cão em Ciência da Computa¸cão. ´ ALGORITMO EVOLUCIONARIO ADAPTATIVO EM PROBLEMAS ˆ MULTIMODAIS DINAMICOS Maury Meirelles Gouvêa Júnior TESE DE DOUTORADO. Recife 12 de Mar¸co de 2009.

(2) Universidade Federal de Pernambuco Centro de Informática. Maury Meirelles Gouvêa Júnior ´ ALGORITMO EVOLUCIONARIO ADAPTATIVO EM PROBLEMAS ˆ MULTIMODAIS DINAMICOS. Trabalho apresentado ao Programa de P´ os-gradua¸ c˜ ao em Ciˆ encia da Computa¸ c˜ ao do Centro de Inform´ atica da Universidade Federal de Pernambuco como requisito parcial para obten¸ c˜ ao do grau de. Doutor em Ciˆ encia da Com-. puta¸ c˜ ao.. Orientador: Prof. Dr. Aluizio Fausto Ribeiro Ara´ ujo. Recife 12 de Mar¸co de 2009.

(3) iii.

(4) Para Laura, meu amor, minha companheira insepar´ avel..

(5) AGRADECIMENTOS. Aos meus pais, Maury e Alda, pelo amor que sempre me deram, pelo exemplo de união, perseveran¸ca e cuidado que sempre foram e serão. Ao meu orientador, Prof. Dr. Aluizio Fausto Ribeiro Ara´ ujo, pela oportunidade e pelos direcionamentos técnicos e metodológicos. ` Pontif´ıcia Universidade Católica de Minas Gerais (PUC Minas), em especial, ao PróA Reitor Prof. Dr. João Francisco de Abreu e à Magda Soares Nunes, assessora executiva, pelo apoio e concessão do Plano Permanente de Capacita¸cão Docente. Ao Conselho Nacional de Desenvolvimento Cient´ıfico e Tecnológico (CNPq), pelo suporte financeiro através de bolsa de estudos. Aos professores e funcionários do Centro de Informática da Universidade Federal de Pernambuco, pela aten¸cão e apoio recebidos. Ao Industrial Control Centre da Universidade de Strathclyde, Glasgow, Escócia, em especial, aos Prof. Dr. Michael Grimble, Prof. Dr. Leonardo Giovanini e Prof. Dr. Reza Katebi, pela oportunidade, hospitalidade e importantes contribui¸cões ao trabalho durante meu estágio neste centro de pesquisa. Ao Prof. Dr. José Wilson Costa e ao Prof. MSc. L´ ucio Mauro Pereira, coordenadores do curso de Sistemas de Informa¸cão da PUC Minas, campus Contagem, pelo apoio irrestrito, amizade e por proporcionar-me um bom ambiente de trabalho. ` toda a minha fam´ılia, sempre unida, em especial, às minhas queridas irmãs, Magali A e Meirinha, pelos momentos de muita alegria. Ao meu grande amigo, e tio, Emmo Sanna, por ter sido um dos primeiros a mostrar-me o caminho cient´ıfico. Um agradecimento muito especial ao meu amigo James McKinstry, pela amizade tão consolidada e pelo grande apoio durante minha permanência em Glasgow, Escócia. Um agradecimento muito especial ao meu amigo C´ıcero Garrozi, pela amizade e companheirismo sempre demonstrados. Aos demais amigos do Recife, em especial, Pedro Cecconello, Adriana Freitas, Ricardo Ramos, Paula, Joel Silva e Sergio Murilo, por estarem sempre perto, proporcionando momentos muito agradáveis. v.

(6) Na sobrevivˆ encia dos indiv´ıduos e ra¸ cas favorecidas, durante a luta constante e recorrente pela existˆ encia, vemos uma forma poderosa e incessante de sele¸ c˜ ao. —CHARLES DARWIN (1809 – 1882).

(7) RESUMO. Os algoritmos evolucionários são métodos de otimiza¸caõ e busca global baseados em popula¸cões. Como nas popula¸cões biológicas, um algoritmo evolucionário perde diversidade, ao longo de gera¸cões, restringindo a busca em uma região restrita do espa¸co de solu¸cões e prejudicando a busca global. Em ambientes complexos, multimodais e dinâmicos, a perda de diversidade torna-se um problema ainda mais cr´ıtico, pois a busca deve ser abrangente e o algoritmo se adaptar o mais rápido poss´ıvel. Um algoritmo evolucionário possui parâmetros cujos valores influenciam tanto o resultado do processo quanto a diversidade da popula¸cão. Esta tese apresenta dois novos métodos de controle de parâmetros de algoritmos evolucionários, o controle adaptativo e o controle da fun¸cão de distribui¸cão de probabilidade. O objetivo desses métodos é controlar a diversidade da popula¸cão de acordo com fun¸cões pré-determinadas. O processo evolucionário é, portanto, tratado como um problema de controle, cujos parâmetros do algoritmo evolucionário são as entradas de controle e a diversidade da popula¸cão é a sa´ıda do processo. No método de controle adaptativo, a estratégia de controle é baseada no sistema adaptativo por modelo de referência, onde uma diversidade de referência é utilizada como modelo de comportamento para a diversidade do processo evolucionário. O segundo método tem como objetivo manter a fun¸cão de distribui¸cão de probabilidade da diversidade da popula¸cão próxima de uma distribui¸cão determinada. Assim, a distribui¸cão da popula¸cão no espa¸co de solu¸cões é também indiretamente controlada. Para esse método manter um controle de baixo custo computacional, utiliza-se uma rede neural B-spline para modelar o processo evolucionário. Em problemas de controle, é necessário conhecer o modelo do processo para se elaborar uma estratégia de controle. Assim, foi proposto um novo modelo de dinâmica de popula¸cões que descreve o comportamento da frequência gênica e da diversidade de popula¸cões. Baseado nesse modelo, o processo evolucionário é formalizado matematicamente. Portanto, o método de controle adaptativo proposto utiliza esse modelo de vii.

(8) viii. RESUMO. dinâmica de popula¸cões na estratégia de controle. Os dois métodos de controle de diversidade propostos foram validados em estudos de casos. Todos os problemas utilizados tiveram caracter´ısticas multimodais e dinâmicas, com comportamentos que variaram de uniforme, pequenas e grandes varia¸cões, a caótica. Os desempenhos dos métodos propostos foram comparadas com um algoritmo genético padrão e outros seis algoritmos evolucionários adaptativos. Palavras-chave:. Algoritmos evolucionários; Controle adaptativo; Dinâmica de po-. pula¸cões; Sistemas estocásticos; Controle estocástico; Controle de parâmetros; Redes neurais B-spline; Diversidade..

(9) ABSTRACT. Evolutionary algorithms are global optimization and search methods based on populations. As in biological populations, an evolutionary algorithm loses diversity, along generations, constraining the search to a specific region of the solutions space and impairing the global search. In complex, multimodal and dynamic, environments the diversity loss becomes a more serious problem, because the search must be comprehensive and algorithm should evolve as quickly as possible. An evolutionary algorithm has parameters in which their values influence both the outcome of the process and the diversity of the population. This thesis presents two new parameter control methods for evolutionary algorithms, the adaptive control and the probability density function control. These methods aim to control the population diversity according to predefined functions. Therefore, the evolutionary process is treated as a control problem, which the evolutionary algorithm parameters are the control inputs and the population diversity is the process output. In the adaptive control method, the control strategy is based on the model-reference adaptive control, where a reference diversity is used as a behavior model for the diversity of the evolutionary process. The second method aims to make the probability density function (PDF) of the population diversity to be close to a determined PDF. Thus, the population distribution on the solutions space is also indirectly controlled. In order to keep low the computational effort, this second method uses a B-spline neural network to model the evolutionary process. In control problems, it is necessary to know the process model to create a control strategy. Thus, a population dynamics model was proposed to describe the gene frequency and diversity behaviors of populations. Based on this model, the evolutionary process is mathematically formalized. Therefore, the proposed adaptive control method uses this population dynamics model into the control strategy. The two proposed diversity control methods were validated in several case studies using benchmark problems. All of them had multimodal and dynamic features, with ix.

(10) ABSTRACT. x. behaviors that varied from linear, small- and large-sized, to chaotic. The performances of the proposed methods were compared with a standard genetic algorithm and other six adaptive evolutionary algorithms. Keywords: Evolutionary algorithms; Adaptive control; Population dynamics; Stochastic systems; Stochastic control; Parameter control; B-spline neural networks; Diversity..

(11) ´ SUMARIO. 1. Cap´ıtulo 1—Introdu¸c˜ ao 1.1 1.2. Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 4. 1.1.1. Objetivos Espec´ıficos . . . . . . . . . . . . . . . . . . . . . . . . .. 5. Escopo do Trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 6. Cap´ıtulo 2—Algoritmos Evolucion´ arios Adaptativos. 8. 2.1. Introdu¸cão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 8. 2.2. Controle de Parâmetros Determin´ıstico . . . . . . . . . . . . . . . . . . .. 10. 2.3. Controle de Parâmetros Adaptativo . . . . . . . . . . . . . . . . . . . . .. 12. 2.4. Controle de Parâmetros Auto-Adaptativo . . . . . . . . . . . . . . . . . .. 18. 2.5. Adapta¸cão para Manuten¸cão ou Controle da Diversidade . . . . . . . . .. 21. 2.5.1. Manuten¸cão da Diversidade . . . . . . . . . . . . . . . . . . . . .. 21. 2.5.2. Controle da Diversidade . . . . . . . . . . . . . . . . . . . . . . .. 29. Discussões Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 33. 2.6. Cap´ıtulo 3—Gen´ etica de Popula¸c˜ oes e Biodiversidade. 35. 3.1. Introdu¸cão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 35. 3.2. Genética de Popula¸cões . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 36. 3.3. Métricas de Diversidade . . . . . . . . . . . . . . . . . . . . . . . . . . .. 36. 3.4. Equil´ıbrio de Hardy-Weinberg . . . . . . . . . . . . . . . . . . . . . . . .. 40. 3.5. Fatores que Afetam o Equil´ıbrio de Hardy-Weinberg . . . . . . . . . . . .. 43. 3.5.1. Muta¸cão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 44. 3.5.2. Cruzamentos Não-Aleatórios . . . . . . . . . . . . . . . . . . . . .. 44. 3.5.3. Deriva Genética . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 44. 3.5.4. Sele¸cão Natural . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 45. 3.5.5. Efeito Gargalo . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 45. xi.

(12) xii. ´ SUMARIO. 3.5.6. Tamanho da Popula¸cão . . . . . . . . . . . . . . . . . . . . . . . .. 46. Tamanho Efetivo da Popula¸cão . . . . . . . . . . . . . . . . . . . . . . .. 46. 3.6.1. Modelo de Wright-Fisher . . . . . . . . . . . . . . . . . . . . . . .. 47. 3.6.2. Tipos de Tamanho Efetivo . . . . . . . . . . . . . . . . . . . . . .. 48. 3.6.3. Tamanho Efetivo por Perda de Heterozigosidade . . . . . . . . . .. 49. 3.6.4. Tamanho Efetivo por Variância . . . . . . . . . . . . . . . . . . .. 50. 3.6.5. Tamanho Efetivo com N Variável . . . . . . . . . . . . . . . . . .. 50. 3.6.6. Tamanho Efetivo com Sele¸cão . . . . . . . . . . . . . . . . . . . .. 51. 3.6.7. Desvio do Equil´ıbrio de Hardy-Weinberg . . . . . . . . . . . . . .. 52. 3.7. Outros Tamanhos Efetivos da Popula¸cão . . . . . . . . . . . . . . . . . .. 53. 3.8. Discussões Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 54. 3.6. Cap´ıtulo 4—Controle Adaptativo e de PDF. 55. 4.1. Introdu¸cão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 55. 4.2. Sistema Dinâmico Não-Linear . . . . . . . . . . . . . . . . . . . . . . . .. 57. 4.3. Problemas de Controle Não-Linear . . . . . . . . . . . . . . . . . . . . .. 58. 4.4. Sistemas Adaptativos . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 59. 4.4.1. Sistema Adaptativo por Modelo de Referência . . . . . . . . . . .. 60. 4.4.1.1. Método MIT . . . . . . . . . . . . . . . . . . . . . . . .. 61. 4.4.1.2. Teoria de Lyapunov . . . . . . . . . . . . . . . . . . . .. 62. 4.4.1.2.1 4.5. 4.6. Teorema da Estabilidade de Lyapunov . . . . .. 63. Controle de PDF da Sa´ıda de Sistemas Estocásticos . . . . . . . . . . . .. 64. 4.5.1. Modelo Dinâmico . . . . . . . . . . . . . . . . . . . . . . . . . . .. 64. 4.5.2. Modelagem de Sistemas Dinâmicos Lineares . . . . . . . . . . . .. 67. 4.5.3. Estratégia de Controle de PDF . . . . . . . . . . . . . . . . . . .. 69. Discussões Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 71. Cap´ıtulo 5—Modelo de Dinˆ amica de Popula¸c˜ oes. 73. 5.1. Introdu¸cão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 73. 5.2. Calculando a Diversidade da Popula¸cão . . . . . . . . . . . . . . . . . . .. 74. 5.3. Modelo de Dinâmica de Popula¸cões . . . . . . . . . . . . . . . . . . . . .. 78. 5.4. Gradiente Estocástico e Análise de Sensibilidade . . . . . . . . . . . . . .. 84. 5.5. Testes para Valida¸cão do Modelo . . . . . . . . . . . . . . . . . . . . . .. 86.

(13) xiii. ´ SUMARIO. 5.6. Discussões Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. Cap´ıtulo 6—Modelos de Controle de Parˆ ametros. 90 93. 6.1. Introdu¸cão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 93. 6.2. Modelo de Referência de Diversidade . . . . . . . . . . . . . . . . . . . .. 94. 6.3. Modelo do Processo Evolucionário . . . . . . . . . . . . . . . . . . . . . .. 96. 6.4. Controle Adaptativo do Processo Evolucionário . . . . . . . . . . . . . .. 97. 6.5. Estratégia de Controle Adaptativo. . . . . . . . . . . . . . . . . . . . . .. 97. 6.5.1. Estratégia Baseada no Sinal de Comando . . . . . . . . . . . . . .. 98. 6.5.2. Estratégia Baseada no Sinal de Comando e na Sa´ıda do Processo. 99. 6.5.3. Mecanismo de Sele¸cão . . . . . . . . . . . . . . . . . . . . . . . .. 100. Controle de PDF Aplicado aos AEs . . . . . . . . . . . . . . . . . . . . .. 101. 6.6.1. Cálculo da PDF da Diversidade . . . . . . . . . . . . . . . . . . .. 103. 6.6.2. Gera¸cão de Amostras e Identifica¸cão do Modelo do Processo Evo-. 6.6. lucionário . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 105. Estratégia de Controle de PDF . . . . . . . . . . . . . . . . . . .. 106. Discussões Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 109. 6.6.3 6.7. Cap´ıtulo 7—Estudo de Casos. 111. 7.1. Introdu¸cão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 111. 7.2. Planejamento dos Experimentos . . . . . . . . . . . . . . . . . . . . . . .. 112. 7.3. Dinâmica dos Ambientes . . . . . . . . . . . . . . . . . . . . . . . . . . .. 114. 7.4. Análise de Rastreamento . . . . . . . . . . . . . . . . . . . . . . . . . . .. 115. 7.4.1. Análise de Rastreamento em Ambientes Estáticos . . . . . . . . .. 116. 7.4.2. Análise de Rastreamento em Ambientes Dinâmicos C´ıclicos: 200 Gera¸cões . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 7.4.3. 7.6. Análise de Rastreamento em Ambientes Dinâmicos C´ıclicos: 40 Gera¸cões . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 123. Discussões Finais Sobre o Rastreamento . . . . . . . . . . . . . .. 126. Experimentos com Modelos de Referência . . . . . . . . . . . . . . . . . .. 127. 7.5.1. Discussões Finais Sobre os Modelos de Referência . . . . . . . . .. 129. Experimentos com Fun¸cões Cont´ınuas . . . . . . . . . . . . . . . . . . . .. 130. 7.6.1. 130. 7.4.4 7.5. 120. Experimentos com a Fun¸cão de Ackley . . . . . . . . . . . . . . ..

(14) xiv. ´ SUMARIO. 7.6.2. Experimentos com a Fun¸cão de Schwefel . . . . . . . . . . . . . .. 131. 7.7. Experimentos com o Gerador Moving Peaks . . . . . . . . . . . . . . . .. 132. 7.8. Experimentos com o Problema da Mochila . . . . . . . . . . . . . . . . .. 142. 7.9. Experimentos com o Projeto de Rede de Rádio-Transmissores . . . . . .. 152. 7.10 Experimentos com o Roteamento de Redes . . . . . . . . . . . . . . . . .. 153. 7.11 Análise de Desempenho . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 159. 7.12 Discussões Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 162. Cap´ıtulo 8—Conclus˜ oes e Trabalhos Futuros 8.1. Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. Apˆ endice A—Fun¸c˜ oes Padronizadas para Teste. 168 170 173. A.1 Introdu¸cão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 173. A.2 Fun¸cões Cont´ınuas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 173. A.3 Gerador Moving Peaks . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 174. A.3.1 Morfologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 174. A.3.2 Dinâmica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 175. A.4 Problema Combinatório da Mochila . . . . . . . . . . . . . . . . . . . . .. 177. A.5 Projeto de Rede de Rádio-Transmissores . . . . . . . . . . . . . . . . . .. 177. A.6 Roteamento de Redes de Transportes . . . . . . . . . . . . . . . . . . . .. 178.

(15) LISTA DE FIGURAS. 1.1. Análise de desempenho de métodos de otimiza¸cão realizada por Goldberg (1989). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 1. 2.1. Diversidade da popula¸cão vista por fmax − f¯ (SRINIVAS; PATNAIK, 1994).. 16. 2.2. Pseudo-código do la¸co interno do TRAM. . . . . . . . . . . . . . . . . . .. 25. 2.3. Pseudo-código do la¸co externo do TRAM. . . . . . . . . . . . . . . . . .. 26. 2.4. Pseudo-código do RIGA . . . . . . . . . . . . . . . . . . . . . . . . . . .. 27. 2.5. Pseudo-código do ERIGA . . . . . . . . . . . . . . . . . . . . . . . . . .. 28. 4.1. Diagrama de blocos de um sistema de controle adaptativo. . . . . . . . .. 56. 4.2. Diagrama de blocos do sistema adaptativo por modelo de referência. . . .. 61. 5.1. Distribui¸cões gênicas iniciais e finais dos genes 1, 4 e 9. . . . . . . . . . .. 76. 5.2. Probabilidade de sele¸cão do i-ésimo indiv´ıduo em fun¸cão da pressão de sele¸cão, β. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 5.3. 80. Barras de erros de previsão de diversidade para as popula¸cão de 10, 100 e 400 indiv´ıduos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 88. 5.4. Varia¸cão do erro nas popula¸cões com 10 e 400 indiv´ıduos com na = 10. .. 90. 5.5. Varia¸cão do erro nas popula¸cões com 10 e 400 indiv´ıduos com na = 100. .. 90. 5.6. Erro médio para 10 e 100 alelos. . . . . . . . . . . . . . . . . . . . . . . .. 91. 6.1. Controle de parâmetros pelo SAMR. . . . . . . . . . . . . . . . . . . . .. 97. 6.2. Pseudo-código do método de controle de diversidade proposto — DRAC .. 101. 6.3. PDFs de duas popula¸cões com mesma diversidade média. . . . . . . . . .. 102. 6.4. PDF de uma popula¸cão da gera¸cão inicial até a gera¸cão 500. . . . . . . .. 104. 6.5. PDF desejada: (a) concentrada no melhor indiv´ıduo ou gene e (b) dis-. 6.6. tribu´ıda em três nichos no espa¸co de solu¸cões. . . . . . . . . . . . . . . .. 106. Diagrama de blocos do método de controle de PDF de diversidade.. 108. xv. . . ..

(16) LISTA DE FIGURAS. xvi. 7.1. Sequências geradas pela fun¸cão log´ıstica para diferentes valores de A. . .. 115. 7.2. Análise de rastreamento no moving peaks em ambiente estático. . . . . .. 117. 7.3. Análise de rastreamento no problema da mochila em ambiente estático. .. 119. 7.4. Análise de rastreamento no moving peaks em ambiente dinâmico com varia¸cões c´ıclicas de 200 gera¸cões. . . . . . . . . . . . . . . . . . . . . . . .. 7.5. Análise de rastreamento no problema da mochila em ambiente dinâmico com varia¸cões c´ıclicas de 200 gera¸cões. . . . . . . . . . . . . . . . . . . .. 7.6. 125. Melhores aptidões no Experimento 7.6.2.a: fun¸cão de Schwefel, varia¸cões pequenas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 7.9. 124. Análise de rastreamento no problema da mochila em ambiente dinâmico com varia¸cões c´ıclicas de 40 gera¸cões. . . . . . . . . . . . . . . . . . . . .. 7.8. 122. Análise de rastreamento no moving peaks em ambiente dinâmico com varia¸cões c´ıclicas de 40 gera¸cões. . . . . . . . . . . . . . . . . . . . . . . . .. 7.7. 121. 133. Melhores aptidões no Experimento 7.6.2.b: fun¸cão de Schwefel, varia¸cões grandes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 134. 7.10 Melhores aptidões no Experimento 7.6.2.c: fun¸cão de Schwefel, varia¸cões caóticas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 135. 7.11 Melhor aptidão no Experimento 7.7.a.: moving peaks com dinâmica com varia¸cões pequenas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 138. 7.12 Melhor aptidão no Experimento 7.7.b: moving peaks com dinâmica com varia¸cões grandes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 139. 7.13 Melhor aptidão no Experimento 7.7.c: moving peaks com dinâmica caótica. 140 7.14 Melhor aptidão dos métodos propostos no moving peaks. . . . . . . . . .. 141. 7.15 Melhor aptidão no Experimento 7.8.a: problema da mochila com varia¸cões pequenas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 144. 7.16 Melhor aptidão no Experimento 7.8.b: problema da mochila com varia¸cões grandes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 146. 7.17 Melhor aptidão no Experimento 7.8.c: problema da mochila com varia¸cões caóticas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 147. 7.18 Melhor aptidão nos métodos propostos: problema da mochila. . . . . . .. 148. 7.19 Diversidades no Experimento 7.8.a: problema da mochila com varia¸cões pequenas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 150. 7.20 Diversidades no Experimento 7.8.c: problema da mochila com varia¸cões caóticas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 151.

(17) LISTA DE FIGURAS. xvii. 7.21 Melhor aptidão no Experimento 7.9.b: problema RND com varia¸cões grandes.154 7.22 Melhor aptidão no Experimento 7.9.c: problema RND com varia¸cões caóticas.155 7.23 Melhor aptidão no Experimento 7.10.b: roteamento de redes com varia¸cões grandes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 157. 7.24 Melhor aptidão no Experimento 7.10.c: roteamento de redes com varia¸cões caóticas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 158. A.1 Superf´ıcies produzidas pelo gerador moving peaks . . . . . . . . . . . . .. 176. A.2 Grafo não-orientado de um problema de roteamento de redes. . . . . . .. 178.

(18) LISTA DE TABELAS. 3.1. Probabilidades de cruzamento ao acaso. . . . . . . . . . . . . . . . . . . .. 43. 3.2. Distribui¸cões genot´ıpicas em uma gera¸cão de descendentes. . . . . . . . .. 43. 5.1. Parâmetros do problema de otimiza¸cão de uma fun¸cão quadrática f (Equa¸cão 5.3). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 5.2. 75. Diversidades inicial e final nos experimentos da fun¸cão quadrática f , Equa¸cão 5.3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 77. 5.3. Estat´ıstica para os métodos baseados na heterozigosidade, He . . . . . . .. 77. 5.4. Parâmetros utilizados nos experimentos. . . . . . . . . . . . . . . . . . .. 87. 5.5. Erros de previsão de diversidade com na = 10. . . . . . . . . . . . . . . .. 89. 7.1. Parâmetros fixos comuns utilizados nos experimentos. . . . . . . . . . . .. 114. 7.2. Resultados da análise de rastreamento em ambientes estáticos: Experimentos 7.4.1.a e 7.4.1.b. . . . . . . . . . . . . . . . . . . . . . . . . . . .. 7.3. Resultados da análise de rastreamento em ambientes dinâmicos com varia¸cões c´ıclicas de 200 gera¸cões: Experimentos 7.4.2.a e 7.4.2.b. . . . . . .. 7.4. 129. Experimento 7.5.d: Problema da Mochila, ciclos de 200 gera¸cões e dinâmica com varia¸cões grandes. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 7.9. 128. Experimento 7.5.c: Problema da Mochila, ciclos de 40 gera¸cões e dinâmica com varia¸cões pequenas. . . . . . . . . . . . . . . . . . . . . . . . . . . .. 7.8. 128. Experimento 7.5.b: moving peaks, ciclos de 200 gera¸cões e dinâmica com varia¸cões grandes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 7.7. 126. Experimento 7.5.a: moving peaks, ciclos de 40 gera¸cões e dinâmica com varia¸cões pequenas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 7.6. 123. Resultados da análise de rastreamento em ambientes dinâmicos com varia¸cões c´ıclicas de gera¸cões: Experimentos 7.4.3.a e 7.4.3.b. . . . . . . . .. 7.5. 118. 129. Resultados do Experimento 7.6.1.a: fun¸cão de Ackley, varia¸cões pequenas. 131. 7.10 Resultados do Experimento 7.6.1.b: fun¸cão de Ackley, varia¸cões grandes. xviii. 132.

(19) LISTA DE TABELAS 7.11 Resultados do Experimento 7.6.1.c: fun¸cão de Ackley, varia¸cões caóticas.. xix 136. 7.12 Resultados do Experimento 7.6.2.a: fun¸cão de Schwefel com varia¸cões pequenas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 137. 7.13 Resultados do Experimento 7.6.2.b: fun¸cão de Schwefel com varia¸cões grandes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 142. 7.14 Resultados do Experimento 7.6.2.c: fun¸cão de Schwefel com varia¸cões caóticas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 143. 7.15 Resultados do Experimento 7.7.a: moving peaks com varia¸cões pequenas.. 145. 7.16 Resultados do Experimento 7.7.b: moving peaks com varia¸cões grandes. .. 149. 7.17 Resultados do Experimento 7.7.c: moving peaks com varia¸cões caóticas. .. 152. 7.18 Resultados do Experimento 7.8.a: problema da mochila com varia¸cões pequenas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 153. 7.19 Resultados do Experimento 7.8.b: problema da mochila com varia¸cões grandes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 156. 7.20 Resultados do Experimento 7.8.c: problema da mochila com varia¸cões caóticas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 159. 7.21 Resultados do Experimento 7.9.b: problema RND com varia¸cões grandes.. 160. 7.22 Resultados do Experimento 7.9.c: problema RND com varia¸cões caóticas.. 161. 7.23 Resultados do Experimento 7.10.b: roteamento de redes com varia¸cões grandes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 162. 7.24 Resultados do Experimento 7.10.c: roteamento de redes com varia¸cões caóticas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 163. 7.25 Análise geral de desempenho. . . . . . . . . . . . . . . . . . . . . . . . .. 164. 7.26 Tempos médios de execu¸cão dos AEs. . . . . . . . . . . . . . . . . . . . .. 164.

(20) CAPÍTULO 1. ˜ INTRODUC ¸ AO. Os algoritmos evolucionários (AEs) são métodos de busca global, baseados na teoria da evolu¸cão de Darwin (2004), aplicáveis em problema de otimiza¸cão, modelagem e simula¸cão (GOLDBERG, 1989; EIBEN; SMITH, 2003; BRANKE, 2002). Goldberg (1989) mostrou que métodos clássicos de otimiza¸cão ou busca, como, por exemplo, gradiente descendente e conjugado (PIERRE, 1986), têm desempenho superior a algoritmos evolucionários e a métodos de busca aleatória quando aplicados em classes espec´ıficas de problemas, Figura 1.1. Contudo, em problemas dinâmicos e multimodais, com fun¸cões objetivo não-diferenciáveis, muitos métodos clássicos não são aplicáveis. Os algoritmos evolucionários, assim como outros métodos de otimiza¸cão ou busca, possuem parâmetros cujos valores têm influência direta no desempenho do processo de busca. Determinar os valores desses parâmetros, que a priori não têm nenhum relacionamento com o ambiente, é uma tarefa não trivial e muitos esfor¸cos têm sido despendidos para encontrar algoritmos e heur´ısticas que possam fazê-lo (EIBEN et al., 1999; ANGELINE, 1995).. Figura 1.1 Análise de desempenho de métodos de otimiza¸cão realizada por Goldberg (1989).. Basicamente, existem duas formas de determinar os valores dos parâmetros de um 1.

(21) algoritmo evolucionário, por ajuste prévio ou controle de parâmetros. No ajuste prévio, os valores dos parâmetros são determinados antes do in´ıcio do processo evolucionário. No controle de parâmetros, os parâmetros são ajustados durante o processo evolucionário de acordo com uma estratégia pré-definida ou em conformidade com o desempenho do algoritmo. Estratégias que ajustem esses parâmetros durante o processo evolucionário é uma das áreas de pesquisa mais promissora da computa¸cão evolucionária. Os algoritmos evolucionários com parâmetros ajustáveis aplicados a problemas de otimiza¸cão ou busca em ambientes estáticos, isto é, em espa¸cos cujos ótimos não mudam suas localiza¸cões ou as restri¸cões do problema são fixas, têm sua importância consolidada na literatura através de testes emp´ıricos e demonstra¸co˜es teóricas (EIBEN et al., 1999). Entretanto, em ambientes dinâmicos, o problema torna-se mais complexo, aumentando a relevância dos métodos de controle de parâmetros. Um algoritmo de otimiza¸cão ou busca em ambientes dinâmicos deve adaptar-se rapidamente às novas condi¸cões e explorar o maior n´ umero de regiões poss´ıvel. O algoritmo evolucionário padrão (GOLDBERG, 1989) não se mostra apto a resolver problemas de otimiza¸cão ou busca em ambientes dinâmicos porque tende a convergir prematuramente, dificultando a adapta¸cão às varia¸cões do ambiente (BRANKE, 2001; JIN; BRANKE, 2005). Em muitos trabalhos, a dinâmica do ambiente é tratada introduzindo memória (BENDTSEN; KRINK, COBB,. 2002; GOLDBERG; SMITH, 1987), controlando a diversidade (BUI et al., 2005;. ˜ 1990; GREFENSTETTE, 1992; MONSIEURS; FLERACKERS, 2003; SIMOES; COSTA,. ˜ 2001, 2002a) ou, ainda, mesclando os dois primeiros métodos (SIMOES; COSTA, 2003).. Ao adicionar memória aos AEs é poss´ıvel armazenar boas solu¸cões e utilizá-las quando ocorrerem varia¸cões no ambiente (BRANKE, 1999, 2001; JIN; BRANKE, 2005). A memória pode ser introduzida ao AE de duas formas: impl´ıcita, que utiliza representa¸cão redundante (i.e., o indiv´ıduo possui um genótipo com mais informa¸cões para definir o fenótipo); ou expl´ıcita, que armazena as melhores solu¸cões, utilizando-as quando ocorrem varia¸cões no ambiente. Goldberg e Smith sugeriram uma extensão para o algoritmo evolucionário padrão que agrega memória com representa¸cão redundante (GOLDBERG; SMITH, 1987). Bendtsen e Krink (2002) utilizaram memória expl´ıcita movendo gradualmente os indiv´ıduos armazenados para perto do melhor indiv´ıduo da gera¸cão atual. O controle da diversidade permite que o n´ umero de regiões exploradas durante o processo evolucionário seja mantido ou variado. Assim, a adapta¸cão às mudan¸cas do ambiente pode ser mais rápida. No algoritmo evolucionário padrão, é dif´ıcil manter a diversidade porque os indiv´ıduos tendem a convergir prematuramente para regiões es2.

(22) pec´ıficas do espa¸co de busca (GOLDBERG, 1989). Em ambientes dinâmicos, a tendência de convergência da popula¸cão é uma restri¸cão importante, pois dificulta a resposta rápida às varia¸cões do ambiente. Vários pesquisadores elaboraram métodos diretos e indiretos de controle da diversidade. Por exemplo, Cobb (1990) introduziu a hipermuta¸cão gatilhada, Grefenstette (1992) apresentou a imigra¸cão aleatória, Simões e Costa (2001, 2002a) utilizaram o princ´ıpio da transmuta¸cão genética, Bui et al. (2005) utilizaram a abordagem multiobjetivo para tratar ambientes dinâmicos. Esta tese propõe dois métodos de controle da diversidade de AEs, o primeiro baseado no controle adaptativo e o segundo no controle estocástico. O uso do controle adaptativo para ajustes dos parâmetros do algoritmo evolucionário se justifica pela presen¸ca de incertezas inerentes a processos evolucionários. O método de controle adaptativo utili¨ zado, denominado controle adaptativo por modelo de referência (ASTROM; WITTENMARK,. 1995; NARENDRA; ANNASWAMY, 2005), se aplica ao problema do controle de parâmetros por existir na literatura algumas hipóteses que sugerem determinados comportamentos para um algoritmo evolucionário (BEYER; RUDOLPH, 1997; BUI et al., 2005; COBB, 1990; GREFENSTETTE,. ˜ 1992; SIMOES; COSTA, 2001). O controle adaptativo por modelo de re-. ferência é utilizado para controlar a diversidade, contribuindo para reduzir o problema da convergência prematura, aumentar o n´ umero de regiões exploradas pela popula¸cão e responder de maneira mais rápida e eficiente às mudan¸cas do ambiente. O segundo método proposto utiliza os princ´ıpios do controle de fun¸cão de distribui¸cão de probabilidade (PDF, do inglês, probability density function) (WANG, 2000a). Esse método foi idealizado e inicialmente desenvolvido no Industrial Control Centre da Universidade de Strathclyde, em Glasgow, Escócia, com a supervisão do Prof. Dr. Michael Grimble e do Prof. Dr. Leonardo Giovanini. Esse método de controle estocástico tem como objetivo desenvolver uma estratégia de controle que aproxime a PDF da sa´ıda do processo de uma PDF desejada. Embora modelos matemáticos possam ser utilizados para obter a PDF da sa´ıda, estes modelos são, normalmente, complicados e demandam um elevado esfor¸co computacional. Com o objetivo de elaborar um controle de PDF adequado e de baixo custo computacional, redes neurais, em especial a B-spline, têm sido utilizadas para aproximar estat´ıstica e dinamicamente a PDF da sa´ıda de processos estocásticos (WANG, 2000a, 1999, 2000b). Uma B-spline pode ser aplicada apenas se um conjunto de dados da entrada de controle e da PDF da sa´ıda do processo estiver dispon´ıvel. Para elaborar um sistema de controle é necessário conhecer o modelo do processo. Normalmente, os métodos de controle de diversidade não têm informa¸cões precisas do 3.

(23) processo evolucionário. Apenas o desvio entre as diversidades atual e de referência é conhecido (WONG et al., 2003; URSEM et al., 2002; DIVERSITY-BASED. . . , 2007). Alguns modelos de algoritmos evolucionários já foram propostos (GOLDBERG, 1989; RADCLIFFE, 1991); no entanto, esses modelos não tratam a dinâmica do algoritmo evolucionário em rela¸cão à diversidade da popula¸cão. Alternativamente, existem algumas formula¸cões que tratam a dinâmica dos AEs, como Bethke (1981), Vose e Liepins (1991), P.-Bennett et al. (1994), Stark e Spall (2003), mas estes modelos não podem ser utilizados na análise da dinâmica dos AEs porque necessitam de um conhecimento prévio da probabilidade de transi¸cão de estados ou gera¸cões. Pelas razões supracitadas, foi elaborado um novo modelo de dinâmica de popula¸cões que descreve o comportamento da frequência gênica e da diversidade de popula¸cões. Esse modelo considera os principais parâmetros de fatores evolutivos de uma popula¸cão, a saber, pressão de sele¸cão, taxa de muta¸cão, n´ umero de alelos e tamanho efetivo da popula¸cão. Portanto, foi poss´ıvel, por análise de sensibilidade, identificar o impacto que tais fatores podem causar na diversidade de popula¸cões. A partir do modelo de dinâmica de popula¸cões, formalizou-se um modelo de processo evolucionário. Dois modelos de controle foram estabelecidos, o primeiro baseado no controle adaptativo por modelo de referência, denominado Controle Adaptativo por Diversidade de Referência (DRAC, do inglês, Diversity-Reference Adaptive Control ); e o segundo modelo baseado no controle de fun¸cão de distribui¸cão de probabilidade, denominado AE Adaptativo Baseado na Fun¸cão de Distribui¸cão de Probabilidade de Diversidade (PDFEA, do inglês, Probability Density Function Based Evolutionary Algorithm). A valida¸cão dos métodos de controle de parâmetros propostos foi realizada através de estudos de casos utilizando benchmarks e problemas reais multimodais e dinâmicos. Os métodos propostos, DRAC e PDFEA, foram comparados com o algoritmo genético padrão e seis algoritmos evolucionários adaptativos. 1.1. OBJETIVOS. Esta tese tem como objetivo elaborar dois métodos de controle de parâmetros de AEs para problemas de otimiza¸cão ou busca em ambientes complexos, multimodais e dinâmicos, onde sugere-se a utiliza¸cão de parâmetros ajustáveis. A solu¸cão proposta utiliza métodos de controle adaptativo e estocástico para ajuste dos parâmetros de fatores evolutivos, como sele¸cão e muta¸cão. A partir de um novo modelo de dinâmica de popula¸cões pro4.

(24) posto, o processo evolucionário é formalizado analiticamente. O modelo de dinâmica de popula¸cões é, também, utilizado no sistema de controle do método DRAC. 1.1.1. Objetivos Espec´ıficos. Esta tese de doutorado tem os seguintes objetivos espec´ıficos: Pesquisar e analisar criticamente os principais trabalhos sobre controle de parâmetros. de algoritmos evolucionários nas u ´ ltimas décadas. Investigar métodos de controle adaptativo apropriados para aplica¸cão no controle. de parâmetros de algoritmos evolucionários. Estudar o problema da diversidade das espécies e de popula¸cões, levantando poten-. ciais métricas de diversidade que possam ser aplicadas na computa¸cão evolucionária. Este estudo tem, também, o objetivo de analisar a dinâmica da diversidade de popula¸cões, conhecendo os principais fatores e consequências da sua varia¸cão. Dentre esses fatores destaca-se o impacto da varia¸cão da diversidade sobre a evolu¸cão da popula¸cão. Propor e formalizar modelos de referência baseados em perfis de diversidade de. popula¸cões estudadas no item anterior. Desenvolver um modelo de dinâmica de popula¸cões que descreva o comportamento. da diversidade em rela¸cão aos parâmetros de fatores evolutivos, como muta¸cão e sele¸cão. Elaborar dois novos métodos de controle de parâmetros de algoritmos evolucionários. que empregam os fundamentos da teoria de controle. O principal objetivo do método proposto é controlar a diversidade através de ajustes dos parâmetros de algoritmos evolucionários. O novo método é recomendado, principalmente, para problemas multimodais com ambientes variáveis em morfologia e dinâmica. Formalizar o controle da diversidade de algoritmos evolucionários como um pro-. blema de controle. Elaborar uma estratégia de controle que conduza o sistema ao estado de equil´ıbrio. Pesquisar problemas de referência na literatura da computa¸cão evolucionária para. validar os métodos propostos. 5.

(25) Realizar estudos de casos em ambientes multimodais e dinâmicos, comparando os. métodos propostos com o algoritmo evolucionário padrão e outros algoritmos evolucionários adaptativos. Propor melhorias nos métodos de controle de parâmetros propostos, após análise. de resultados, para aplica¸cão em trabalhos futuros. 1.2. ESCOPO DO TRABALHO. O Cap´ıtulo 2 apresenta uma pesquisa bibliográfica com análise cr´ıtica dos trabalhos recentes sobre controle de parâmetros de algoritmos evolucionários. São apresentadas as classifica¸cões dos métodos de controle de parâmetros por tipo de adapta¸cão, a saber, determin´ıstico, adaptativo e auto-adaptativo. O cap´ıtulo apresenta, também, métodos que promovem e controlam a diversidade das popula¸cões de algoritmos evolucionários. O Cap´ıtulo 3 aborda a diversidade genética de popula¸cões, suas caracter´ısticas e fatores que contribuem para sua varia¸cão ao longo de gera¸cões. São apresentados os principais conceitos de genética de popula¸cões e as principais métricas de diversidade de espécies e popula¸cões presentes na literatura. O equil´ıbrio de Hardy-Weinberg, uma lei que determina a constância gênica de uma popula¸cão ideal, é descrito em detalhes. São expostos os principais fatores que afetam o equil´ıbrio da frequência gênica de uma popula¸cão. Este cap´ıtulo também apresenta um dos parâmetros mais utilizados na avalia¸cão da diversidade de popula¸cões, o tamanho efetivo da popula¸cão. Essa grandeza, baseada em uma popula¸cão ideal criada pelos cientistas Sewall Wright (1931) e Ronald Fisher (1930), possui algumas variantes e muitas formas de se calcular. Os conceitos apresentados neste cap´ıtulo são empregados na elabora¸cão de modelos de referência de diversidade utilizados no controle de parâmetros de algoritmos evolucionários. O Cap´ıtulo 4 descreve sucintamente quatro métodos de controle adaptativo, a saber, agendamento de ganho, modelo de referência, regulador auto-ajustável e controle dual. Este cap´ıtulo apresenta, em detalhes, o controle adaptativo por modelo de referência e o controle de fun¸cão de distribui¸cão de probabilidade. No controle adaptativo, duas das principais estratégias de controle são apresentados, os métodos MIT e de Lyapunov. No controle de PDF, a identifica¸cão do processo é realizada por uma rede neural B-spline. O Cap´ıtulo 5 apresenta um novo modelo de dinâmica de popula¸cões que descreve o comportamento da frequência gênica e da diversidade de popula¸cões em rela¸cão a um gene. Esse modelo leva em considera¸cão os principais fatores evolutivos, a saber, cruzamento, 6.

(26) muta¸cão e sele¸cão. Com o modelo de dinâmica de popula¸cões proposto é poss´ıvel realizar previsões e analisar o impacto que fatores evolutivos causam na diversidade da popula¸cão. O Cap´ıtulo 6 apresenta duas propostas de controle da diversidade de algoritmos evolucionários, a primeira utilizando o controle adaptativo por modelo de referência e a segunda utilizando o controle da PDF da diversidade. As propostas incluem três modelos de referência, um modelo de processo evolucionário e duas estratégias de controle. No método baseado no controle adaptativo, a pressão de sele¸cão e a taxa de muta¸cão são utilizadas como sinal de controle. A estratégia de controle visa ajustar a entrada do processo e os parâmetros do controlador para aproximar a diversidade da popula¸cão da sa´ıda do modelo de referência. No controle de PDF, a taxa de muta¸cão é o sinal de controle e a estratégia de controle ajusta esse sinal com o objetivo de aproximar a PDF da diversidade da popula¸cão de uma PDF de referência. O Cap´ıtulo 7 apresenta 26 experimentos onde os métodos propostos, DRAC e PDFEA, foram testados e analisados. Investigou-se o comportamento do modelo de referência, a capacidade de rastreamento pelo sistema de controle e o desempenho dos métodos propostos em rela¸cão a um algoritmo genético padrão e seis algoritmos evolucionários adaptativos. O Cap´ıtulo 8 apresenta as contribui¸cões desta tese, conclusões e sugestões para trabalhos futuros.. 7.

(27) CAPÍTULO 2. ´ ALGORITMOS EVOLUCIONARIOS ADAPTATIVOS. 2.1. ˜ INTRODUC ¸ AO. Os algoritmos evolucionários (AEs) possuem quatro paradigmas principais, a saber, algoritmos genéticos (GOLDBERG, 1989), estratégias evolutivas (SCHWEFEL, 1995), programa¸cão evolucionária (FOGEL, 1995) e programa¸cão genética (KOZA, 1992). Em todos esses paradigmas, a resolu¸cão do problema é baseada na teoria da evolu¸cão de Darwin (2004). Inicialmente, um conjunto de solu¸cões é gerado aleatoriamente, onde cada solu¸cão é um indiv´ıduo, a qualidade da solu¸cão é a aptidão do indiv´ıduo, o conjunto de solu¸cões é uma popula¸cão e o espa¸co de solu¸cões é o meio ambiente. Iterativamente, novas solu¸cões são criadas a partir das existentes, via operadores evolucionários. As piores solu¸cões, menos “adaptadas” ao ambiente, tendem a ser eliminadas ao longo do processo evolucionário. Assim, as solu¸cões melhores tendem a prevalecer, como no processo de evolu¸cão natural das espécies. Nos AEs, o que torna uma solu¸cão melhor ou pior é o valor de sua aptidão segundo uma ou mais métricas. A probabilidade de um indiv´ıduo transmitir suas caracter´ısticas para as próximas gera¸cões é também influenciada pela sua aptidão. Um algoritmo evolucionário, assim como qualquer método de busca, possui parâmetros cujos valores têm influência direta no desempenho do processo de busca. Alguns exemplos desses parâmetros são as probabilidades de cruzamento e muta¸cão, o tipo de operador de cruzamento, o tamanho da popula¸cão. Escolher valores para tais parâmetros, que a priori não têm nenhuma liga¸cão com o ambiente, é uma tarefa não trivial e muitos esfor¸cos têm sido despendidos para encontrar algoritmos e heur´ısticas que possam fazê-lo. Basicamente, existem duas formas de determinar os valores dos parâmetros de um algoritmo evolucionário, por ajuste prévio ou controle de parâmetros. No ajuste prévio, os valores dos parâmetros são determinados antes do in´ıcio do processo evolucionário. O problema dessa abordagem é o fato de, na maioria das vezes, não se conhecer as caracter´ısticas e o comportamento do ambiente no qual tenta-se chegar a uma solu¸cão. Por melhor que sejam as técnicas utilizadas, os ajustes prévios dos parâmetros não estão relacionados com os caminhos percorridos durante o processo de busca. Em outras palavras, 8.

(28) ao longo do processo de busca as condi¸cões do ambiente podem não ser as mesmas das iniciais. Assim, pode ser necessário alterar os valores dos parâmetros por estes não estarem adequados às condi¸cões atuais do processo. Por exemplo, em regiões de ótimos locais ou em estados de baixa diversidade pode ser prominente aumentar a taxa de muta¸cão. No controle de parâmetros, os valores são ajustados durante o processo evolucionário. Assim, os parâmetros podem ser ajustados em fun¸cão de uma estratégia pré-definida ou em conformidade com os caminhos percorridos pelo algoritmo de busca, de acordo com os resultados que estes proporcionaram. Encontrar uma estratégia que ajuste os parâmetros durante o processo de busca é uma das áreas de pesquisa mais atrativa da computa¸cão evolucionária. Muitos autores já abordaram o problema do controle de parâmetros na computa¸cão evolucionária (EIBEN et al., 1999; ANGELINE, 1995; HINTERDING et al., 1997; SMITH; FOGARTY,. 1997). Eiben et al. (1999) elaboraram uma discussão sobre o controle de. parâmetros, mostrando sua superioridade em rela¸cão ao ajuste prévio. Nesta tese de doutorado, foram apresentados argumentos que mostram ser inapropriado, em muitas situa¸cões, o uso de parâmetros fixos. As formas de controle de parâmetros foram classificadas em fun¸cão do tipo de mecanismo de ajuste, a saber, determin´ısticos, adaptativos ou auto-adaptativos. Os métodos determin´ısticos modificam os parâmetros deterministicamente sem utilizar nenhuma informa¸cão do ambiente durante o processo evolucionário. Os métodos adaptativos utilizam informa¸cões do ambiente para determinar a dire¸cão ou a magnitude das mudan¸cas dos parâmetros. Nos métodos auto-adaptativos, os parâmetros são codificados no genótipo do indiv´ıduo e submetidos ao processo evolucionário. A favor da adapta¸cão existe a importância de se interagir com o meio, que pode fornecer informa¸cões importantes sobre a qualidade do caminho da busca, direcionando-a para regiões mais promissoras. As informa¸cões colhidas do ambiente também podem ajudar a compreender melhor o problema. Outros autores promovem formas diferentes de classificar os métodos de controle de parâmetros. Angeline (1995) classificou as formas de controle de parâmetros baseado em n´ıveis de ajuste, a saber, da popula¸cão, do indiv´ıduo e do componente. Ao n´ıvel da popula¸cão, os parâmetros são ajustados de forma a produzirem efeitos globais na popula¸cão. Ao n´ıvel do indiv´ıduo, as modifica¸cões são feitas em cada indiv´ıduo, porém, aplicadas uniformemente aos seus componentes ou genes. Ao n´ıvel do componente, os métodos determinam como cada componente ou gene do indiv´ıduo deve sofrer as al9.

(29) tera¸cões. Hinterding et al. (1997) considerou mais um n´ıvel de adapta¸cão: do ambiente, onde a resposta do ambiente para o indiv´ıduo varia. Por exemplo, quando a fun¸cão de aptidão é uma soma ponderada e seus pesos variam, assim como a aptidão de um indiv´ıduo varia, em resposta a determinadas considera¸cões. Uma outra importante justificativa para o ajuste de parâmetros de fatores evolucionários é a manuten¸cão ou controle da diversidade da popula¸cão. Vários autores já trataram esse tema com ajustes de parâmetros (SHIMODAIRA, 2001; URSEM et al., 2002; ´ , YANG; TINOS et al.,. ˜ 2007; SIMOES; COSTA, 2002b; COBB, 1990; GREFENSTETTE, 1992; WONG. 2003). A perda da diversidade em popula¸cões finitas, sem migra¸cão e com baixa. taxa de muta¸cão é iminente após sucessivas gera¸cões. Mesmo com sele¸cão aleatória, sem pressão de sele¸cão, há perda de diversidade em popula¸cões finitas em decorrência da deriva genética. Em um algoritmo evolucionário, essa perda reduz as regiões exploradas, contrapondo uma de suas principais vantagens, a busca simultânea em várias regiões do espa¸co de solu¸cões. O algoritmo genético padrão (AGP), sem ajuste prévio de parâmetros ou durante o processo evolucionário, tem uma perda de diversidade natural que resulta em convergência prematura, isto é, toda a popula¸cão se concentra em uma região do espa¸co de solu¸cões. Essa caracter´ıstica praticamente inviabiliza a utiliza¸cão de AGPs em problemas complexos, e.g., multimodais e dinâmicos, cujo ajuste de parâmetros de fatores evolucionários é quase imprescind´ıvel. Este cap´ıtulo descreve e analisa criticamente vários métodos de controle de parâmetros, mostrando que na maioria das vezes os mesmos levam significativa vantagem sobre os métodos de ajuste prévio. Os métodos de controle de parâmetros são apresentados conforme o mecanismo de ajuste. As próximas se¸cões apresentam três métodos de controle de parâmetros, a saber, o determin´ıstico, na Se¸cão 2.2, o adaptativo, na Se¸cão 2.3, e o auto-adaptativo, na Se¸cão 2.4. Na sequência, a Se¸cão 2.5 apresenta alguns trabalhos que tratam o problema da manuten¸cão da diversidade, na Subse¸cão 2.5.1, e o controle da diversidade, na Subse¸cão 2.5.2, utilizando métodos de controle de parâmetros. A Se¸cão 2.6 apresenta as discussões finais. 2.2. ˆ CONTROLE DE PARAMETROS DETERMINÍSTICO. Os métodos de controle de parâmetros determin´ısticos modificam os parâmetros, normalmente, em fun¸cão das gera¸cões, sem utilizar nenhum retorno do processo evolucionário. Em um exemplo t´ıpico de controle de parâmetros determin´ıstico, Hinterding et al. (1997) 10.

(30) definiu a taxa de muta¸cão como k , (2.1) K sendo pm a probabilidade ou taxa de muta¸cão, k a gera¸cão atual e K o n´ umero máximo pm (k) = 0.5 − 0.3. de gera¸cões. Neste caso, a taxa de muta¸cão decresce de 0.5 até 0.2, na u ´ ltima gera¸cão. O ajuste de pm é determin´ıstico, pois não há nenhuma informa¸cão do processo evolucionário, como, por exemplo, o n´ umero de gera¸cões que a aptidão média da popula¸cão não melhora. A Equa¸cão 2.1 é monotônica, o que pode não ser desejável quando, por exemplo, a diversidade da popula¸cão diminui muito. A desvantagem dessa forma de ajuste é que a taxa de muta¸cão da Equa¸cão 2.1 não se relaciona com o problema ou com atributos da popula¸cão, como sua aptidão média. Em outro exemplo de controle determin´ıstico, Bäck e Schutz (1996) apresentaram um método de ajuste da taxa de muta¸cão na forma hiperbólica, também em fun¸cão das gera¸cões, como segue −1 L−2 pm (k) = 2 + ×k , K−1. (2.2). sendo L o n´ umero de genes do indiv´ıduo. Esse método determin´ıstico obteve melhor desempenho em rela¸cão a um modelo auto-adaptativo, proposto no mesmo trabalho, e a um AGP com taxa de muta¸cão fixa igual a 1/L. Droste et al. (2001) criaram um método, com representa¸cão binária1 , que ajusta a taxa de muta¸cão de acordo com a regra pm (k) =. (. 1/L, se pm (k) > 0.5 2 pm (k − 1), caso contrário.. (2.3). Esse algoritmo produz uma taxa de muta¸cão ciclicamente crescente no intervalo [1/L, 0.5]. Os autores mostraram que o controle dinâmico da taxa de muta¸cão aumenta a velocidade de convergência do AE em rela¸cão ao valor mais recomendado para uma taxa de muta¸cão, i.e., pm = 1/L. Thierens (2002) propôs um método determin´ıstico inspirado no algoritmo de aprendizagem de Manhattan (KUSHNER; CLARK, 1978), de origem estocástica2 , utilizando uma 1. Na representa¸caõ bin´ aria, as variáveis de decis˜ ao do problema são codificadas no genótipo do in-. div´ıduo por n´ umeros bin´ arios 2 Os algoritmos de aprendizagem estoc´ asticos estimam parˆ ametros ótimos para seus respectivos modelos.. 11.

(31) taxa de muta¸cão pm (k) e três novos indiv´ıduos gerados a partir das taxas de muta¸cão pm (k), ωpm (k) e pm (k)/ω, sendo ω uma constante denominada fator de explora¸cão3 . Thierens utilizou a seguinte regra para executar a aprendizagem de Manhattan: 1. Mutar o indiv´ıduo x das seguintes três formas: M(x, pm /ω) → {x1 , pm /λ} M(x, pm ) → {x2 , pm } M(x, ω pm ) → {x3 , λ pm } 2. Selecionar o indiv´ıduo com melhor aptidão dentre {x, pm }, {x1 , pm /λ}, {x2 , pm } e {x3 , λ pm } sendo xi , i = 1, 2, 3, o indiv´ıduo mutado a partir de x, λ uma constante denominada fator de aprendizagem e M(·, ·) uma regra de muta¸cão, que gera três novos indiv´ıduos utilizando uma dentre as taxas de muta¸cão pm /ω, pm e ω pm . Selecionando sucessivamente pares { x, pm }, pretende-se alcan¸car uma taxa de muta¸cão que tende a gerar indiv´ıduos melhores. A propor¸cão que a taxa de muta¸cão se modifica é determinada pelo fator de aprendizagem, λ. A maior vantagem do controle de parâmetros determin´ıstico é a sua simplicidade de implementa¸cão e seu baixo custo computacional. No entanto, em problemas complexos uma estratégia de ajuste pré-definida, sem intera¸cão com o ambiente, pode não alcan¸car os melhores resultados. Por exemplo, em um problema dinâmico, após a mudan¸ca do ambiente, pode ser recomendado que a taxa de muta¸cão aumente por um determinado per´ıodo, o que não é poss´ıvel no controle de parâmetros determin´ıstico. 2.3. ˆ CONTROLE DE PARAMETROS ADAPTATIVO. Os métodos adaptativos têm um retorno do processo evolucionário para determinar a dire¸cão ou a magnitude das mudan¸cas dos parâmetros. A regra de 1/5 de sucesso (RECHENBERG,. 1973) para ajuste da taxa de muta¸cão é um dos principais exemplos de. método adaptativo. O mecanismo de ajuste funciona da seguinte forma: se nas n u ´ ltimas gera¸cões houve sucesso4 em mais de 1/5 das muta¸cões, então a taxa de muta¸cão será 3. O coeficiente ω determina o grau de varia¸caõ do indiv´ıduo, modulando a sua explora¸caõ na superf´ıcie. de busca. Por essa raz˜ ao o nome fator de explora¸caõ. 4 Entende-se como sucesso quando a muta¸caõ melhora a aptidão média da popula¸caõ.. 12.

(32) aumentada; caso contrário, será diminu´ıda. Portanto, a regra de 1/5 de sucesso interage com o ambiente, modificando a taxa de muta¸cão, a cada n gera¸cões. Em outro exemplo de controle adaptativo, Davis (1989) criou um método baseado no desempenho dos operadores do processo evolucionário. O método promove altera¸cões nas probabilidades dos operadores baseado nas aptidões dos descendentes. Assim, os operadores que geram filhos melhores têm maior probabilidade de atuarem no futuro. Bäck (1993) apresentou um estudo sobre taxas de muta¸cão fixa e adaptável, com AGs binários, utilizando ambientes distintos. Em ambientes unimodais, os resultados mostraram que uma taxa de muta¸cão fixa igual a 1/L pode alcan¸car resultados satisfatórios e que taxas de muta¸cão que decaem a partir deste valor não aceleram a busca significativamente. No entanto, para ambientes multimodais, o estudo mostrou que uma taxa de muta¸cão adaptável pode contribuir para que os indiv´ıduos escapem de ótimos locais. Na versão adaptativa, a taxa de muta¸cão é inversamente proporcional à aptidão do indiv´ıduo. A ideia é produzir grandes altera¸cões em indiv´ıduos com baixa aptidão e pequenas altera¸cões em indiv´ıduos com alta aptidão — beneficiando a explota¸cão. A suposi¸cão de produzir pequenas altera¸cões em indiv´ıduos com alta aptidão pode ser uma desvantagem em um problema onde não se conhe¸ca o valor do ótimo global ou que possua ótimos locais cujos valores da fun¸cão de aptidão são elevados. Nesse u ´ ltimo caso, os indiv´ıduos terão dificuldades de escapar de ótimos locais cujos valores da fun¸cão de aptidão sejam elevados, pois suas taxas de muta¸cão serão baixas. Lee e Takagi (1993) utilizaram a lógica nebulosa para ajustar três parâmetros dos algoritmos genéticos, a saber, o tamanho da popula¸cão e as taxas de cruzamento e muta¸cão. As mudan¸cas dos parâmetros são baseadas no desempenho da popula¸cão a cada gera¸cão, considerando as piores e melhores aptidões, a aptidão média e sua varia¸cão desde a u ´ ltima a¸cão de controle. Lee e Takagi tiveram como objetivos, além da aplica¸cão da lógica nebulosa nos algoritmos evolucionários, entender melhor a rela¸cão do controle de parâmetros e melhorar o seu desempenho. O sistema nebuloso, baseado em regras, possui uma base de conhecimento que necessita de informa¸cões prévias do ambiente. As dificuldades nesse tipo de sistema são a necessidade de haver um especialista para modelagem da base de conhecimento e a aquisi¸cão de informa¸cões do ambiente quando estas são imprecisas ou mesmo inexistentes. O ponto chave na abordagem de Lee e Takagi é a elabora¸caõ de um método que projeta, automaticamente, o sistema nebuloso. Outra desvantagem é o ônus computacional causado pela decisão baseada em regras para ajustes dos parâmetros. Entretanto, 13.

(33) segundo os autores, em problemas onde a fun¸cão de aptidão tem alta complexidade, o tempo de inferência em compara¸cão ao tempo total de processamento não é significativo. Corne et al. (1994) consideraram as estat´ısticas de desempenho dos descendentes gerados por vários operadores no problema da constru¸cão de grade horária semanal. Periodicamente, os operadores que geraram indiv´ıduos mais aptos são têm suas probabilidades de aplica¸cão aumentadas, enquanto que os operadores que geraram indiv´ıduos menos aptos têm suas probabilidades diminu´ıdas. Sebag e Schoenauer (1994) constru´ıram um banco de dados de operadores de cruzamento usados no in´ıcio do processo evolucionário. Esses operadores são classificados como ruins ou bons de acordo com as aptidões dos descendentes (i.e., operadores que geram descendentes com baixas aptidões são rotulados como ruins, e vice-versa). Através de um controle adaptativo, a ideia é prevenir que operadores de cruzamento inadequados quebrem sequências de genes promissoras. Primeiramente, decorre-se um processo darwiniano convencional, que tem como objetivo armazenar informa¸cão em uma base de dados. Em seguida, os cruzamentos são observados e um conjunto de regras para classifica¸cão dos cruzamentos é constru´ıdo por aprendizagem indutiva — com atualiza¸cões periódicas. Na fase seguinte, já utilizando o controle adaptativo, os cruzamentos classificados como ruins são recusados. A existência de um direcionamento na opera¸cão de cruzamento pode acelerar o processo evolucionário com uma maior explota¸cão. No entanto, para montagem das regras pela aprendizagem indutiva é necessário conhecimento prévio do problema. S.-Voosen e M¨ uhlenbein (1994) dividiram a popula¸cão em sub-popula¸cões para ajuste da taxa de muta¸cão. Na abordagem proposta, o n´ umero de indiv´ıduos da popula¸cão se mantém fixo, variando o tamanho das sub-popula¸cões conforme a aptidão do melhor indiv´ıduo da sub-popula¸cão. As sub-popula¸cões competem pelos mesmos recursos, de forma que as mais aptas crescem (recebem indiv´ıduos de outras sub-popula¸cões), e vice-versa. As competi¸cões entre sub-popula¸cões se mostram eficientes e robustas, pois podem utilizar diferentes estratégias, favorecendo aquelas com parâmetros e estratégias mais adequados. Em outro trabalho, S.-Voosen e M¨ uhlenbein (1996) elaboraram uma metodologia mais abrangente, variando também o tamanho da popula¸cão. A divisão da popula¸cão, além de favorecer o uso de diferentes estratégias ao mesmo tempo, sugere a utiliza¸cão de computa¸cão paralela — por exemplo, cada sub-popula¸cão pode ser conduzida por um processador ou nodo de um cluster. A implementa¸cão paralela pode aumentar a velocidade de convergência, pois permite buscas simultâneas em espa¸cos de solu¸cões diferentes. Lis (1996) propôs uma taxa de muta¸cão dinâmica, uti14.

(34) lizando o paradigma da programa¸cão paralela. Nesta abordagem, o processador mestre gera a popula¸cão inicial e a distribui entre os processadores escravos, formando as subpopula¸cões. Cada processador escravo executa sua própria estratégia durante um tempo denominado época ou per´ıodo de migra¸cão. A cada final de época, o processador mestre avalia os melhores indiv´ıduos, recalcula a taxa de muta¸caõ, monta uma nova popula¸cão e a distribui novamente aos processadores escravos. Lis determinou um conjunto de n´ıveis escalonados de taxa de muta¸cão, quanto maior o n´ıvel, maior a taxa de muta¸cão. Durante uma época, os processadores escravos executam o algoritmo genético sequencial com suas respectivas taxas de muta¸cão. Os ajustes das taxas de muta¸cão são feitas como segue: Se a maior aptidão for de um indiv´ıduo da sub-popula¸cão com a maior taxa de. muta¸cão, então as taxas de muta¸cão de todas as sub-popula¸cões dos processadores escravos serão aumentadas em um n´ıvel. Senão, se a maior aptidão for de um indiv´ıduo da sub-popula¸cão com a menor taxa. de muta¸cão, então as taxas de muta¸cão de todas as sub-popula¸cões serão diminu´ıdas em um n´ıvel. Senão, se a maior aptidão for de um indiv´ıduo de uma sub-popula¸cão com taxa de. muta¸cão intermediária, então não serão alteradas as taxas de muta¸cão. O princ´ıpio do método de Lis induzir um aumento ou diminui¸cão da taxa de muta¸cão em fun¸cão do desempenho da sub-popula¸cão com o indiv´ıduo mais apto. Assim, supõe-se que o n´ıvel da taxa de muta¸cão dessa sub-popula¸cão é o mais apropriado para a epoca atual. Spears (1995) criou uma forma de adapta¸cão em que se os dois u ´ ltimos bits dos pais forem iguais a 1, o cruzamento será uniforme; se os dois u ´ ltimos bits forem iguais a 0, o cruzamento será de 2-pontos; se os bits forem diferentes, o cruzamento será escolhido aleatoriamente. No decorrer das gera¸cões, a predominância de um determinado bit pode significar que seu tipo de cruzamento correspondente está gerando indiv´ıduos mais aptos. Um dos principais recursos dos algoritmos evolucionários é a capacidade de escapar de ótimos locais, pois a taxa da muta¸cão elevada pode dispersar parte da popula¸cão “presa” em ótimos locais. A Figura 2.1 (SRINIVAS; PATNAIK, 1994) mostra a tendência de toda a popula¸cão convergir para uma região espec´ıfica do espa¸co de solu¸cões. A concentra¸cão nessa região pode ser refletida na diferen¸ca entre a maior aptidão e a aptidão média da ` medida que os indiv´ıduos convergem para uma região de ótimo popula¸cão, fmax − f¯. A 15.

(35) local ou global, a aptidão média tende a crescer e a diferen¸ca fmax − f¯ diminuir. A Figura 2.1 mostra uma região de máximo local, com maior aptidão igual a 0.5 (no máximo global, a fun¸cão de aptidão é igual a 1.0).. Figura 2.1 Diversidade da popula¸cão vista por fmax − f¯ (SRINIVAS; PATNAIK, 1994).. Srinivas e Patnaik apresentaram uma forma adaptativa para evitar a convergência em ótimos locais. No método, as taxas de cruzamento e muta¸cão variam em fun¸cão da diferen¸ca fmax − f¯. Essas formas de adapta¸cão foram definidas como segue pc =. k1 fmax − f¯. (2.4). e k2 (2.5) fmax − f¯ para as taxas de cruzamento e muta¸cão, respectivamente, sendo k1 e k2 constantes prepm =. viamente definidas. Uma desvantagem desse modo de adapta¸caõ é que ao convergir para o ótimo global, a popula¸cão tem o mesmo espalhamento caso não se conhe¸ca a aptidão máxima. Srinivas e Patnaik também sugerem um outro controle adaptativo para ajustes das taxas de cruzamento e muta¸cão, que variam em fun¸cão da aptidão do próprio indiv´ıduo, definidas como pc = k 1. fmax − f ′ fmax − f¯ 16. (2.6).