Análise Comparativa dos Algoritmos Evolutivos Os experimentos apresentados nesta seção serviram como base para a elaboração de um

artigo publicado no Brazilian Conference on Intelligent Systems (BRACIS) (FRANÇA et al., 2017). Na elaboração do artigo, o autor da presente dissertação implementou e efetuou os experimentos com o PMM, enquanto os experimentos com o PRM foram realizados por outro autor e também estudante de pós-graduação Thiago Fialho Lafetá, quem investigou o PRM em sua própria dissertação (LAFETÁ, 2016). Posteriormente, o PRM também foi implementado e o novo ambiente serviu de base para os experimentos descritos nas próximas seções. Os resultados no PRM gerados pelo Thiago Fialho são apresentados nessa seção, pois suas conclusões foram importantes na deĄnição dos próximos passos da dissertação.

Nessa primeira etapa, foram realizados experimentos visando a análise comparativa dos AGs multiobjetivos NSGA-II, NSGA-III, SPEA2, MOEA/D e AEMMT nos problemas da mochila e do roteamento multicast. O número de objetivos varia entre dois e seis e, no PRM, três redes são testadas, enquanto o PMM lida com instâncias de 30, 50 e 100 itens. Além dos cinco algoritmos mencionados, avalia-se também uma pequena modiĄcação no AEMMT chamada de AEMMT-F que remove o limite no tamanho do arquivo de soluções não-dominadas (free size). As avaliações dos algoritmos são feitas com base em métricas relacionadas ao Pareto aproximado calculado e permitem um melhor entendimento sobre o comportamento dos algoritmos. Isso facilitou a identiĄcação de pontos fortes e fracos de cada estratégia, ajudando na elaboração do MACO/NDS, que é o novo algoritmo proposto neste trabalho.

Durante os experimentos, os algoritmos NSGA-II, NSGA-III, SPEA2, MOEA/D e AEMMT foram avaliados em diferentes cenários dos dois problemas investigados (PRM e PMM). Ao todo, 30 cenários de teste foram considerados (15 para cada problema):

o PMM: 5 formulações de objetivos (2 a 6) e 3 instâncias (30, 50 e 100 itens). Os valores de cada objetivo e dos pesos dos itens são gerados aleatoriamente para cada instância do problema, conforme descrito na Seção 4.1.

o PRM: 5 formulações de objetivos (𝑃2 a 𝑃6) e 3 redes (𝑅1, 𝑅2 e 𝑅3). Tanto as

formulações quanto as redes estão descritas na Seção 4.2.

Para cada um dos cenários foi obtida um conjunto de Pareto aproximado, através de múltiplas execuções dos 5 algoritmos testados. A Tabela 2 mostra a cardinalidade de cada Pareto encontrado.

6.2. Análise Comparativa dos Algoritmos Evolutivos 101

Tabela 2 Ű Conjunto de Pareto considerado para os cenários investigados na primeira etapa de experimentos

PRM PMM

Objetivos R1 R2 R3 30 itens 50 itens 100 itens

2 14 9 6 15 67 170

3 30 18 17 106 501 6288

4 122 72 60 425 986 88374*

5 424 326 551 1765 5213 176868*

6 1196 657 1078 5800 35760* 248198*

Na Tabela 2, a quantidade de elementos nos paretos do PMM é demasiadamente grande para as formulações many-objective com 100 itens. Isso acontece porque o espaço de busca do problema da mochila cresce exponencialmente com o número de itens. Esse crescimento é potencializado com o número de objetivos considerado, ou seja, quanto maior a quantidade de funções objetivos na formulação, maior o número de soluções que serão não-dominadas. O asterisco ao lado de alguns valores no PMM signiĄca que não foi possível estabilizar o Pareto, ou seja, a cada rodada de execuções dos algoritmos, novas soluções eram encontradas. Tal comportamento motivou a realização dos experimentos da etapa 4 (Seção 6.5), nos quais não se usa um Pareto pré-deĄnido para se avaliar os al- goritmos. Apesar disso, os resultados para o problema de 100 itens ainda são relevantes, pois mesmo que os Paretos não sejam estáveis, comparam-se as execuções dos algorit- mos contra o conjunto com todas as soluções encontradas, possibilitando determinar o algoritmo com melhor potencial para encontrar boas soluções nos diferentes cenários dos problemas multiobjetivos.

Os resultados utilizados no cálculo das métricas de desempenho 𝐸𝑅, 𝐺𝐷 e 𝑃 𝑆 foram obtidos a partir da média entre 100 execuções de cada algoritmo. Nessas execuções foram adotados os parâmetros de conĄguração listados na Tabela 3. Os parâmetros foram retirados de trabalhos anteriores (LAFETÁ, 2016; BRASIL; DELBEM; SILVA, 2013; ISHIBUCHI; AKEDO; NOJIMA, 2015). Na tabela, o asterisco em Şnúmero de geraçõesŤ indica que nem todos os algoritmos seguem esse parâmetro. O AEMMT executa 9 mil gerações para o PRM e 7500 para o PMM. Isso acontece, pois esse algoritmo gera apenas 1 Ąlho por ciclo no PRM e apenas 2 no PMM necessitando, portanto, de mais gerações para fazer o mesmo número de avaliações de novos indivíduos. No problema da mochila com 100 itens, devido à complexidade do problema, dobrou-se a quantidade de gerações. Ainda na tabela 3, o termo ŞvariávelŤ indica que a taxa de mutação adotada varia de acordo com a instância do problema. Nos experimentos realizados, foi empregada uma taxa de mutação de 6% para o PMM de 30 itens, 4% para o de 50 itens e 2% para o de 100 itens, similar aos valores utilizados em (ISHIBUCHI; AKEDO; NOJIMA, 2015). Esses valores foram empregados em todos os algoritmos.

102 Capítulo 6. Experimentos

Tabela 3 Ű Parâmetros utilizados pelos AEMOs na 1a _{etapa, de acordo com o problema}

tratado.

Parâmetro (A) PRM (B) PMM

Tamanho da população 90 150

Número de gerações* 100 (9000*) 100 (7500*)

Taxa de crossover 100% 100%

Taxa de mutação 20% variável

Tamanho da vizinhança (MOEA/D) 10 10

Tamanho das tabelas (AEMMT) 30 50

Tamanho da tabela de dominância (AEMMT) 90 150

Número de subdivisões (NSGA-III) 8 8

e 100 itens. Nas Figuras 26, 27 e 28 são apresentados os resultados dos algoritmos para o PRM considerando as redes 𝑅1, 𝑅2 e 𝑅3, respectivamente. Uma análise consolidada,

considerando a média entre as três instâncias de cada problema, é apresenta nas Figuras 25 (PMM) e 29 (PRM).

Como pode ser observado na Figura 22, o PMM com 30 itens é um problema rela- tivamente simples e, no geral, os métodos de otimização multiobjetivo alcançam bons resultados. Até 4 objetivos, apenas o MOEA/D passou a marca de 20% de erro. Para 2 e 3 objetivos, os algoritmos NSGA-II, SPEA2 e AEMMT apresentaram desempenhos muito similares, resultando nos melhores percentuais de erro entre todos os algoritmos avaliados. A partir de 4 objetivos é possível notar uma queda considerável no desempenho dos algoritmos multiobjetivos clássicos (NSGA-II e SPEA-2). Considerando-se todas as formulações de objetivo no PMM, os melhores resultados foram obtidos pelo AEMMT que manteve o erro abaixo de 6% em todos os casos. Analisando a métrica 𝐺𝐷, obtêm-se as mesmas conclusões tiradas a partir do 𝐸𝑅. Isto é, considerando todas as formulações, o AEMMT gera os melhores resultados. Por outro lado, apesar de terem um desempenho muito bom nos problemas de 2 e 3 objetivos, os valores da métrica GD para o NSGA-II e o SPEA2 apresentam resultados ruins a partir de 4 objetivos. O tamanho da fronteira de Pareto encontrada, medida pelo 𝑃 𝑆, é maior nos algoritmos MOEA/D e AEMMT. Esse comportamento é esperado no MOEA/D, pois diferentemente dos demais AEMOs, ele não aplica uma limitação sobre o tamanho do arquivo que armazena as soluções não- dominadas. O alto valor de 𝑃 𝑆 também é esperado no AEMMT, pois, apesar da tabela de não-dominância ser limitada, o resultado Ąnal é dado pelas soluções não dominadas considerando todas as tabelas, ou seja, o limite sobre o tamanho do Pareto é mais fraco que os demais algoritmos. Considerando-se os valores das três métricas em todas as for- mulações de objetivos para o PMM de 30 itens, está claro que, no geral, o AEMMT é o melhor dentre os métodos testados.

6.2. Análise Comparativa dos Algoritmos Evolutivos 103

ER (30 itens)