Para cada instância, foram realizadas 30 execuções independentes de cada algo- ritmo. Duas importantes análises serão efetuadas para cada instância: a comparação entre o M-SA e o T-SA e a comparação de seus resultados com aqueles obtidos pelo modelo de Fernández et al. (2017).
Na primeira análise, os principais parâmetros de comparação entre o M-SA e o T-SA são a qualidade da solução encontrada, o tempo total consumido pelo algoritmo e o tempo para alcançar a melhor solução no processo evolucionário (ambos em segundos). Este último parâmetro é importante porque ajuda a entender o quão eficiente é o processo evolucionário de cada abordagem. Dois casos extremos podem ter lugar: (1) o algoritmo retornou uma solução de compromisso que fora alcançada no início do processo evolucionário, (2) o algoritmo retornou uma solução de compromisso que fora alcançada nas últimas iterações. O caso (1) indica que, com certeza, a evolução ficou estagnada e o algoritmo foi ineficiente no restante do tempo. Do caso (2), porém, não se pode inferir com certeza que o processo evolucionário jamais ficara estagnado. De fato, a evolução pode ter conseguido melhorar a solução corrente do início ao fim ou pode ter ficado estagnada do início às últimas iterações, conseguindo melhorar a solução corrente apenas no final. Contudo, o caso (1), diferente do (2), sugere a certeza de um certo “desperdício” do tempo em que o processo ficara estagnado, pois evolução nenhuma é verificada neste período. Por outro lado, no caso (2), mesmo se houvera um tempo de estagnação, o algoritmo foi capaz de superá-lo no final. Portanto, tende a ser mais ineficiente o algoritmo que se aproxima do caso (1). Mais que isso, o caso (1) sugere ineficiência dos operadores utilizados pelo algoritmo.
O teste estatístico de Mann-Whitney one-tailed, cuja implementação é disponi- bilizada pela plataforma PISA (BLEULER et al., 2003), foi utilizado para comparar a qualidade das soluções dos dois algoritmos em cada instância. Este teste visa verificar se há diferença estatística significativa entre as amostras de soluções obtidas pelos algoritmos. Considere duas amostras de resultados, a primeira obtida pelo T-SA e a segunda pelo M-SA. O teste de Mann-Whitney é não paramétrico e deve retornar um valor entre 0 e 1, chamado de p-valor, o qual indica se as amostras do T-SA e M-SA advêm da mesma distribuição. Em essência, o p-valor representa a probabilidade de aceitar a hipótese nula. Esta, por sua vez, pode ser enunciada da seguinte forma: “As amostras do T-SA e M-SA
advêm da mesma distribuição”. A hipótese alternativa no contexto do Mann-Whitney one-tailed, é definida como “A amostra do T-SA advém de uma distribuição melhor que M-SA”. Assim, p-valores menores que um dado nível de significância, aqui adotado como 0, 05, indicam que a hipótese nula deve ser rejeitada em favor da hipótese alternativa, significando, portanto, que estatisticamente o T-SA retornou melhores soluções que o M-SA. P-valores acima de 0, 95 são considerados suficientemente elevados, indicando que a hipótese nula deve ser aceita. P-valores entre 0, 05 e 0, 95 (inclusive) são inconclusivos. A precisão adotada para os p-valores é de quatro casas decimais.
A segunda análise desta metodologia consiste em comparar os resultados do M-SA e T-SA com algum resultado da literatura. Até a data de publicação deste trabalho, a literatura da AG-OWA não incluía abordagens meta-heurísticas, mas apenas modelos matemáticos. Adotou-se o modelo matemático reduzido de Fernández et al. (2017), descrito na seção 4.3 e chamado de FER2, o qual foi implementado com o solver Gurobi versão 6.5. Este modelo foi escolhido porque, segundo experimentos efetuados por esta pesquisa, ele foi o único a conseguir retornar uma solução viável (sub-ótima) para instâncias de grande porte. O solver foi limitado a 3600 segundos, conforme em Fernández et al. (2017). Visa-se, assim, comparar a qualidade das soluções obtidas pelas meta-heurísticas (computadas em poucos segundos) com a solução retornada pelo solver (computada em até 3600𝑠). Para tanto, calcula-se, consoante a fórmula (8.1), o desvio percentual entre as soluções medianas das meta-heurísticas (𝑠ℎ) e a solução retornada pelo solver (𝑠𝑠). O leitor perceberá que
não raramente o desvio percentual figura com sinal negativo. Onde isso acontece, a solução mediana das meta-heurísticas possui melhor qualidade que a do solver limitado; o caso contrário acontece quando o desvio percentual é positivo.
𝑑𝑝 =
𝑂𝑊 𝐴(𝑠ℎ) − 𝑂𝑊 𝐴(𝑠𝑠)
𝑂𝑊 𝐴(𝑠𝑠)
* 100 (8.1)
Como o solver foi limitado a 3600𝑠, em muitos casos ele não retornará a solução exata. Por isso, a fim de realizar uma análise lúcida, é importante utilizar uma medida que ajude a identificar o quão próxima a solução fornecida pelo solver está do limite inferior calculado pelo solver. Esta medida é chamada de 𝑔𝑎𝑝 e é fornecida pelo próprio Gurobi. O gap denota o desvio final entre o limite superior e inferior do branch-and-bound executado pelo solver até 3600 segundos. Se 𝑔𝑎𝑝 = 0%, então o resultado do solver é exato.
Além da comparação entre os algoritmos, esta dissertação ainda reporta o com- portamento interno de cada um deles, compreendendo informações como eficácia dos operadores meméticos e transgenéticos, quantidade de avaliação da função objetivo e quantidade de renovação da população. Esta análise é complementar àquelas especificadas nos parágrafos anteriores, por isso constitui os apêndices desta obra. Ela, contudo, é importante diante da necessidade de conhecer a contribuição de cada parte dos algoritmos, inclusive da hibridização. Estes resultados podem ser apreciados nos Apêndices D e E, respectivamente, para os algoritmos M-SA e T-SA.
8.3
Ajustes de parâmetros
Os valores atribuídos aos parâmetros do M-SA e T-SA foram sugeridos pelo IRACE (LÓPEZ-IBÁÑEZ et al., 2016). O conjunto de treinamento foi composto por instâncias de todos os critérios OWA, de ambas as classes correlated e anticorrelated e quantidade de vértice 𝑛 ∈ {500, 600, 700, 800, 900, 1000}.
Tabela 20 – Parâmetros do M-SA
#𝑝𝑜𝑝𝑆𝑖𝑧𝑒 = 100 #𝑝𝑟𝑜𝑝𝐶𝑟𝑜𝑠𝑠 = 96%
#𝑚𝑎𝑥_𝑔𝑒𝑛 = 48 #𝑝𝑟𝑜𝑝𝑀 𝑢𝑡𝑎𝑡𝑖𝑜𝑛 = 18%
Tabela 21 – Parâmetros do T-SA
#𝑝𝑜𝑝𝑆𝑖𝑧𝑒 = 100 #𝑛𝑢𝑚𝑃 𝑙𝑎𝑠𝑇 𝑜𝑡𝑎𝑙 = 19
#𝑚𝑎𝑥_𝑔𝑒𝑛 = 48 #𝑛𝑢𝑚𝑃 𝑙𝑎𝑠1 = 4
#𝑝𝑟𝑜𝑏𝑇 𝑟𝑎𝑛𝑠1 = 72% #𝑛𝑢𝑚𝑃 𝑙𝑎𝑠2 = 7
#𝑝𝑟𝑜𝑏𝑇 𝑟𝑎𝑛𝑠2 = 45% #𝑛𝑢𝑚𝑃 𝑙𝑎𝑠3 = 8
Tabela 22 – Parâmetros do recozimento simulado
𝑇 _0 = 20 𝐿_0 = 14 𝐹 _𝑇 = 1, 78 𝐹 _𝐿 = 1, 43
As Tabelas 20, 21 e 22 mostram, respectivamente, os valores dos parâmetros para o M-SA, T-SA e do recozimento simulado. Os parâmetros #𝑝𝑜𝑝𝑆𝑖𝑧𝑒 e #𝑚𝑎𝑥_𝑔𝑒𝑛 e os parâmetros do recozimento simulado são comuns a ambas as meta-heurísticas. Os valores destes parâmetros determinados pelos IRACE para o M-SA foram também atribuído aos parâmetros equivalentes do T-SA. O objetivo é comparar o desempenho das abordagens evolucionárias quando ambas possuem os valores dos parâmetros comuns do M-SA.