Métricas de Avaliação e Metodologia

Cada um dos algoritmos discutidos na Seção 6.1.2, além da cob-aiNet[MO], foi aplicado aos nove primeiros problemas de teste apresentados na Seção 6.1.1 e os resultados obtidos foram avaliados através de cinco métricas, que serão discutidas aqui. No caso específico do problema DTLZ2, que será tratado na Seção 6.4, apenas a cob-aiNet[MO] e o algoritmo NSGA-II foram comparados, sendo para isto utilizada a métrica de cobertura entre dois conjuntos, que será apresentada na Seção 6.1.3.4.

6.1.3.1 Hipervolume

A métrica de hipervolume (também conhecida como S-metric ou medida de Lebesgue) corres- ponde ao volume, no espaço de objetivos do problema, formado pelas soluções não dominadas en- contradas por cada algoritmo e por um ponto de referência pré-definido (Coello Coello et al., 2007). No caso específico de problemas biobjetivo, a métrica de hipervolume pode ser interpretada como a área compreendida entre as soluções não dominadas e o ponto de referência pré-definido, como ilustrado na Figura 6.1.

Fig. 6.1: Representação gráfica da métrica de hipervolume, que corresponde à área (representada em cinza na figura) entre as soluções não dominadas (círculos) e um ponto de referência pré-definido. Neste exemplo, foi considerado um problema biobjetivo de minimização.

Quanto maior for o valor da métrica de hipervolume para um dado conjunto de soluções não dominadas, maior será a proximidade destas soluções da fronteira de Pareto do problema e também maior será a cobertura desta fronteira.

Para os problemas que serão discutidos neste capítulo, a métrica de hipervolume foi sempre cal- culada utilizando-se os seguintes pontos de referência, escolhidos de forma a cobrirem todas as pos- síveis soluções da fronteira de Pareto de cada problema (vide Figura 6.1): [0, 0] para o problema Deb & Tiwari; [1, 1] para EBN; [21, 10] para Two-on-One 4; [1, 1] para Lamé Supersphere; e [1, 1] para os problemas ZDT. Quando alguma solução retornada por algum algoritmo estiver acima do ponto de referência para um dado problema, sua contribuição para o hipervolume será nula.

6.1.3.2 Espaçamento

A métrica de espaçamento (do inglês spacing) indica o quão bem distribuídas estão as soluções não dominadas retornadas por um dado algoritmo (Coello Coello et al., 2007). Basicamente, esta métrica avalia, no espaço de objetivos, a variância das distâncias entre cada solução em um conjunto A e seus vizinhos, de forma que, quanto menor for o valor da métrica de espaçamento, mais uniforme será a distribuição das soluções. O cálculo do espaçamento para um conjunto de soluções A é dado por: S(A) = v u u u t 1 |A| − 1 |A| X i=1 (di− ¯d)2, (6.1)

onde di = minj(|f1(~xi) − f1(~xj)| + |f2(~xi) − f2(~xj)|), i, j = 1, · · · , |A|, |A| é o número de soluções

não dominadas no conjunto A e ¯d é o valor médio para todos os di. A aplicação desta métrica

geralmente supõe que o algoritmo já tenha convergido para uma solução próxima à fronteira de Pareto do problema.

6.1.3.3 Espalhamento Máximo

O espalhamento máximo (do inglês maximum spread) avalia o comprimento da diagonal formada pelos valores extremos das funções-objetivo observados no conjunto de soluções não dominadas ob- tido por um dado algoritmo (Zitzler, 1999). Formalmente, o espalhamento máximo para um conjunto A é dado por: M S(A) = v u u t M X m=1 ( |A| max i=1[fm(~xi)] − |A| min i=1[fm(~xi)] )2 , (6.2)

onde max|A|_i=1[fm(~xi)] é o valor máximo para a função-objetivo m dentre as |A| soluções no conjunto não dominado A, min|A|_i=1[fm(~xi)] é o valor mínimo da função-objetivo m dentre as |A| soluções pre- sentes no conjunto não dominado A, e M é o número de objetivos do problema. Da mesma maneira que para a métrica de espaçamento, o espalhamento máximo também supõe que a comparação entre os resultados obtidos por duas ferramentas distintas se faz assim que ambas tenham convergido ao final de suas execuções.

6.1.3.4 Cobertura entre Dois Conjuntos (C(A, B))

A métrica de cobertura entre dois conjuntos (do inglês two-set coverage – C(A, B)) calcula a porcentagem de soluções presentes em um dado conjunto B que são dominadas por, no mínimo, uma

solução presente no conjunto A (Zitzler, 1999), ou seja:

C(A, B) = |{b ∈ B|∃a ∈ A : a  b}|

|B| , (6.3)

onde |B| é o número de soluções em B.

Quando C(A, B) = 1, tem-se um indicativo de que todas as soluções no conjunto B são domi- nadas pelas soluções em A, e C(A, B) = 0 significa que nenhuma solução em B é dominada pelas soluções em A. É importante ressaltar que esta métrica de cobertura não é simétrica, ou seja, C(A, B) não é necessariamente igual a 1 − C(B, A).

6.1.3.5 Diversidade baseada em Hipercubos

A diversidade baseada em hipercubos (do inglês hypercube-based diversity) avalia o espalha- mento das soluções não dominadas no espaço de variáveis do problema (Deb et al., 2002a). Para o cálculo desta métrica de diversidade, o domínio do problema é dividido em um número pré-definido de hipercubos, e o valor da métrica corresponderá ao número de hipercubos efetivamente ocupados por soluções (vide Figura 6.2).

Fig. 6.2: Representação gráfica da métrica de diversidade baseada em hipercubos. Neste exemplo, tal métrica foi calculada dividindo-se o domínio de cada variável (xi∈ [xL, xU] e yi∈ [yL, yU]) em 6 regiões, o que levou

à formação de 36 hiperáreas. Como apenas 6 hiperáreas estão efetivamente ocupadas por soluções, o resultado desta métrica de diversidade para este problema será 6.

Da mesma maneira que as métricas de espaçamento e espalhamento máximo, a diversidade ba- seada em hipercubos supõe que os algoritmos já tenham efetivamente convergido para um conjunto de soluções não dominadas. Caso tal exigência não seja cumprida, qualquer ferramenta que distri- bua uniformemente um certo número de indivíduos pelo espaço de busca acabará obtendo valores altos de diversidade, apesar de tais indivíduos não necessariamente corresponderem a soluções para o problema.

espaços de variáveis de alta dimensão, a diversidade baseada em hipercubos só foi empregada na primeira parte dos experimentos deste capítulo, descritos na Seção 6.2. Para os quatro problemas tratados na Seção 6.2, a métrica de diversidade baseada em hipercubos foi calculada a partir da divisão do domínio de cada variável de cada problema em 20 intervalos, para que os hipercubos pudessem ser obtidos.

Nos experimentos que serão apresentados nas próximas seções, os valores médios e os respecti- vos desvios padrão de todas estas métricas foram calculados a partir dos resultados obtidos após 25 repetições da execução de cada algoritmo para cada problema, e, como feito anteriormente no Capí- tulo 4, foi adotado o Wilcoxon’s Rank Sum test (com limiar 0, 05 – Moore et al., 2007) para avaliar a significância estatística dos resultados. Exceto para a métrica de cobertura entre dois conjuntos, para a qual todos os algoritmos foram comparados par a par, o teste de Wilcoxon foi aplicado sempre comparando os resultados obtidos pela cob-aiNet[MO] e por cada um dos demais algoritmos. No caso específico da métrica de cobertura, o teste de Wilcoxon foi aplicado sempre comparando os resultados C(A, B) e C(B, A) individualmente, para cada par de algoritmos.