Indicadores de qualidade

A an´alise emp´ırica visa medir aspectos como convergˆencia e diversidade da busca de cada nova estrat´egia proposta em rela¸c˜ao `a fronteira de Pareto. A sele¸c˜ao dos indicadores de qualidade utilizados para medir o desempenho da busca de MOEAs ´e um grande obst´aculo na Otimiza¸c˜ao com Muitos Objetivos. Para a medi¸c˜ao desses aspectos s˜ao utilizados indicadores de qualidade. Indicadores de qualidade s˜ao fun¸c˜oes que mapeiam i conjuntos de solu¸c˜oes em um n´umero real [89]. Normalmente, ´e definido i = 1, um indicador un´ario ou i = 2, indicador bin´ario. Na literatura, diferentes indicadores de qualidade s˜ao utilizados [1] [82] [46], por´em n˜ao existe consenso sobre qual conjunto de medidas possibilita uma melhor interpreta¸c˜ao dos resultados. Dentre esses indicadores se destacam o Hipervolume, o Epsilon [89], o Generational Distance (GD), Spacing [84], Inverted Generational Distance (IGD) [20], entre outros.

Um dos maiores problemas na medi¸c˜ao de desempenho de MOEAs em Problemas com Muitos Objetivos refere-se `a dificuldade de visualiza¸c˜ao da fronteira aproximada gerada (P Faprox), j´a que com mais de trˆes fun¸c˜oes objetivos n˜ao h´a uma maneira natural de se esbo¸car o conjunto de pontos obtido. Isso dificulta o processo de entendimento dos resultados dos indicadores de qualidade. Al´em disso, h´a dificuldade na interpreta¸c˜ao de

alguns resultados esperados, por exemplo, algumas t´ecnicas induzem a gera¸c˜ao dos pontos para uma regi˜ao mais pr´oxima ao joelho da fronteira de Pareto.

Em nossos experimentos, j´a que estamos trabalhando com problemas de benchmark onde a fronteira de Pareto pode ser obtida de forma anal´ıtica, ´e utilizada uma combina¸c˜ao de um conjunto de m´etricas que buscam medir a distˆancia em rela¸c˜ao `a fronteira de Pareto.

O uso desse conjunto de m´etricas tem como objetivo observar se a busca dos algoritmos propostos se deteriora em termos de convergˆencia e diversidade quando o n´umero de objetivos cresce. Al´em disso, s˜ao utilizados indicadores de qualidade com o objetivo espec´ıfico de identificar onde est´a localizada a P F_aprox em rela¸c˜ao a pontos de referˆencia, como por exemplo, o joelho da fronteira de Pareto. Os indicadores utilizados s˜ao descritos a seguir:

Generational Distance (GD) mede o qu˜ao pr´oximo o conjunto de aproxima¸c˜ao gerado (P F_aprox) est´a em rela¸c˜ao `a fronteira de Pareto real (P F<sub>real</sub>). O GD ´e uma medida de minimiza¸c˜ao. Se o GD ´e igual a 0, todos os pontos doP F<sub>aprox</sub>pertencem `a fronteira de Pareto. O GD permite observar se o algoritmo converge para alguma regi˜ao da fronteira de Pareto. A Equa¸c˜ao 7.1 define o GD, onde n ´e o n´umero de solu¸c˜oes pertencentes `a P F<sub>aprox</sub> e d<sup>a,r</sup><sub>i</sub> ´e a menor distˆancia Euclidiana entre o ponto i pertencente `a P F_aprox e um ponto da P F_real. A Figura 7.4 mostra um exemplo do c´alculo do GD. Para cada ponto do conjunto de aproxima¸c˜ao ´e calculada a menor distˆancia em rela¸c˜ao `a fronteira de Pareto,d<sup>a,r</sup><sub>i</sub> , e ´e feita a soma dessas distˆancias. O exemplo da figura apresenta um bom GD, pois o conjunto de aproxima¸c˜ao est´a pr´oximo `a fronteira de Pareto, logo h´a uma boa convergˆencia.

GD =

pPn i=1 d^a,r_i

n (7.1)

Convergence foi inicialmente apresentada em [40]. Esse indicador de qualidade mede a menor distˆancia de um ponto daP F_aproxaP F_real. Ele ´e utilizado para auxiliar a an´alise do GD para medir convergˆencia. A menor distˆancia de um ponto ´e a menor contribui¸c˜ao do c´alculo do GD, assim ´e poss´ıvel verificar se a busca alcan¸cou a fronteira de Pareto em pelo menos uma regi˜ao da fronteira.

Figura 7.4: Exemplo do c´alculo do GD.

Figura 7.5: Exemplo do c´alculo do IGD.

Inverted Generational Distance (IGD) mede a distˆancia m´ınima entre cada ponto da fronteira de Pareto real em rela¸c˜ao ao conjunto de aproxima¸c˜ao gerado. O IGD ´e uma medida de minimiza¸c˜ao. O IGD permite observar se P F_aprox converge para a fronteira Pareto real e se este conjunto ´e diversificado. A Equa¸c˜ao 7.2 define o IGD, onde n ´e o n´umero de solu¸c˜oes pertencentes `a P F<sub>aprox</sub> e d<sup>r,a</sup><sub>i</sub> ´e a menor distˆancia Euclidiana entre o pontoipertencente `aP Freal e um ponto daP Faprox. A Figura 7.5 mostra um exemplo do c´alculo do IGD. Para cada ponto da fronteira de Pareto ´e calculada a menor distˆancia em rela¸c˜ao ao conjunto de aproxima¸c˜ao, d^a,r_i , e ´e feita a soma dessas distˆancias. O exemplo da Figura 7.5 apresenta um bom IGD, pois o conjunto de aproxima¸c˜ao est´a pr´oximo `a fronteira de Pareto e tamb´em bem distribu´ıdo, logo h´a uma boa convergˆencia e uma boa diversidade.

IGD=

pP2 n i=1 d^r,a_i

n (7.2)

No entanto nem sempre ´e poss´ıvel obter uma vis˜ao real da diversidade da busca uti-lizando somente o IGD. Em alguns casos, onde uma P F_aprox est´a limitada a uma regi˜ao

espec´ıfica da fronteira e muito pr´oximo ao P Freal (o que implica num valor muito baixo de GD), o IGD tende tamb´em a ser pequeno, j´a que a contribui¸c˜ao dos pontos da P F_real dessa regi˜ao ´e muito pequena para o c´alculo do IGD. Nessa situa¸c˜ao, um valor baixo de IGD pode implicar num interpreta¸c˜ao errada de boa diversidade. Assim, para ajudar na an´alise da diversidade da busca, ´e proposto um novo indicador de qualidade chamado de Largest Distance.

Largest Distance (LD) ´e o oposto do indicadorConvergence. Ao inv´es de se obter a menor distˆancia de um ponto do P Faprox em rela¸c˜ao `a P Freal, ´e obtida a maior distˆancia de um ponto daP F<sub>real</sub>em rela¸c˜ao `aP F_aprox. Essa medida indica a maior contribui¸c˜ao de um ponto no c´alculo do IGD. Com essa medida, umaP F_aprox concentrada numa pequena regi˜ao da fronteira de Pareto ir´a gerar um alto valor de LD, j´a que estar´a longe de outras regi˜oes daP F_real. Da mesma forma que, uma P F_aprox bem diversificada ir´a gerar valores baixos de LD, j´a que est´a pr´oxima de diferentes regi˜oes da P F_real.

Spacing mede o intervalo de variˆancia entre solu¸c˜oes vizinhas em um conjunto de aproxima¸c˜ao. ´E uma medida de minimiza¸c˜ao. Se o valor do Spacing ´e igual a 0, todas as solu¸c˜oes est˜ao igualmente distribu´ıdas. Se a P F_aprox contiver uma ou duas solu¸c˜oes o valor ´e igual a zero e quanto menor o n´umero de solu¸c˜oes, mais f´acil o algoritmo consegue controlar o Spacing de seu conjunto de aproxima¸c˜ao. A Equa¸c˜ao 7.3 define o Spacing, onde n ´e o n´umero de solu¸c˜oes pertencentes `a P F_aprox, d_i =min_j(|f₁ⁱ(x)−f₁^j(x)|+...+

Al´em dos indicadores de qualidade baseados na distˆancia entre as solu¸c˜oes geradas, esta tese utiliza dois indicadores com objetivo de auxiliar a visualiza¸c˜ao daP F_aprox. Esses indicadores medem a distribui¸c˜ao dos pontos daP F_aproxem rela¸c˜ao a pontos de referˆencia.

Assim, ´e poss´ıvel observar como diferentes m´etodos est˜ao distribu´ıdos no espa¸co de obje-tivos.

A distribui¸c˜ao da distˆancia Tchebycheff ´e utilizada para medir a distribui¸c˜ao da

P Faprox em rela¸c˜ao ao joelho da fronteira de Pareto [20]. Joelho ´e o ponto localizado no maior arqueamento da curva daP F_real. Estudos apresentados em [24] e [47] afirmam que tomadores de decis˜ao, em geral, preferem os pontos no centro da fronteira. Esse indicador calcula a distˆancia de Tchebycheff entre todos os pontos daP F_aprox e o joelho da P F_real. A distˆancia de Tchebycheff ´e uma m´etrica definida pela distˆancia entre dois vetores.

O c´alculo da distˆancia ´e obtido atrav´es da maior diferen¸ca entre todas as coordenadas das dimens˜oes, definida pela Equa¸c˜ao 7.4.

d(z, z^∗, λ) = max_1≤j≤m{λ_j|z_j^∗−z_j|} (7.4)

onde z^∗ ´e o joelho da fronteira, z ´e um ponto do P F_aprox, m ´e o n´umero de objetivos e λ_j = 1/R_i, onde R_j ´e o intervalo para j−´esimo objetivo da fronteira de Pareto. Ap´os o c´alculo da distˆancia de todos os pontos da P F_aprox ´e gerado um histograma com a dis-tribui¸c˜ao desses valores. Curvas que se localizam perto de pequenos valores da distˆancia indicam uma distribui¸c˜ao dos pontos pr´oximos ao joelho, enquanto curvas mais alongadas indicam uma distribui¸c˜ao mais diversificada. A Figura 7.6 mostra um exemplo com trˆes distribui¸c˜oes. O eixo x indica o valor da distˆancia de Tchebycheff, o eixo y a quantidade de solu¸c˜oes localizadas nessa distˆancia. A primeira curva possui um pico em um valor com baixa distˆancia, isso indica uma distribui¸c˜ao dos pontos perto do joelho. A segunda curva tamb´em possui os pontos concentrados em poucos valores de distˆancia, por´em loca-lizados longe do joelho. A terceira curva ´e mais alongada, contendo valores em diferentes distˆancias. Essa distribui¸c˜ao apresenta pontos mais diversificados.

Al´em da distribui¸c˜ao da distˆancia de Tchebycheff ´e utilizada outra medida que busca mostrar a distribui¸c˜ao do P F_aprox, por´em ao inv´es de ser utilizado o joelho da busca, ´e utilizado um ponto de referˆencia.

Distribui¸c˜ao dos pontos sobre um ponto de referˆencia busca medir como di-ferentes P F_aprox geradas por diferentes algoritmos est˜ao distribu´ıdas sobre um ponto de referˆencia. Assim, dadas diferentes P F_aprox e um ponto de referˆencia: primeiro ´e calcu-lada a distˆancia euclidiana entre todos os pontos, de todos os algoritmos, e o ponto de

Figura 7.6: Exemplo da distribui¸c˜ao deTchebycheff.

referˆencia. Ap´os, s˜ao obtidos o menor e o maior valores da distˆancia. Em seguida, o inter-valo variando entre o menor e o maior inter-valor ´e dividido em 10 intervalos, correspondendo a regi˜oes de proximidade ao ponto de referˆencia. Por fim, o indicador conta para cada algoritmo quantos pontos da P F_aprox est˜ao localizados em cada regi˜ao de proximidade.

Algoritmos que gerarem mais pontos em intervalos menores (10% ou 20%) mais pr´oximos do ponto de referˆencia, est˜ao mais pr´oximos deste ponto. Da mesma forma que no c´alculo da distˆancia de Tchebycheff essas distribui¸c˜oes s˜ao tra¸cadas num histograma e ´e feita a mesma an´alise apresentada no exemplo anterior.

Dentre os indicadores apresentados nessa se¸c˜ao, essa tese ir´a focar nos valores de GD e IGD. O GD ser´a utilizado para medir a convergˆencia dos algoritmos utilizados, enquanto o IGD ser´a utilizados para medir a diversidade. Os demais indicadores ser˜ao utilizados para auxiliar a an´alise do GD e do IGD.

Na valida¸c˜ao das t´ecnicas propostas, cada algoritmo ´e executado v´arias vezes e os re-sultados dos indicadores de qualidade s˜ao comparados utilizando o teste de Friedman [32].

O teste de Friedman ´e um teste estat´ıstico n˜ao param´etrico utilizado para a compara¸c˜ao de m´ultiplos conjuntos de dados. Nesse teste as observa¸c˜oes entre os blocos podem ser rankeadas. Por exemplo, o conjunto de execu¸c˜oes de cada algoritmo gera um bloco de dados para cada medida que ´e independente e sem intera¸c˜ao, pois a cada algoritmo ´e executado separadamente, e s´o pode ser obtido um rank entre os valores das medidas. No teste n˜ao se utilizam os valores dos dados na compara¸c˜ao, mas sim os rankings obtidos

para cada amostra no conjunto de dados. A hip´otese nula ´e que n˜ao existe diferen¸ca entre os algoritmos analisados. Assim, o teste mostra se h´a uma diferen¸ca entre os conjuntos de dados analisados. Em nossa an´alise ele ´e utilizado com 5% de n´ıvel de significˆancia. O p´os-teste ´e efetuado atrav´es de fun¸c˜oes da ferramenta R [78]. ´E utilizado o pacote pgirmess da ferramenta R. O teste de Friedman ´e executado atrav´es da fun¸c˜ao friedman.test que recebe como parˆametro o conjunto de dados. O p´os-teste ´e executado atrav´es da fun¸c˜ao friedmanmc. O p´os-teste indica se h´a diferen¸ca estat´ıstica entre os diferentes blocos do conjuntos de dados, para identificar quais conjuntos de dados obtiveram os melhores va-lores s˜ao utilizados gr´aficos boxplots. Um boxplot ´e um gr´afico utilizado para descrever grupos de dados. Dado um conjunto de dados, este gr´afico apresenta a mediana, os quartis inferiores e superiores (vig´esimo quinto e septuag´esimo quinto percentis, respectivamente), os valores limites do conjunto de dados (maiores e menor valores) e os poss´ıveis outliers do conjunto.