An´ alise e Compara¸c˜ ao de Resultados em AEMO

As medidas de desempenho de algoritmos evolucion´arios multiobjetivo levam em con- sidera¸c˜ao os objetivos da otimiza¸c˜ao de um problema multiobjetivo, isto ´e, a distˆancia

da fronteira de Pareto ´otima, e uma boa distribui¸c˜ao e espalhamento dos pontos. Exis- tem basicamente trˆes aspectos para a an´alise da eficiˆencia do desempenho de AEMO, s˜ao eles: ranking de dominˆancia, fun¸c˜ao emp´ırica de conquista (empirical attainment func- tion) e indicadores de qualidade sobre a fronteira de Pareto. A seguir algumas medidas de compara¸c˜ao sobre estes aspectos ser˜ao brevemente descritos.

3.4.2.1 Ranking de Dominˆancia

Considerando-se todos os conjuntos de aproxima¸c˜ao resultantes das execu¸c˜oes de cada um dos AEMO que se deseja comparar o desempenho ´e poss´ıvel determinar uma rela¸c˜ao de ordem parcial entre esses conjuntos. Ou seja, pode-se determinar que alguns conjuntos s˜ao melhores, piores ou incompar´aveis com rela¸c˜ao a outros. Essa ordem parcial pode ser utilizada para determinar um rank para cada um dos elementos dos conjuntos, quanto menores os ranks melhor ´e o conjunto. Esses ranks podem ser relativos a diferentes rela¸c˜oes de dominˆancia, tais como:

• Por quantos indiv´ıduos um indiv´ıduo ´e dominado? • Quantos indiv´ıduos um indiv´ıduo domina?

• Qual o valor obtido pela aplica¸c˜ao de algum indicador a um indiv´ıduo?

Baseando-se nos ranks obtidos por cada AEMO e utilizando testes estat´ısticos basea- dos em rank pode-se inferir qual ou quais AEMO s˜ao estatisticamente melhores.

O ranking de dominˆancia se baseia somente no conceito de dominˆancia de Pareto e, portanto, ´e independente de informa¸c˜oes de preferˆencia (diferentemente de outras m´etricas como o hipervolume que ser´a tratado adiante). Esta m´etrica ´e recomendada porque se um AEMO obt´em diferen¸ca significativa nesta m´etrica j´a ´e poss´ıvel concluir que ele ´e melhor ou pior que os demais (KNOWLES; THIELE; ZITZLER, 2006). Caso a diferen¸ca n˜ao seja significativa deve-se utilizar as outras m´etricas. De qualquer modo, outras m´etricas podem agregar mais informa¸c˜oes sobre as diferen¸cas de desempenho.

3.4.2.2 Fun¸c˜ao Emp´ırica de Conquista (Empirical Attainment Function )

Uma fun¸c˜ao de conquista (attainment function) ´e uma medida de momento de primeira ordem (como a m´edia e a mediana) para a avalia¸c˜ao de resultados de AEMO (FONSECA; FONSECA; HALL, 2001). Elas requerem dados estat´ısticos sobre a evolu¸c˜ao dos AEMO

para apresentar uma medida gr´afica da eficiˆencia destes algoritmos. Uma fun¸c˜ao de con- quista emp´ırica define uma superf´ıcie que divide o espa¸co objetivo em metas (pontos), como por exemplo a fronteira de Pareto ´otima, e a probabilidade de atingir cada meta.

Pode-se utilizar esta m´etrica para identificar em quais regi˜oes do espa¸co objetivo um conjunto de aproxima¸c˜ao ´e melhor que o outro e qual a probabilidade disto acontecer. Por aproximar a distribui¸c˜ao de probabilidade de um algoritmo estoc´astico, uma fun¸c˜ao de conquista pode responder perguntas do tipo: qual a probabilidade de se encontrar solu¸c˜oes que dominem um determinado ponto em uma ´unica execu¸c˜ao ou em quantas execu¸c˜oes, aproximadamente, ser˜ao encontradas solu¸c˜oes dominadas por um determinado ponto. Nesse sentido a fun¸c˜ao de conquista ´e uma m´etrica mais robusta que as demais, por´em possui um custo computacional elevado (COELLO; LAMONT; VELDHUIZEN, 2007).

Um exemplo do uso de fun¸c˜ao de conquista para a compara¸c˜ao entre conjuntos de aproxima¸c˜ao da fronteira de Pareto pode ser visto na Figura 19. ´E poss´ıvel observar que o conjunto A ´e melhor que o conjunto B na regi˜ao central do espa¸co objetivo, enquanto o conjunto B apresenta melhores resultados na extremidades do espa¸co objetivo. As diferen¸cas s˜ao representadas em escalas de cinza: quanto mais escura a regi˜ao maior ´e a diferen¸ca4.

Figura 19: Exemplo do uso de fun¸c˜ao de conquista (KNOWLES; THIELE; ZITZLER, 2006)

.

Este m´etodo de an´alise e compara¸c˜ao dos resultados n˜ao foi utilizado neste trabalho devido a sua complexidade de implementa¸c˜ao e apresenta¸c˜ao.

3.4.2.3 Indicadores de Qualidade sobre a Fronteira de Pareto

Os indicadores de qualidade s˜ao fun¸c˜oes que atribuem um n´umero real a um ou mais conjuntos de aproxima¸c˜ao. Os indicadores de qualidade podem ser un´arios, quando anal- isam somente um conjunto, ou podem ser n-´arios, quando analisam de uma vez n conjuntos de aproxima¸c˜ao.

Sua modelagem matem´atica unifica v´arios indicadores j´a existentes na literatura e apresenta um resultado bastante interessante: nem todos os indicadores de qualidade podem ser utilizados para fazer afirma¸c˜oes como A ≺≺ B, ou “o conjunto de solu¸c˜oes A ´e estritamente melhor que o conjunto de solu¸c˜oes B”. Existe at´e o caso de indicadores que afirmam que A supera B mesmo quando todas as solu¸c˜oes de A s˜ao dominadas por uma ou mais solu¸c˜oes de B - um indicador simples para entender este caso ´e o indicador “n´umero de solu¸c˜oes”, que mapeia um conjunto de solu¸c˜oes no n´umero de solu¸c˜oes do conjunto, e onde se entende que quanto maior o n´umero de solu¸c˜oes, melhor. Indicadores que podem afirmar “A ´e melhor que B” mesmo quando B ≺≺ A (ou seja, podem dar indica¸c˜oes falsas a respeito de qual algoritmo ´e melhor) s˜ao chamados indicadores Pareto non-compliant (ou indicadores Pareto n˜ao-concordantes).

Alguns indicadores un´arios s˜ao bastante utilizados por possu´ırem algoritmos publi- camente dispon´ıveis para seu c´alculo e por serem Pareto compliant, dentre eles est˜ao (KNOWLES; THIELE; ZITZLER, 2006): o indicador hipervolume (IH),o indicador ε- un´ario (Iε),o indicador ε-un´ario (Iε +), os indicadores R2 (IR2) e R3 (IR3). Todos eles s˜ao

executados em rela¸c˜ao a um conjunto de referˆencia R, normalmente um conjunto melhor do que os que est˜ao sendo analisados. Mais detalhes conforme descrito a seguir.

• Indicador Hipervolume (IH):

este indicador proposto por Zitzler e Thiele (1999) mede o hipervolume (o qual deve ser maximizado) da por¸c˜ao do espa¸co objetivo que ´e fracamente dominada por um conjunto de aproxima¸c˜ao A. Para que esse c´alculo possa ser feito, o espa¸co de obje- tivos deve ser limitado por um ponto limitante, chamado ponto nadir, dominado por todos os outros pontos. Uma das grandes desvantagens do indicador IH ´e o tempo computacional para seu c´alculo, que cresce exponencialmente com o n´umero de ob- jetivos. Cabe observar que algumas implementa¸c˜oes deste indicador consideram a diferen¸ca do hipervolume com rela¸c˜ao a um conjunto de referˆencia (R), neste caso o valor resultante deve ser minimizado. Um exemplo do indicador IH pode ser visto na Figura 20. Nesta figura observa-se que o limite das ´areas se d´a pelo ponto de referˆencia (reference) e que a ´area dominada pelo ponto A ´e menor do que a ´area dominada pelo ponto B, ou seja, I_H(A) < I_H(B);

Figura 20: Exemplo do indicador hipervolume (KNOWLES; THIELE; ZITZLER, 2006).

• Indicadores ´Epsilon-Un´ario (Iε) e (Iε +): os indicadores ε-un´ario aditivo (Iε +) e multiplicativo (Iε) foram propostos por Zitzler et al. (2003)5. O indicador calcula o menor valor e que, quando multiplicado/adicionado a todas as solu¸c˜oes do conjunto de referˆencia R, faz com que este passe a ser fracamente dominado. Assim, deseja- se que a sa´ıda deste indicador seja minimizada. Este indicador ´e barato de ser computado;

• Indicadores (IR2) e (IR3): foram propostos por Hansen e Jaszkiewicz (1998). Se

utilizam de uma s´erie de fun¸c˜oes de utilidade (utility functions) para calcular v´arias poss´ıveis preferˆencias do tomador de decis˜ao e analisar qu˜ao bem elas est˜ao sendo atingidas. Para isso, s˜ao utilizados vetores de escalariza¸c˜ao que parametrizam as fun¸c˜oes de utilidade. A Equa¸c˜ao 3.4.2.3 define matematicamente este indicador. A utilidade u( ˜λ , B) do conjunto de aproxima¸c˜ao A, no vetor de pontos escalarizados ˜λ ´

e a distˆancia m´ınima entre um ponto do conjunto A e um ponto de referˆencia (esta distˆancia ´e medida atrav´es da proje¸c˜ao deste ponto no vetor de escalariza¸c˜ao);

R2 = ∑ ˜λ ∈Vu( ˜λ ,B)−u( ˜λ ,A)

|˜λ | (3.6)

Os indicadores de qualidade primeiramente reduzem os conjuntos de aproxima¸c˜ao a um ´unico valor de qualidade. Na sequˆencia, testes estat´ısticos s˜ao aplicados sobre as amostras destes valores de qualidade. Os testes estat´ısticos para a compara¸c˜ao entre os indicadores de qualidade ser˜ao os mesmos descritos na Subse¸c˜ao 3.2.1.