CA 2016/004 Versão 001 Validação das funções de teste no Framework de Otimização do LEV - Versão

(1)

CA 2016/004 – Versão 001 – Validação das funções de teste no Framework de

Otimização do LEV - Versão 2016-03-02

Carlos Alberto da Silva Junior, Wakim Boulos Saba e Angelo Passaro Palavra chave: Framework de otimização, funções de teste.

1 - Objetivo

Validar as funções de teste já implementadas no Framework, comparando os resultados obtidos com o framework e com o Excel. Além disso, serão apresentadas as equações, domínio de estudo, raízes, dimensão e uma referência para cada uma das funções.

2 - Justificativa

Depois de mudança de paradigma na implementação das funções de teste, que anteriormente estavam implementadas na classe Individual e foram transferidas para a Classe DirectModel, existe a necessidade de verificar se os resultados obtidos são consistentes e coerentes. Por esta razão, é necessário testar todas as funções que estavam implementadas. Para isso, será feito uma comparação entre os resultados obtidos para o valor de função objetivo com o framework e com o Excel, para comparar os erros calculados entre os resultados obtidos por ambos.

3 - Datas

Março de 2016.

4 - Procedimentos, comentários e resultados obtidos

Para validar as implementações, foram geradas pelo framework de otimização do LEV uma população inicial de 100 soluções, para cada uma das funções implementadas, em três dimensões distintas (02, 10 𝑒 30), quando a função era n-dimensional. Essas soluções foram geradas pelo algoritmo Black Hole.

Para cada uma dessas soluções geradas, foi feito o cálculo de função objetivo no Excel e, dessa forma, os erros absoluto e relativo entre os valores calculados pelos dois programas foram estimados. A implementação foi validada quando o erro relativo médio e o desvio padrão foram baixos, e nos casos onde isso não aconteceu foi indicado uma correção na implementação do código no framework.

Aqui nesse caderno de atividade, foi apresentada a equação da função, o seu gráfico, uma fonte de citação para a mesma, o domínio de estudo, a dimensão e os erros médios, com os desvios padrões obtidos. Em anexo estarão todo o material utilizado nos cálculos.

As funções testadas foram as seguintes:

Função Seção Função Seção

Ackley 4.1 Rosenbrock 4.7

Alpine 𝑁° 1 4.2 Schaffer 𝑁° 2 4.8

Beale 4.3 Schwefel 4.9

Griewank 4.4 Six Hum Camel 4.10

Levy 4.5 Sphere 4.11

Michalewicz 4.6 Xsens(x) 4.13

Rastrigin 4.12 Zakharov 4.14

(2)

4.1 – A função de Ackley

A função de Ackley é uma função 𝑛-dimensional, multimodal, cujo gráfico em duas dimensões é dado por

Gráfico gerado pelo programa Grapher 9 (32bits)

A função Ackley é dada pela expressão 𝑓(𝑿) = 𝑓(𝑥₁, 𝑥₂, … , 𝑥_𝑛) = −𝑎 ∗ 𝑒𝑥𝑝 (−𝑏√1 𝑛∑ 𝑥𝑖 2 𝑛 𝑖=1 ) − 𝑒𝑥𝑝 (1 𝑛∑ cos(𝑐𝑥𝑖) 𝑛 𝑖=1 ) + 𝑎 + exp(1), geralmente, com 𝑎 = 20, 𝑏 = 0.2 e 𝑐 = 2𝜋. O domínio em estudo é [−32.768, 32.768]𝑛_{, sendo} que nessa região a função possui um único ponto de mínimo global em 𝒙∗ _{= (0,0, … ,0) com valor} de 𝑓(𝒙∗) = 0.

Dos resultados obtidos pelo framework, comparados com os obtidos pelos Excel, segue as informações sobre os erros:

Variáveis Erro Absoluto

Médio Desvio Padrão

Erro Relativo

Médio Desvio Padrão 02 5.83𝐸 − 05 5.76E − 05 2.88E − 06 2.82E − 06

10 3.68𝐸 − 05 3.19𝐸 − 05 1.75𝐸 − 06 1.52𝐸 − 06

30 2.82𝐸 − 04 1.81𝐸 − 04 1.33𝐸 − 06 8.52𝐸 − 07

Para as três dimensões, o erro relativo médio foi baixo, com valores de desvio padrão também mínimos. Portanto, a implementação da função Ackley está apresentando resultados coerentes e confiáveis. Uma referência para a função de Ackley é dada em [1].

4.2 – A função Alpine 𝑵° 𝟏

A função Alpine 𝑁° 1 é uma função 𝑛-dimensional, multimodal, cujo gráfico em duas dimensões é dado por

(3)

A função Alpine 𝑁° 1 é dada pela expressão

𝑓(𝑿) = 𝑓(𝑥₁, 𝑥₂, … , 𝑥_𝑛) = ∑|𝑥_𝑖 ∗ sin(𝑥_𝑖) + 0.1 ∗ 𝑥_𝑖| 𝑛

𝑖=1

.

O domínio de estudo é [−10.0, 10.0]𝑛 sendo que, nesse domínio, a função possui um único ponto de mínimo global em 𝒙∗_{= (0,0, … ,0), de valor 𝑓(𝒙}∗_{) = 0.}

As principais informações sobre os erros absolutos e relativos, obtidos pelo framework e pelo Excel, são apresentadas na tabela a seguir.

Erro Relativo

10 4.08𝐸 − 05 2.69𝐸 − 05 1.44𝐸 − 06 1.01𝐸 − 06

30 1.09𝐸 − 04 1.14𝐸 − 04 1.15𝐸 − 06 1.09𝐸 − 06

Para as três dimensões, o erro relativo médio foi baixo, com baixo valor de desvio padrão. Portanto, a implementação da função Alpine 𝑁° 1 está apresentando resultados coerentes e confiáveis. Uma referência para a função Alpine 𝑁° 1 é dada em [2].

4.3 – A função Beale

A função Beale é uma função bidimensional, monomodal, cujo gráfico é dado por:

A função Beale é dada pela expressão

𝑓(𝑥, 𝑦) = (1.5 − 𝑥 + 𝑥 ∗ 𝑦)2+ (2.25 − 𝑥 + 𝑥 ∗ 𝑦2)2_{+ (2.625 − 𝑥 + 𝑥 ∗ 𝑦}3₎2_,

com domínio de estudo dado por [−4.5, 4.5]2_{. Nesse domínio, a função possui um único mínimo} global de valor 𝑓(𝒙∗_{) = 0 em 𝒙}∗ _{= (3.0, 0.5).}

Dos resultados obtidos pelo framework, comparados com os obtidos pelos Excel, segue as informações sobre os erros:

Erro Relativo

Médio Desvio Padrão 02 7.53𝐸 + 03 1.52E + 04 2.11E + 01 4.28E + 01

(4)

É preciso fazer a correção da classe beale para que a função apresente resultados coerentes. Uma referência para a função Beale é apresentada em [3].

4.4 – A função de Griewank

A função de Griewank é uma função 𝑛-dimensional, multimodal, cujo gráfico em duas dimensões é dado por

A função de Griewank é dada pela expressão 𝑓(𝑿) = 𝑓(𝑥1, 𝑥2, … , 𝑥𝑛) = 1 + ∑ 𝑥_𝑖2 4000 𝑛 𝑖=1 − ∏ cos (𝑥𝑖 √𝑖) 𝑛 𝑖=1 .

Em geral, o domínio de estudo é [−600.0, 600.0]𝑛 sendo que, nesse domínio, a função possui único valor mínimo global de 𝑓(𝒙∗) = 0 em 𝒙∗_{= (0,0, … ,0).}

Erro Relativo

10 2.82𝐸 − 04 1.82𝐸 − 04 1.08𝐸 − 06 8.46𝐸 − 07

30 8.93𝐸 − 04 1.21𝐸 − 03 8.90𝐸 − 07 1.11𝐸 − 06

(5)

4.5 – A função de Levy

A função de Levy é uma função 𝑛-dimensional, multimodal, cujo gráfico em duas dimensões é dado por

A função de Levy é dada pela expressão

𝑓(𝑿) = 𝑓(𝑥1, 𝑥2, … , 𝑥𝑛) = 𝑠𝑖𝑛2(𝜋𝜔1) + ∑(𝜔𝑖− 1)2[1 + 10𝑠𝑖𝑛2(𝜋𝜔𝑖 + 1)] 𝑛−1 𝑖=1 + +(𝜔_𝑛− 1)2_{[1 + 𝑠𝑖𝑛}2_(2𝜋𝜔 𝑛)], sendo 𝜔_𝑖 = 1 +𝑥𝑖− 1 4 , ∀ 𝑖 = 1, 2, … , 𝑛.

Em geral, o domínio de estudo é [−10.0, 10.0]𝑛 sendo que, nesse domínio, a função possui valor mínimo global de 𝑓(𝒙∗_{) = 0 em 𝒙}∗ _{= (0,0, … ,0).}

Erro Relativo

10 2.26𝐸 − 04 1.68𝐸 − 04 1.81𝐸 − 06 1.16𝐸 − 06

30 2.78𝐸 − 04 1.82𝐸 − 04 7.54𝐸 − 07 5.51𝐸 − 07

Para as três dimensões, o erro relativo médio foi baixo, com baixo valor de desvio padrão. Portanto, a implementação da função Levy está apresentando resultados coerentes e confiáveis. Uma referência para a função Levy é dada em [6].

4.6 – A função de Michalewicz

A função de Michalewicz é uma função 𝑛-dimensional, multimodal, cujo gráfico em duas dimensões é dado por

(6)

A função de Michalewicz é dada pela expressão 𝑓(𝑿) = 𝑓(𝑥1, 𝑥2, … , 𝑥𝑛) = − ∑ sin(𝑥𝑖) ∗ 𝑠𝑖𝑛2𝑚( 𝑖𝑥_𝑖2 𝜋 ) 𝑛 𝑖=1 ,

geralmente, considera-se 𝑚 = 10. Em geral, o domínio de estudo é [0.0, 𝜋]𝑛_{. Para cada dimensão o} mínimo global se posiciona em um ponto. Por exemplo, para duas dimensões tem-se que o valor mínimo global é 𝑓(𝟐. 𝟐𝟎, 𝟏. 𝟓𝟕) = −1.8013. Já para cinco dimensões, tem-se que 𝑓(𝒙∗_{) =} −4.687658 e para dez dimensões, tem-se que 𝑓(𝒙∗_{) = −966015. Ainda não foi localizado o} trabalho onde a função e seus mínimos são descritos de uma forma geral. Mas depois que essa referência for localizada, a mesma será acrescentada.

Erro Relativo

Médio Desvio Padrão 02 6.04𝐸 − 01 3.49E − 01 1.63E + 00 9.42E − 01

10 2.01𝐸 + 01 7.64𝐸 − 01 9.49𝐸 − 01 3.49𝐸 − 02

30 2.27𝐸 + 00 1.19𝐸 + 00 4.05𝐸 − 01 2.12𝐸 − 01

Pode-se observar claramente que os resultados obtidos pelo framework não estão coerentes. Observando o arquivo michalewicz.cpp é possível observar o erro. As variáveis foram declaradas pela quantidade, como visto a seguir, e não pelo seu valor.

É preciso fazer a correção na implementação da classe michalewicz para que a função apresente resultados coerentes. Uma referência para a função Michalewicz é apresentada em [7]. 4.7 – A função de Rosenbrock

(7)

A função de Rosenbrock é dada pela expressão

𝑓(𝑿) = 𝑓(𝑥₁, 𝑥₂, … , 𝑥_𝑛) = ∑[100(𝑥𝑖+1− 𝑥𝑖2)2+ (𝑥𝑖− 1)2] 𝑛−1

𝑖=1

.

O domínio de estudo é [−30.0, 30.0]𝑛, sendo que nesse domínio a função possui um único valor mínimo global de 𝑓(𝒙∗_{) = 0 em 𝒙}∗ _{= (1, 1, … , 1).}

Erro Relativo

Médio Desvio Padrão 02 7.19𝐸 + 01 9.31E + 01 5.69E − 06 4.66E − 06

10 3.53𝐸 + 02 2.86𝐸 + 02 2.30𝐸 − 06 1.57𝐸 − 06

30 5.09𝐸 + 02 3.68𝐸 + 02 1.05𝐸 − 06 7.35𝐸 − 07

Para as três dimensões, o erro relativo médio foi baixo, com baixo valor de desvio padrão. Portanto, a implementação da função Rosenbrock está apresentando resultados coerentes e confiáveis. Uma referência para a função Rosenbrock é dada em [8].

4.8 – A função de Schaffer 𝑵° 𝟐

A função de Schaffer 𝑁° 2 é uma função bidimensional, multimodal, cujo gráfico em duas dimensões é dado por

Existem algumas variações entre as fórmulas utilizadas para a função de Schaffer. Duas destas formulações são:

𝑓(𝑥, 𝑦) = 0.5 + 𝑠𝑖𝑛

2_(𝑥2_{− 𝑦}2₎2 _{− 0.5}

1 + 0.001 ∗ (𝑥2_{+ 𝑦}2₎2 𝑒 𝑓(𝑥, 𝑦) = 0.5 +

(8)

A formulação implementada no framework de otimização é a segunda formulação. O domínio de estudo é [−100.0, 100.0]2 sendo que, nesse domínio, a função possui um único ponto de mínimo global de valor 𝑓(𝒙∗) = 0, sendo 𝒙∗_{= (0, 0).}

Erro Relativo

Os erros calculados para essa função estão relativamente altos, devido a um erro na implementação da equação, como visto na imagem a segui.

No denominador da expressão, a equação escrita é (1 + 0.001 ∗ (𝑥2+ 𝑦2))2_{e não a} expressão correta 1 + 0.001 ∗ (𝑥2+ 𝑦2)2_.

Portanto, existe a necessidade de corrigir a implementação da função de Schaffer 𝑁° 2 para que sejam obtidos resultados coerentes e confiáveis. Uma referência para a função Schaffer 𝑁° 2 é dada em [9].

4.9 – A função de Schwefel

A função de Schwefel é uma função 𝑛-dimensional, multimodal, cujo gráfico em duas dimensões é dado por

A função de Schwefel é dada pela expressão

𝑓(𝑿) = 𝑓(𝑥₁, 𝑥₂, … , 𝑥_𝑛) = 418.9829 ∗ 𝑛 − ∑ 𝑥_𝑖 ∗ sin (√|𝑥_𝑖|) 𝑛

𝑖=1

(9)

O domínio de estudo é [−500.0, 500.0]𝑛_{, sendo que nesse domínio a função possui um único ponto} de mínimo global com valor de 𝑓(𝒙∗_{) = 0 em 𝒙}∗ _{= (420.9687, 420.9687, … , 420.9687).}

Erro Relativo

10 2.52𝐸 − 03 1.54𝐸 − 03 6.01𝐸 − 07 3.66𝐸 − 07

30 2.63𝐸 − 02 1.48𝐸 − 02 2.09𝐸 − 06 1.18𝐸 − 06

Para as três dimensões, o erro relativo foi baixo, com um baixo valor de desvio padrão. Portanto, a implementação da função Schwefel está apresentando resultados coerentes e confiáveis. Uma referência para a função Schwefel é dada em [10].

4.10 – A função de Six-Hump Camel

A função de Six-Hump Camel é uma função bidimensional, multimodal, cujo gráfico em duas dimensões é dado por

A função de Six-Hump Camel é dada pela expressão

𝑓(𝑥, 𝑦) = (4 − 2.1 ∗ 𝑥2+𝑥 4 3) ∗ 𝑥

2_{+ 𝑥 ∗ 𝑦 + (4𝑦}2_{− 4) ∗ 𝑦}2_.

O domínio de estudo é [−5.0, 5.0]2_{, sendo que nesse domínio a função possui valor mínimo} global de 𝑓(𝒙∗_{) = −1.0316 nos pontos 𝒙}

𝟏∗ = (−0.0898, 0.7126) e 𝒙𝟐∗ = (0.0898, −0.7126). As principais informações sobre os erros absolutos e relativos, obtidos pelo framework e pelo Excel, são apresentadas na tabela a seguir.

Erro Relativo

Médio Desvio Padrão 02 2.79𝐸 + 01 2.80E + 01 5.72E − 03 4.83E − 01

(10)

No parte final da equação está escrito (−4.0 + 4.0 ∗ 𝑦2∗ 𝑦)2 e não a correta (−4.0 + 4.0 ∗ 𝑦2_{) ∗ 𝑦}2_{. Portanto, existe a necessidade de corrigir a implementação da função de Six-Hump Camel} para que sejam obtidos resultados coerentes e confiáveis. Uma referência para a função é dada em [11].

4.11 – A função de Sphere

A função de Sphere é uma função 𝑛-dimensional, monomodal, cujo gráfico em duas dimensões é dado por

A função de Sphere é dada pela expressão

𝑓(𝑿) = 𝑓(𝑥1, 𝑥2, … , 𝑥𝑛) = ∑ 𝑥𝑖2 𝑛

𝑖=1 .

O domínio de estudo é [−100.0, 100.0]𝑛_{sendo que, nesse domínio, a função possui valor mínimo} global de 𝑓(𝒙∗_{) = 0.0 em 𝒙}∗ _{= (0, 0, … , 0).}

Erro Relativo

10 2.62𝐸 − 02 1.62E − 02 8.08E − 07 5.39E − 07

30 1.51𝐸 − 01 1.62E − 01 1.38E − 06 1.44E − 06

(11)

4.12 – A função de Rastrigin

A função de Rastrigin é uma função 𝑛-dimensional, multimodal, cujo gráfico em duas dimensões é dado por

A função de Rastrigin é dada pela expressão

𝑓(𝑿) = 𝑓(𝑥₁, 𝑥₂, … , 𝑥_𝑛) = 10 ∗ 𝑛 + ∑(𝑥_𝑖2_{− 10 ∗ cos(2𝜋𝑥} 𝑖)) 𝑛

𝑖=1

.

O domínio de estudo é [−5.12, 5.12]𝑛 sendo que, nesse domínio, a função possui valor mínimo global de 𝑓(𝒙∗) = 0.0 em 𝒙∗ _{= (0, 0, … , 0).}

Erro Relativo

10 3.65𝐸 − 04 2.56E − 04 2.08E − 06 1.54E − 06

30 5.68𝐸 − 04 4.08E − 04 1.02E − 06 7.49E − 07

Para as três dimensões, os valores dos erros e os valores de desvios padrões foram baixos. Portanto, a implementação da função Rastrigin está apresentando resultados coerentes e confiáveis. Uma referência para a função Rastrigin é dada em [12].

4.13 – A função Xsen(x)

A função Xsen(x) é uma função unidimensional, multimodal, cujo gráfico é dado por:

A função de Xsen(x) é dada pela expressão

𝑓(𝑥) = 𝑥 ∗ 𝑠𝑒𝑛(𝑥).

(12)

Variável Erro Absoluto

Erro Relativo

O valor do erro médio é baixo quanto, com um baixo valor de desvio padrão. Portanto, a implementação da função Xsen(x) está apresentando resultados coerentes e confiáveis. Ainda não foi encontrada uma referência para a referida função. Quando uma for encontrada, a mesma será acrescentada ao documento.

4.14 – A função de Zakharov

A função de Zakharov é uma função 𝑛-dimensional, monomodal, cujo gráfico em duas dimensões é dado por

A função de Zakharov é dada pela expressão 𝑓(𝑿) = 𝑓(𝑥₁, 𝑥₂, … , 𝑥_𝑛) = ∑ 𝑥_𝑖2 𝑛 𝑖=1 + (1 2∑ 𝑖𝑥𝑖 𝑛 𝑖=1 ) 2 + (1 2∑ 𝑖𝑥𝑖 𝑛 𝑖=1 ) 4 .

O domínio de estudo é [−5.0, 10.0]𝑛 sendo que, nesse domínio, a função possui valor mínimo global de 𝑓(𝒙∗) = 0 em 𝒙∗ _{= (0, 0, … , 0).}

Erro Relativo

Médio Desvio Padrão 02 4.32𝐸 + 03 7.08E + 03 1.79E + 01 1.90E + 01

10 3.41𝐸 + 07 5.80E + 07 2.00E + 00 5.59E + 00

30 5.34𝐸 + 10 6.61E + 10 3.22E − 01 1.15E − 01

(13)

O valor 0.5 está sendo multiplicando a cada 𝑥_𝑖, e não pela soma total, como seria o correto. Portanto, existe a necessidade de corrigir a implementação da função de Zakharov para que sejam obtidos resultados coerentes e confiáveis. Uma referência para a função é dada em [2]. O trabalho original onde a função foi definida ainda não foi localizado. Quando isso ocorrer, a informação será acrescentada no CA.

5 – Discussão e problemas encontrados

Vários testes foram executados com o objetivo de validar as funções de testes implementadas no framework. Algumas das funções implementadas apresentaram problemas e precisam ser corrigidas. As demais apresentam resultados coerentes e já podem ser utilizadas. As funções que apresentaram problemas de implementação foram:

 Beale;

 Michalewicz;

 Schaffer N° 2;

 Six-Hump Camel;

 Zakharov.

As demais funções estão corretas.

6 – Conclusões

Apesar de os testes se mostrarem trabalhosos, foi importante fazê-los. Os testes foram realizados depois da mudança de paradigma de implementação das funções de testes, pois agora todas as funções foram testadas e foi possível verificar que algumas delas possuía erro na sua codificação. É preciso corrigir as implementações das funções com equívocos.

Referências

[1] D. H. ACKLEY. 1987. “A Connectionist Machine for Genetic Hillclimbing”. Kluwer Academic Publishers, Norwell, MA, USA, 1987. ISBN: 0-89838-236-X.

[2] S. RAHNAMYAN, H. R. TIZHOOSH and N. M. M. SALAMA, “A Novel Population Initialization Method for Accelerating Evolutionary Algorithms”, Computers and Mathematics with Applications, vol. 53, no. 10, pp. 1605-1614, 2007.

[3] M. JAMIL and X. S. YANG, “A Literature Survey of Benchmark Functions For Global Optimization Problems”, CoRR, 1308.4008, 2013.

(14)

[5] H. CHO and F. OLIVERA and S. D. GUIKEMA. “A derivation of the number of minima of the Griewank function”. Applied Mathematics and Computation, v. 204, n. 2, p. 694-701, 2008. ISSN 0096-3003. Special Issue on New Approaches in Dynamic Optimization to Assessment of Economic and Environmental Systems.

[6] A. V. Levy and S. Gomez, “The Tunneling Method Applied to Global Optimization”. In Numerical Optimization 1984 (Ed. P. T. Boggs). Philadelphia: SIAM, pp. 213-244, 1985.

[7] Z. Michalewicz. “Genetic Algorithms + Data Structures = Evolution Programs” (3rd Ed.). Springer-Verlag, London, UK, UK. 1996.

[8] H. H. ROSENBROCK, “An automatic method for finding the greatest or least value of a function”. The Computer Journal, v. 3, n. 3, p. 175-184, 1960.

[9] J. D. Schaffer. 1984. Some Experiments in Machine Learning Using Vector Evaluated Genetic Algorithms (Artificial Intelligence, Optimization, Adaptation, Pattern Recognition). Ph.D. Dissertation. Vanderbilt University, Nashville, TN, USA. AAI8522492.

[10] H. P. Schwefel, “Numerical Optimization of Computer Models”, John Wiley & Sons, Inc., New York, NY, USA, 1999.

[11] F. H. Branin Jr., “Widely Convergent Method of Finding Multiple Solutions of Simultaneous Nonlinear Equations”, IBM Journal of Research and Development, vol. 16, no. 5, pp. 504-522, 1972.

[12] M. A. Schumer, K. Steiglitz, “Adaptive Step Size Random Search,” IEEE Transactions on Automatic Control. vol. 13, no. 3, pp. 270-276, 1968.