de Powell.
A partir de um ponto inicial ~P no espa¸co N-dimensional de parˆametros podemos minimizar uma fun¸c˜ao f ( ~P ) ao longo de uma dada dire¸c˜ao ~n atrav´es de um m´etodo de minimiza¸c˜ao unidimensional. Os v´arios m´etodos locais de otimiza¸c˜ao multidimensional, com exce¸c˜ao do simplex, consistem basicamente em uma sequˆencia de passos compostos por otimiza¸c˜oes unidimensionais. A diferen¸ca b´asica entre cada um destes m´etodos est´a na maneira pela qual, a cada est´agio, faz-se a escolha da nova dire¸c˜ao ~n a ser seguida por uma otimiza¸c˜ao linear. Todos estes algoritmos necessitam de um sub-algoritmo auxiliar, um m´etodo de minimiza¸c˜ao linear (como o m´etodo de Brent [27], sec¸c˜ao ´aurea [26]) cuja opera¸c˜ao pode ser definida da seguinte maneira : dados ~P (ponto inicial), ~n (dire¸c˜ao inicial), assim como
a fun¸c˜ao f a ser minimizada, achar o escalar λ que minimiza f ( ~P + λ~n). Trocar ~P por ~
P + λ~n e ~n por λ~n. E assim sucessivamente.
Figura A.1: Sequˆencia de minima¸c˜oes sucessivas realizada por um m´etodo de conjunto de dire¸c˜oes ao longo do sistemas de coordenadas em um longo e raso vale. Como pode ser visto, a n˜ao ser que o vale esteja em uma orienta¸c˜ao adequada em rela¸c˜ao ao sistema de coordenadas, o m´etodo dever´a executar uma sequˆencia exaustiva de pequenos passos at´e conseguir atingir o m´ınimo. [26]
Nesta se¸c˜ao discutiremos uma classe de algoritmos, os algoritmos de conjuntos de dire¸c˜oes (‘Direction Set Methods’) cuja escolha de dire¸c˜oes sucessivas n˜ao envolve o c´alculo expl´ıcito do gradiente da fun¸c˜ao . A otimiza¸c˜ao unidimensional realizada em cada est´agio do processo de busca multidimensional poder´a ou n˜ao utilizar o c´alculo de gradiente, de acordo com o algoritmo empregado.
Se em uma determinada aplica¸c˜ao deseja-se evitar o c´alculo de gradientes durante o processo de otimiza¸c˜ao , pode-se empregar um algoritmo de conjunto de dire¸c˜oes que opera da seguinte forma:
1) escolhe-se um conjunto de vetores unit´arios ~e1, ~e2, ~e3, ..., ~eN como o conjunto inicial
de dire¸c˜oes .
2) usando um m´etodo de otimiza¸c˜ao linear (sec¸c˜ao ´aurea [26],Brent [27, 28]) move-se a partir do ponto inicial ao longo da primeira dire¸c˜ao ~e1 at´e que seja atingido um
3) a partir deste m´ınimo, move-se ao longo de ~e2 at´e um novo m´ınimo e assim
sucessivamente.
4) executa-se v´arios ciclos pelo conjunto de dire¸c˜oes at´e que n˜ao seja mais poss´ıvel decrescer o valor da fun¸c˜ao .
Este ´e o mecanismo b´asico de funcionamento dos chamados m´etodos de conjunto de dire¸c˜oes, que apresentam um desempenho satisfat´orio na maior parte das aplica¸c˜oes. Por´em, em algumas situa¸c˜oes o seu desempenho ´e muito ineficiente. Um exemplo t´ıpico de comportamento ineficiente pode ser visualizado na figura A.1: uma fun¸c˜ao de duas vari´aveis cujo mapa de curvas de n´ıvel define um longo e estreito vale a um determinado ˆangulo em rela¸c˜ao ao sistema de coordenadas. Neste caso, o ´unico caminho de ‘descida’ poss´ıvel para o algoritmo atrav´es do vale (em dire¸c˜ao ao m´ınimo) ser´a ao longo dos vetores da base (~ei), em uma s´erie de pequenos passos.
Obviamente neste caso o algoritmo necessita de um conjunto de dire¸c˜oes mais adequado que a base ~ei. Os m´etodos de conjunto de dire¸c˜oes consistem em diferentes maneiras de
se atualizar o conjunto de dire¸c˜oes durante o processo de busca, de maneira a obter um novo conjunto que apresente caracter´ısticas que :
1) incluam algumas novas dire¸c˜oes adequadas que desviem o processo de busca de vales longos, estreitos e pouco profundos, como na figura A.1.
2) incluam um n´umero de dire¸c˜oes que n˜ao iterfiram entre si, ou seja, que a minimiza¸c˜ao linear ao longo de uma dire¸c˜ao n˜ao seja prejudicada pela subsequente minimiza¸c˜ao ao longo de outra dire¸c˜ao. Desta maneira intermin´aveis ciclos atrav´es do conjunto de dire¸c˜oes podem ser evitados.
O conceito de dire¸c˜oes n˜ao interferentes, ou dire¸c˜oes conjugadas pode ser definido explicitamente do ponto de vista matem´atico. Se minimizarmos uma fun¸c˜ao ao longo de uma dire¸c˜ao ~u, ent˜ao o gradiente da fun¸c˜ao ser´a perpendicular a ~u no m´ınimo. Tome-se ent˜ao um ponto particular ~P como a origem de um sistema de coordenadas ~x. A fun¸c˜ao f a ser minimizada pode ser ent˜ao aproximada por uma s´erie de Taylor:
f (~x) = f ( ~P ) +P i δxδfixi+12Pi,j δ 2f δxiδxjxixj + ... ≈ c −~b.~x + 12~x.A.~x , (A.13) onde :
c ≡ f( ~P ) ~b ≡ −∇f |P~ [A]ij ≡
δ2f
δxiδxj | ~
P . (A.14)
A matriz A cujos componentes s˜ao as derivadas parciais de segunda ordem da fun¸c˜ao ´e chamada de matriz Hessiana da fun¸c˜ao no ponto ~P .
Utilizando a aproxima¸c˜ao da equa¸c˜ao A.13, o gradiente de f pode ser calculado da forma :
∇f = A.~x −~b . (A.15)
Como ent˜ao mudar´a o gradiente ∇f `a medida que o algoritmo se mover ao longo de uma dire¸c˜ao ? Evidentemente teremos :
δ(∇f) = A.(δ~x) . (A.16)
Suponha-se ent˜ao que um movimento ao longo de uma dire¸c˜ao ~u tenha sido realizado e agora o algoritmo se mover´a em uma nova dire¸c˜ao ~v. A condi¸c˜ao necess´aria para que o movimento ao longo de ~v n˜ao interfira na otimiza¸c˜ao realizada ao longo de ~u ´e que o gradiente continue perpendicular a ~u, ou seja, que a mudan¸ca no gradiente seja perpendicular a ~u. Neste caso, pela equa¸c˜ao A.16 teremos:
0 = ~u.δ(∇f) = ~u.A.~v . (A.17)
Quando dois vetores ~u e ~v obedecerem `a equa¸c˜ao A.17, estes ser˜ao vetores conjugados. Se esta rela¸c˜ao for obedecida por todos os vetores de um conjunto de dire¸c˜oes , teremos um conjunto conjugado de dire¸c˜oes . O objetivo principal de um m´etodo de conjunto de dire¸c˜oes consiste na obten¸c˜ao de um conjunto de N vetores linearmente independentes e mutuamente conjugados, evitando repetidos ciclos atrav´es do conjunto de dire¸c˜oes como no exemplo apresentado na figura A.1.
Dentre os v´arios m´etodos de conjunto de dire¸c˜oes, o mais utilizado ´e o m´etodo de Powell, devido `a sua relativa simplicidade operacional e ao fato de conseguir obter com sucesso um conjunto de N dire¸c˜oes mutuamente conjugadas. O passo inicial do algoritmo de Powell consiste em se inicializar o conjunto de dire¸c˜oes ~ui com os vetores do sistema de
coordenadas:
~ui = ~ei (A.18)
i=1,...,N ,
e em seguida repetir a seguinte sequˆencia de passos at´e que n˜ao se consiga mais diminuir o valor da fun¸c˜ao :
1) a posi¸c˜ao inicial ~P0 ´e armazenada.
2) para i=1,...,N, move-se ~Pi−1para um valor m´ınimo ao longo da dire¸c˜ao ~ui(utilizando
um m´etodo de minimiza¸c˜ao linear, usualmente o m´etodo de Brent [27]) e este ponto ´e chamado de ~Pi.
3) para i=1,...,N-1, faz-se: ~ui = ~ui+1.
4) faz-se: ~uN = ~PN − ~P0.
5) move-se o ponto ~PN para o m´ınimo ao longo da dire¸c˜ao ~uN e este ponto ´e chamado
de ~P0.
N repetidas itera¸c˜oes deste procedimento b´asico, envolvendo N(N+1) minimiza¸c˜oes lineares, conseguir˜ao localizar o m´ınimo para uma fun¸c˜ao que apresente uma topografia de forma quadr´atica, como a da figura A.1 [27, 28].
Entretanto, apesar desta r´apida convergˆencia apresentada no caso de fun¸c˜oes aproximadamente quadr´aticas, h´a um problema com o mecanismo b´asico do algoritmo de Powell. O procedimento de se descartar, a cada est´agio, ~u1 em favor de ~PN − ~P0, tende
a produzir conjuntos de dire¸c˜oes que come¸cam a ficar linearmente dependentes. Quando isto ocorre, o processo de busca explorar´a apenas um sub-espa¸co do espa¸co de parˆametros N-dimensional, encontrando o valor m´ınimo da fun¸c˜ao apenas neste sub-espa¸co. Existem algumas maneiras de se contornar este problema, sendo que a mais utilizada, devido ao fato de conservar a convergˆencia quadr´atica do m´etodo de Powell, consiste em se reinicializar o conjunto de dire¸c˜oes ~ui com os vetores ~ei ap´os cada N ou N+1 itera¸c˜oes do esquema