Publicações do PESC Métodos de Região de Confiança em Otimização

&TODOS DE REGIÃO DE CONFIANCA EM O T I M I Z A Ç B

TESE SUBMETIDA AO CORPO DOCENTE DA COORDENAÇXO DOS PROGRAMAS DE P6S-GRADUAÇm EM ENGENHARIA DA UWIVERSIDADE FEDERAL DO R I O DE J A N E I R O COMO PARTE DOS R E Q ü I S I T O S MECESS&IOS PARA A OBTENÇ?&l DO GRAU DE MESTRE EM C I E N C I A S EM ENGENHARIA DE S I S T E W E COWWAÇ%~. A p r o v a d a por : N e l s o n ~ a c u l a n p i 1 ho, D. Sc. ( P r e s i d e n t e ) P a u l o R o b e r t o de oliveira, Dr-Ing. R I O DE J A N E I R 0 , R J

-

BRBSIL JUNHO DE 1990

CARRILLO, ANDRES ALFONSO

McStodos d e R e g i ã o d e C o n f i a n ç a e m O t i m i z a ç ã o ( R i o d e Janei r o? 1 9 9 0 .

V L I I , 102 p. 29,7 c m (COPPE/UFRJ, M . S c . , E n g e n h a r i a d e Si âteraias e C o m p u t a ç ã o , 1 9 9 0 )

T e s e - U n i ver si dade Feder a1 do R i o de Janei r o, COPPE. 1. M d t o d o s d e R e g i So d e C o n f i a n ç a I . C O P P E A F R J

i i i

A Maria E u g e n i a y a nuestras h i j as: E u g e n i a k r í a y

i v

AGRADECI

Mi

ENTOS

En 10s momentos d e a g r a d e c e r a t o d a s l a s p e r s o n a s que d e una u o t r a forma h i c i e r o n p o s i b l e que l l e g a r a este momento d e e u l m i n a c i ó n d e un t r a b a j o d i f i c i l y l a r g o ; mi pensamiento se wel ca pr i meramente a m i q u e r i d a e s p o s a y a mi s h i j i t a s , por e1 c a r i f i o , comprensibn y e s t i m u l o que s i e m p r e m e b r i n d a r o n . A mis c o l e g a s de1 I n s t i L u t o P r o f e s i o n a l d e S a n t i a g o d e C h i l e

(IPS)

,

que t r a b a j a r o n s o b r e c a r g a n d o s u s h o r a r i o s d e t r a b a j o p a r a que yo m e p e r f e c c i o n a r a . A t o d o s 10s prof e s o r e s d e l a CWPEAFRJ que m e ensefíaron y mostraron o t r o s caminos d e 1 a Matedtica A p l i c a d a ; d e s t a c a n d o a mi p r o f e s o r g u i a Nelson Uacul a n F.

,

cqui é n s i e m p r e m e apoyb e n 1 a r e a l i z a c i b n d e este t r a b a j o . A mi c o - o r i e n t a d o r R a f a e l C o r r e a F . , q u i é n s i e m p r e t u v o fEí? e n mi e s f u e r z o . A miscompafíeros d e c u r s o ("turma de1 8 8 " )

,

con q u i e n e s l l e g u é a t e n e r una a m i s t a d que ha c r e c i d o e n e1

ti

empo. A m i amigo Fernando P a r e d e s , d e q u i 4n si empre r e c i b i s o l i d a r i d a d y e s t i m u l o e 10s buenos y malos mclmentos

.

Resumo d a Tese a p r e s e n t a d a à COPPENFRJ como p a r t e d o s r e q u i s i t o s n e c e s s á r i o s p a r a a o b t e n ç ã o d o g r a u d e M e s t r e e m Ci ê n c i as

(M.

Sc. 1

M&l"ODoS DE REG1'Pr:O DE CONFI M Ç A EM OTIMISAÇXO

Anct?r& Alfonso Carril20 Ldpea

Junho d e 1990

O r i e n t a d o r : Nelson ihf~culan FiLho.

Co-Orientador: Raf-L Correu FonteciZLu.

Programa: Engenhrzria de Sistemas e Computuç&o.

N e s t e t r a b a l h o , apresentamos o s M t o d o s d e Região d e Confiança ( p a r a O t i m i z a ç ã o i r r e s t r i t a ) ; cornegando com uma e v o l u ç ã o h i s t ó r i c a d o tema, continuamos com uma r e v i s ã o d a s p r a p r i e d a d e s das Funções m a d r á t i c a s ; p a r a , nos r e s t a n t e s c a p i t u l o s , d e s e n v o l v e r i n - e x t e n s o o s Métodos, dando ê n f a s e a a1 gumas demos t r a ç õ e s e exempl o s i 1 u s t r a t i vos que a j udar ão a uma melhor carnpreensSo d o tema.

Resumen de l a T e s i s p r e s e n t a d a a l a COPPENFRJ como p a r t e de 10s r e q u i s i t o s n e c e s a r i o s p a r a l a o b t e n c i b n de1 g r a d o d e b g i s t e r e n C i e n c i a s

METODOS

DE REGION DE CONFIANZA EN OPTIMIZACION

J u n i o 1990

O r i e n t a d o r : N e l s o n M a c u L c m F i l h o

Co-or i e n t a d o r : R a f a e L C o r r e a F o n t ec i L L a

Programa: I n ~ e n e r f a de S i s t e m a s y C o m p u t a c i b n

Se p r e s e n t a n e n este t r a b a j o Métodos d e Regióra d e C o n f i a n z a ( p a r a O p t i m i z a c i ó n s i n r e s t r i c c i o n e s ) ; p a r t i e n d o c o n una e v o l u c i ó n h i s t ó r i c a de1 t e m a , continuamos con una r e v i si

ón

d e

l

as p r o p i edadeã d e 1 as Funci oneâ Cuadr á t i c a s : p a r a e n 1 o s r e s t a n t e s Capi t u 1 os, d e s a r r o l l ar i n - e x t e n s o

l

os Métodos ; dando é n f asi s a a1 g u n a s demostr aci o n e s y e j empl os i l u s t r a t i v o s q u e s e r v i r á n d e ayuda p a r a una m e j o r comprensi ón de1 tema.

A b s t r a c t of Thesi s p r e s e n t e d t o COPPEAJFRJ as par ti a1 f u l f i l l m e n t of t h e r e q u i r e m e n t s f o r t h e d e g r e e of b s t e r of S c i e n c e (M. Sc. 1

THE

TRUÇr

REGI OM METHODS I M OPTiMISBTIOM

Anc?r&s Alfonso Carril20 L b p e z

J u n e 1990

Chairman: Nelson McrcuPan Fi lho

Co-Chairman: Rafúrel Correu FonteciZZa

Departament: Systems E n g i m e r i n g and Computer Science

T h i s work i s c o n c e r n e d w i t h t h e T r u s t Region Methods i n U n c o n s t r a i n e d O p t i m i z a t i o n . W e s t a r t w i t h a r e v i e w on t h e s u j e c t and a s t u d y of t h e p r o p e r t i e s o f Q u a d r a t i c s F u n c t i ons. Then, w e e x t e n s i v e l y d e v e l o p t h e method, w i t h emphasi s i n some pr oof s and i 1 1 u s t r a t i ng exampl es w i c h s h o u l d h e l p i n a b e t t e r u n d e r s t a n d i n g of t h e area.

O s Y&.tdcdos c h a m d o s d e "Reçião d e Ccnfianqa" (TRUST- FTEC5ZON ETHOY,:! s ã o d e r e c e n t e fiparecimento e m A n á l i s e

ifur&rica.

MY

m a i s r i a c?==

&.gsri.tCIxss

Y e M ~ T T > ~ z Y $ ~ I SL d c t e . r x i n a primei r airente uma

DI

RECXO

DE DESCI DA, aú Longo da

qual se f a z uma buzca uni d i mensi onal (chamada na l i ter a t u r a :

'%=sca L i n e a r

" 2

com o o b . j e t i v o d e e n c o n t r a r uma aproximac$3o 4s ~ L n i z o fiesta d i r e ç ã o . A s e g u i r , e s t a aproximaqão é rionc=iderzda com= @ novo ponto d e p a r t i d a . N e s t a c a t e g o r i a , %par ecem o s a i g o r i tmos do t i p o G r a d i e n t e Conjugado e a q u e l e s

ds

Ligo

kn~zsi

-Ne-iion c1 A s s i co.

A i d 4 i z d a i t e r a q ã o dada p e l o M&todo d e R e g i ã o d e Ucz:~,fIanqa &

a

seq.zir,',e: ContrOe-se nu ponto v, um modelo

k

jr=-,ui

-

-3 c a n s i d e s a d c quadr á t i c o ) d a f unqão o b j e t i v o e

du

f=ris;Uc (c= f u f i c i ~ n a l l , . Essa b o l a 6 chamada Região d e

Cunf i a f i r , ~ . Logo

,

c o n s i der a-se uit? ~ Z C _ C ; C Y

S~ qrle g a r a n t a um

&

c

suf i c i ~.=del. quadr=$i

na

i n 3 e r s e g Y ~ UE?P,C_Y ReqiU.~ d e C ~ n f i a q a EI ú c o r , . j ~ n t o v i h 5 , . A funç2b &jeii-.m 6 a - a l i a d a n e s t e novo ponto. Se s e u v a l o r d e c r e s c e u u s u f i c i e n t e , o novo ponto é a c e i t o com o s e g u i n t e i t e r a d o

e

r e au~??eota

u

r a i o da RegiSo d e Confianqa. Caso c o n t r b r i o , c: n u w p n k o & d e s c a r t a d o e o r a i o d a Região d e Confiança e5

r eduzi do.

A d i f e r e n g a fundamental com o s chamados: M&todos d e Busca liriear

,

está no f a t o d e c o r a eles u t i l i z a m o modelo q ~ u u d r á t i c c p a r a a e l e i q ã o do comprimento do p a s s o . A s s i m , enquanto na "busca l i n e a r

"

,

o madel o q u a d r & t i c o I& usado par a obter S. d i r e q E o d e busca ?ninimizando o modelo q u a d r á t i c a ; no

c u s u

dc h i & t ~ Y ~ de IZegislo

de

C c ~ l f l a ~ ~ ; ~ ~ e s c d h e - s e prime ir^

rilx p a s s o d e prova de c o m p r i m n f o e a s e g u i r se u s a o

k

mdcilo quabrAtico p a r a s e l e c i o ~ z r o ii?elhcr p a s s o com esse cc~.prf

z z ~ t Y .

Puru i s s ~

se

r e s d v = ? Y

p r s k l c x z :

=

f

(v,

1

C

c n d e c;_ & o gradienLe d a f u n ~ ã o f a v z l i z d a no ponto x n:

H

b C C

& a rnztriz Hessiana d e f i n i d a no ponto x

.

c

.

k z i f i . , d e p o i s que â

f

o i enconLrado (sendo s a s o l u ç ã o

C C

d o problema d e minimizaqão

(P)

)

,

o M&todo d e Região d e C o n f i z n p e f e t u a uma avaliarhão d e f (x

-

+

s ) p a r a ver se

L c

( x +

#.

s )

d

s a t i s f a t d r i o ou nSo. O que f o i e x p r e s s o

h

-

b

a n t e r i o r m e n t e d e f o r n a e s q t e m á t i c a é t r a t a d o com c e r t o U c L a l h e no PapiYulo

I V

c p a r t e do C a p i t d o V d e s t e t r a b a l h o .

i

1

Fazendo que a r e s t r i ç ã o r e s p e i t o d a Região d e C e n f i a n ~ a s6 possa ser cumprida d e forma aproximada, i s s o dá orl g e m aos chamados Mdtodos d e p a s s o l oca1 mente r e s t r i n g i do

("IirnE","! * e

i i1 Cl

mcdelu quadrUtico pode ser miniwdzabo s b a p r o x i

-

m a d ~ r n e ~ t e , u qts

UI

oric;=rr. 83s chzmadas M&todos "dogleg" e "'srtwól e dogl e g "

.

d e s k t i p o . I s s o f a z com r o b u s t e ~ d o s a1 g a r i %mos

que se p o s s a e s p e r a r xma e x c e l e n t e e x i s t e n t e s p a r a estes mtstodos (no s e n t i d o que c a l g o r i t m o c o n t i n u e t r a b a l h a n d o bem; a i n d a que

fiz

UYYCS

z q j z m

" r ~ i m ' ~ ,

Z Z S ~ ~ I ! par e x e m p I ~ : corr! uma m a t r i z

mal. condi ci onada

,

o a1 gor i tmo c o n t i nbe f ar necendo bons r = s u l

t

ádos

1

.

$!c CapiLulo

VI,

coma indica. chex nome, se e s t u d a uma e x L s t r . s Y c do %todo d e Região d e Confiznqa, e s p e c i a l m e n t e r e f e r i d o a mostrar c s t r a t & g i a â d e busca do p a s s o quando a ~ & Y ? r - i z H s s s i a ~ a 6 d e f i n i d a nec;ativa. Tudo i s s o 911-m d e z l g u n s exempios d e s e n v o l v i d o s com c e r t o d e t a l h e . N o ~31 ti imo

C l ; ~ ~ i t u l a se a p r e s e n t a , a modo d e resumo, uma d e s c r i ç ã o com zrr. exemplo do M g o r i tmo d e Região d e Conf ianr;;a.

CAPITULO I1

ALGUNS ANTECEDENTES H 1

ST6RI

C-.

O desenvolvimento dos W t o d o s d e Região d e Confiança começa a tomar forma com o s t r a b a l h o s d e LEVENBERG(1944) y MARQUARDT ( 1 9 6 3 ) ; no que d i z r e s p e i t o a problemas d e Mínimos W a d r &ti c o s não-1 i near es

.

A i d & i a ã que dada uma f u n ç ã o continuamente d i f e r e n c i a d a F: IRn-

IR^;

o problema d e Mínimos Q u a d r i t i c o s não 1 i near e5 e n c o n t r a r o minimo d a função:

O Algoritmo d e Levenberg-Marquardt pode ser v i s t o como u m &toda p a r a g e r a r uma s u c e s s ã o d e i t e r a d a s C x 3 onde o

k

p a s s o s e n t r e as i t e r a d o s i uma s o l u ç ã o p a r a o problema: k

p a r a uma v a r i a ç ã o A e uma m a t r i z d e escala D A norma 11.

11

k k

-

que a p a r e c e n e s t e problema 4 a r b i t r i r i a , mas g e r a l m e n t e se e s c o l h e como norma 1

2

'

j i que com i s t o MARQUARDT (19633 provou que se o p a s s o s se determina r e s o l v e n d o o sistema

k 1 i near : p a r a u m parâmetro X > O e n t ã o s r e s o l v e o problema ( 1 1 . 1 1 k k com A

₌

_{(IDk s}

_11.

k

A i d & a fundamental do Mktodo d e Região d e Confiança, ã que o p a s s o s seja a s o l u ç ã o d e um subproblema, com uma

k

v a r i a ç ã o s o b r e o passo. O subproblema B e s c o l h i d a d e forma que a s o l u ç ã o s melhore a aproximação do problema d e

Otinnf zação ( e m questão)

. -

Na versão do Método de Newton f e i t a por GOLFELD, QUANDT e

TROTTER

(1966)

,

para a m i nimizaçso s e m r e s t r i ç õ e s de uma função :'i Rn

-

R ,

o passo s resolve u m subproblema da

k forma:

para alguma cota A e alguma matriz de escala

Dk. Os

autores k

anter i or mente menci onados

,

escol her am tomo norma

11.

11,

a norma 1 e provaram que: se s s a t i s f a z :

2 k

para um parâmetro

X

2 0, com k 2 f (xk) +Ak

D:Dk

,

matriz

k

I

semi -definida p o s i t i v a , ent- sk resolve o problema de minimizagão (11.2). com A ₌

₁₁

_Dk

_skll

_.

k

Os

a1 gor i tmos de Gol df e1 d-Quandt -Tr o t t e r e de Levenber g-Mar quar d t sSo bastante pareci dos. E m ambos, o âubprablema tem a forma:

onde a f unqão yk (w) é

uma

aproximação quadrdti ca da r e a l

redução na f unçzo objetivo. No a1 gor i tmo de

Leveriberg-Marquardt

,

yk (w) -yk (O) B uma aproximaçzo de

primeiro or dem

.

ernbor a no Al gor i tmo de

Goldf eld-Quandt-Trotter

,

pk ( w l

-v

(0) s e j a uma aproximação d e k

segunda ordem. A diferenga 9 que no Algoritmo de

Levenberg-Marquardt

.

a função apraxi mação q u a d r i t i ca yk d convexa e, portanto, & relativamente f á c i l se obter a =o1 ução gl obai do probl em (I I . 3)

.

A s primeiras versões, t a n t o do Algoritmo de Levenber g-Mar quãr d t

,

quanto do A l gor i tmo de Gol df e1 d-

Quandt -Tr o t t e r

,

contr o1 avam i ndi retamente s _k; alterando o parâmetro kk (2

01.

I s t o nSo parece s e r compativel com a f i l o s o f i a dos M&todos de Região de Confiança, que requer u m controle d i r e t o da cota e determina s k como a solução do ãubproblema 1 1 3 O controle d i r e t o de

X k

t e m vArios inconvenientes. Um deles & que não parece razoavel eleger automaticamnte u m

Ao.

Por outro lado

u m

valor razokvel de & freqúentemente uma pequena fração do tamanho llDo

x,[[

do ponto de partida. Outro problema ocorre quando x k

+

s conduz k

a u m aumento da f unçio objetivo.

Neste caso se pode usar a informação obtida da função e de sua derivada e m xk e (x

+

s

1

para estimar o decréscimo

k k

requerido e m

Ak,

mas d o e s t a c l a r o que e s t a informação possa ser usada para

A s s i m se temos,

estimar u m val ar razoável para X

k + 2 X k

por exemplo:

então ; no

A1

gor i tmo de Levenberg-Mar quar d t j á conhecemos:

@((O), C$ (1) y

#'

(01

<

O.

Se

ocorre :

ent2ío a quadrdtica que interpela estes dados tem um mínimo y < l

,

e C razoável deixar A i + i = y % ~ r ~ k

11

na maioria dos casos.

Seguindo a idkia do Algoritmo de Goldfeld- Quandt-Trotter

,

HEBDEN C19731 f o i o pri meiro a propor u m algoritmo razoAve1 para a solução aproximada do problema C1 I .

3 2

.

Seu a1 gari tmo 4 basicamente bom, por&m apresenta dificuldades quando

vk

não é convexa.

MORE (1 978) apr esentou r e s u l tados t e & i cos e numcor i coe que demostraram que a s i d é i a s de Hebden podiam

ser

usadas para r e a l i z a r uma i m p l ementação conf i Ave1 e e f i c i e n t e do

p a r t i c u l a r , n2lo t e m muitas d a s decis23es ad-hoc d a s i mpl ementações pr &vi as.

Os Algoritmos d e Hebden e Morto nSo buscavam uma s o l u ç ã o e x a t a do problema 1 1 3 , a o i n v & s d i s t o , eles se s a t i s f a z i a m com uma soluçSo o t i m a l aproximada do problema

1 1 . 3 Resultados num4ricos e t e d r i c o s s e g u r o s podem ser o b t i d o s se o p a s s o s k , s a t i s f ãz a d e s i g u a l dade:

sendo (3 e

p2

c o n s t a n t e s p o s i L i v a s .

1

P a r a muitos problemas, o c u s t o com a o b t e n ç ã o d o p a s s o s cumprindo as condições a n t e r i o r e s é b a s t a n t e r a z o á v e l

,

k

portam e m o u t r o t i p o d e problemas (como por exemplo, problemas d e g r a n d e s dlimnsirSes)

,

o

c u s t o pode ser p r o i b i t i v o . Uma a l t e r n a t i v a , n e s t e ~ l t i m o c a s o , está e m d e t e r m i n a r o p a s s o s que r e s o l v e o problema com r e s t r i ç õ e s

k

d a forma:

sendo

Sk

um subespaço. A vantagem e m r e s o l v e r este subproblema, & que a s o l u ç ã o d e (11.

51

pode ser c o n s i d e r a v e l m e n t e menos c u s t o s a que a do subprobl ema (I I .

31

.

E a i n d a m a i s , se Sk é e s c o l h i d o adequadamente, podem ser o b t i d o s bons r e s u l t á d a s , t a n t o t e b r i c o s como p r & t i c o s .

Reserltados d e c o n v e r g t h c i a podem ser o b t i d o s se:

profunda p a r a ly no que r e s p e i t o a norma

/ID

(

.

1

11

( v c t e . >O1

k k

POWELL (1970) f o i o p r i m e i r o a propor um Método d e Região d e Conf i ança "acompanhado" d e um s u b p r o b l ema d o t i p o (I 1.5)

.

No A l g o r i tmo d e Powell p a r a r e s o l v e r um sistema d e equações a l g é b r i c a s nâlo-lineares. F: R*- Rn; o p a s s o s r e s o l v e

k

u m problema d a forma:

C N

onde rk é o p a s s o d e Cauchy,

sk

é o p a s s o Newton. e a matriz J k O ou a aproximação por d i f e r e n ç a s da i n a t r i z j a c o b i a n a F (x ) ou uma verâzlio e s c a l a d a (ou a escala) d a aproximação

k

quase-Newton o b t i d a usando-se a a t u a l i z a ç S o d e BROYDEN (1965)

.

Os Métodos chamados d e Região d e Confiança foram também d e s e n v o l v i d o s par a r e s o l v e r p r o b l emas d e O t i m i zaçZo com r e s t r i ç õ e s l i n e a r e s do t i p o : no q u a l o subproblema a s s o c i a d o t ltw+wn wtg w : c t e m a forma: (xk+w) 5 d ;

11

DkwII (11.91

s e n d o Bk uma m a t r i z simétrica. F l e t c h e r s u g e r i u que a norma

11.

1

f o s s e e s c o l h i d a como a norma

_L

já que a s s i m o subproblema (I1 .9) é um problema d e programaç2Zo q u a d r á t i c a . O Algoritmo d e F l e t c h e r B uma g e n e r a l i z a ç S o d o Algoritmo d e G R I FFI T H y Si'EWART (1 961 ) na q u a l Bk =O e a norma

1.

I

é a norma

l m- A vantagem d e e s c o l h e r Bk=O está e m que o

subproblema (11.9) se t r a n s f o r m a e m um problema d e programação l i n e a r . Deve-se, c o n t u d o , n o t a r que a e s c o l h a d e Bk=Q pode c o n d u z i r a uma r a z % o d e c o n v e r g ê n c i a

i nacei t a v e l mente b a i x a .

A t é aqui sempre dissemos que a f u n ç ã o yk é uma funçZo d o t i p o quadriLtica, muito embora nem sempre o c o r r a a s s i m . W E N (1975) desenvolveu um Algoritmo p a r a a s o l u ç ã o rni nimax d e um sistema d e equações não-1 i n e a r e s F: R~-U?~.

O problema minimax r e q u e r a v e r i g u a r o mf nimo d a função:

E m s e u Aigoritmo, 0 p a s s o s r e s o l v e o subproblema: k *

A norma

11. 11

é a r b i t r i L r i a , e n t r e t a n t o Madsen usou a norma l c o já que a s s i m o problema (11.10) pode ser formulado como um probl é m a d e programaçZa 1 f near

.

Note que o subprobl ema

(11.101 4 d a forma do subproblema 1 1 . 3 com ly f u n ç ã o

k :

pol

i

e d r al convexa.

FLETCHER

(19811

extendeu o Algoritmo d e Madsen a o Pr obl ema d e O t i m i a a ç ã o Não-Di f er e n c i á v e l :

ande as funções f :

IR^-

R e F: IRm s%o d i f e r e n c i g v e i s ; por&m a f u n ç ã o

#

: Rrn- [R se sup8e somente convexa. A s s i m o s subproblemas no Algoritmo d e F l e t c h e r s ã o d a forma (11

-

31

r

sendo

B

uma m a t r i z s i m é t r i c a . N e s t e s subproblemas, a f u n ç ã o k

yk C a soma d e uma função q u a d r á t i c a , com uma f u n ç ã o g e r a l convexa.

O pr ob1 ema d e O t i m i z a ç ã o nLTo-di f er e n c i Ave1 (I I . I 1

1

i n c l u e problemas d e minimização d i f e r e n c i á v e l quando

4

=

I)

e

problemas d e minimização convexa quando f = 0.

Recentemente ZOWE (1988) e s t u d a

a

minimização d e uma f u n ç ã o convexa f

,

não n e c e s s a r i amente d i f e r e n c i Ave1

,

s u j e i t a a restriç25es l i n e a r e s . E l e u t i l i z a p l a n o s d e c o r t e p a r a modelar f e a minimização d e s t e modelo db uma d i r e ç ã o p a r a a q u a l se e f e t u a uma busca l i n e a r . E s t a aproxima@o prova s e r muito boa, e n t r e t a n t o s e u ê x i t o depende d e uma cuidadosa maneira d e e s c o l h e r c e r t o s parametros

ck

e m cada i t e r a ç ã o .

0s mencionados

e k

podem ser i n t e r p r e t a d o s como o s r a i o s p k d e uma b o l a na q u a l se a c r e d i t a que f est% modelada d e manei sa s u f i c i entemente boa. 1 nf e1 i zmente

,

a i nda 6 um r n i s t b r i o corno e s c o l h e r estes

ck

e pk i n t e l i g e n t e m e n t e . P a r a s u p r i r e s t a d i f i c u l t a d e , SOWE u t i l i z a a s i d d i a s do Método d e Região d e Confiança. P a r a i s s o , e m vez d e f i x a r algum p no ponto d e i t e r a ç ã o x se r e s o l v e o modelo p a r a v;lrios p

,

k'

t r a t a n d o d e a j u s t a r s i s t e m a t i c a m e n t e p (e simultaneamente o modelo) a t b e n c o n t r a r o r a i o p d a b o l a , no qual o modelo se aproxima bem d e f

.

A m i n i m i z a ç ã o do modelo s o b r e esta b o l a , o r i g i n a um novo i t e r a d o , com um decrbscimo s u b s t a n c i a l e m f .

CABITULO

III

PRELI

MI

NbhRES MATEMATI

CAS

I I I . 1

.

DEFINI CÕES E

T E O R E M

PRCVI

OS

in DEFINIÇÃO 1: Uma s u c e s s ã o -C%> c o n v e r g e l i n e a r m e n t e a x te:

p a r a u m c o n s t a n t e a E 1 0, 1 I

Observacão 1 : Se ol Q pequena, enLão ( I I I . 1) b adequada p a r a

um a1 g o r i Lmo d e O t i m i z a ç ã o r a z o á v e l . r a z o á v e l 1

.

DEFINI ÇÃO 2: Se a se aproxima d a u n i d a d e ( a 1 0.9 ) e n t ã o ( 1 1 1 . 1 ) é inadequado ( p a r a um a l g o r i t m o d e o t i m i z á ç ã o Uma s u c e s s S o Cx 3 c o n v e r u e q u a d r a t i c a m e n t e a n k x se: p a r a alguma c o n s t a n t e f3

>

0.

a convergiSncia q u a d r á t i c a i m p l i c a que o nbmero d e d í g i t o s

d

s i g n i f i c a t i v o s d e x como uma aproximação a

x

.

é o d o b r o k e m c a d a iteração. E x i s t e um m e i o t e r m o e n t r e as d e f i n i ç S i e s a n t e r i o r e s (e s u a s c o r r e s p o n d e n t e s d e s i g u a l d a d e s )

.

A s s i m t e m - s e , a s e g u i n t e d e f i n i ç ã o : DEFINIGÃO 3: Uma s u c e s ã o C x 3 c o n v e r q e s u p e r l i n e a r m e n t e a n k x

se:

para alguma s u c e s s ã o Cf3 3 p a r a q u a l converge k

a O .

ObservaçZo 3:

Uma

s u c e s s S o c o n v e r g e n t e s u p e r 1 i nearmente é 1 i nearmente c o n v e r g e n t e . Al4m d i s t o uma s u c e s s ã o que converge q u a d r a t i camente & s u p e r 1 i near mente convergente.

ObservaçSo 4: Como: t e m - s e que: l í m

11

"r+%

- x k

li

=

2. k - b m

II

-

x*

I1

*

quando C x 3 converge s u p e r l i n e a r m e n t e a x

.

E s t a é uma

k

p r o p r i e d a d e i m p o r t a n t e j A que i m p l i c a que llx -x

11

pode ser ,k+ i k

usado p a r a estimar a d i s t g n c i a e n t r e x e x

.

k

Par a e n t e n d e r m e l hor as p r o p r i e d a d e s d o s

mi n i m o s 1 ocai s

,

nos r e f e r i r emos a q u i e s p e c i f i c a m e n t e a classe d e f u n ç ã e s f que s e j a m duas v e z e s continuamente d i f er e n c i á v e i S. Desta manei r a as pr opr i edades d o s m i n i m o s l o c a i s podem ser e s c r i t a s e m termos da f u n ç ã o q u a d r á t i c a :

onde como sabemos,

Vf

(x) r e p r e s e n t a o g r a d i e n t e d a f u n s ã o f no ponto x, e

vzf

l x ) r e p r e s e n t a a m a t r i z Hessiana da funçSo f no ponto x.

Notas: i )

i i )

A i -8sima componente d o g r a d i e n t e se d e n o t a por

a.

f < x > . L

Como:

a f u n ç ã o q u a d r a t i c a 4 o modelo uuadri4tico l o c a l e n x d a p o s s i v e l r e d u ç ã o e m f

.

TEOREMA

1 : Seja f :

IRn-

IR d u a s v e z e s c o n t i n u a m e n t e

d d i f e r e n c i á v e l e m um c o n j u n t o a b e r t o D. Se x E

D

& um minimcs l o c a l d e f

.

e n t ã o V f (x*) =O e v 2 f (x*) é semi - d e f i n i d a

*

p o s i t i v a . Se Vf (x ) =O e v2f (x*) d e f i n i d a p o s i t i v a p a r a 5t€ a algum x E

D

e n t ã o x

4

um & i m o l o c a l s e p a r a d o d e f . Demostração : ( .ir

*

i ) Seja y o modelo q u a d r i t i c o l o c a l e m x d a p o s s i v e l redução d e f : Se

2

é um mf n i m o d e f e n t ã o t e m - s e (usando ( I 11-41 ) que: V p E IRn e a s u f i c i e n t e m e n t e pequeno:

* t i i ) A e x p r e s s ã o a n t e r i o r i m p l i c a que Vf (x ) p=O e a l e m d i s s o que : pt v2f (X* p 2 O. 4k Como p é a r b i t r i r i o , c o n c l u e - s e n e c e s s a r i a m e n t e que V f Cx

1

a

& i g u a l a O e que

v2f

(x ) d semidef inicia p o s i t i v a .

( 4 - 1

*

i 1 Se Vf (x*) =O e v2f (x 1 é d e f i n i d a p o s i t i v a . e n t ã o , t e m - s e que : Seja h

>

O o menor v a l o r p r ó p r i o da m a t r i z H e s s i a n a v2f lx*) e n t ã o e m (111.9) t e m - s e que:

*

i i 1 Logo, t e m - s e que x deve ser um mínimo l o c a l s e p a r a d o p a r a a funçZo f (ver e m ( I I I . 4 ) ) . -

a

DEFINIÇSO 4: Um ponto x E

R"

t a l que V f (x*) =O é chamado

PONTO CRf TI C 0 d e f

.

DEFINI ÇÃO 5: Os pontos c r i

ti

c o s podem ser : mf n i mos 1 o c a i s

,

máximos 1 o c a i s ou pontos se1 a .

OBSERVAÇa. Os a1 gor i t m o s par a m i n i m i z a ç ã o i r restr i t a d e uma f u n ç ã o f : R"- R, s ã o g e r a l m e n t e Métodos d e d e s c i d a que levam a cabo a s e i g u i n t e i d & i a b á s i c a :

P a r t i n d o d e um ponto i n i c i a l x o método g e r a

uma

0 ,

s u c e s s ã o d e apraximac$%s Cxk3 a o minimo l o c a l com a p r opr i edade que:

=

CXk+& )

<

f ( x k ) ; V k l O

Somente a condição d e d e s c i d a não g a r a n t e s u f i c i e n t e m e n t e p a r a que a s u c e s s ã o d e itera$&s Cxk3 c o n v i r j a a o minimo l o c a l . LIão r e q u e r i d a s condiçSier mais f o r t e s (por exemplo. s o b r e a g r a d i e n t e e o Hessiano d e f

1

p a r a o b r i g a r a s u c e s s ã o Cx 3 a estar v i z i n h a a o mfnimo k

l o c a l , e uma vez que as iterações x e s t ã o na r e f e r i d a

k

v i z i n h a n ~ a , o s m&todos d e d e s c i d a admitem uma rzkpida conver gênci a 1 oca1

.

N e s t e s e n t i d o vejamos o s e g u i n t e teorema:

TEOREMA 2: Seja F:

IR"-

Rm continuamente d i f e r e n c i r i v e l

,

d

d e f i n i d a

e m

um c o n j u n t o a b e r t o

D

e suponhamos que F ( x

1

=O 3k

para algum x e

D,

e F' ( x ) não & s i n g u l a r . E x i s t e e n t ã o um c o n j u n t o S t a l que p a r a qualquer xo e

SI

as iteraçses d e Newkon:

k 1 0, e s t ã o bem d e f i n i d a s , seguem e m S e converge a x

.

Demastracão: -Seja cx ; uma c o n s t a n t e E I O

.

1 C .

*

-Como F' és c o n t i nua e m x e F

'

(x*) é nSo s i n g u l a r ; existe uma b o l a a b e r t a S t a l que:

e uma c o n s t a n t e p

>

O,

t a l que x

,

Y E S

-Suponhamos que

x

E S. Como

x

k + l s a t i s f a z (11.63 e

*

k

F

(x

)

=O

t e m - s e que:

- o d o Teorema Fundamental d o CAlculo t e m - s e que:

Logo

e m

(111.7):

Como ot

<

i

,

a d e s i g u a l dade (I I I . 9) i m p l i c a que se xa&, e n t ã o x E S; p a r a k

>

O e t e m - s e a l e m d i s s o que

€xk3

*

converge a x

.

i m

Observação: O teorema 2 e s t a b e l e c e que o M&odo d e Newton é l o c a l m e n t e c o n v e r s e n t e , no s e n t i d o que

se

o ponto de p a r t i d a

(OU pr e f i xação i n i c i a1 ) está s u f i c i e n t e m e n t e p r d x i mo d a

*

soluçZo x

.

e n t ã o a s u c e s s ã o C x 3 g e r a d a p e l o Método d e

*

k

Newton* converge a x

.

TEOREMA 3: Seja F:

IRn-

R" que s a t i s f a ç a as h i p d t e s e s do Teorsima 2. Então a s u c e s s ã o € x _k 3 d e f i n i d a p e l a i t e r a ç ã o :

-1

x k + i = x k

-b*

(x,

11

F ( X ~

1;

p a r a

L

2

O

I

-i

<ou seja:

xk+

i =

x

k

-

[ P f c x k

1

f ( x k ) . com k 2 0 )

*

converge s u p e r l i nearmente a

x

.

Al4m d i s t o se:

*

*

IIF'

(xl- F ' (X )

11

I y IIx-x

11

; com x E:

D

( 1 1 1 . 1 0 ~ p a r a alguma c o n s t a n t e y

>

O , e n t z o a sucessZo

*

C x _k 3 converge quadrdticamente a x

.

Demostração: i ) A convergência d a s u c e s s ã o C%> j á e s t b demostrada no Teorema 2. i i ) Vejamos a g o r a a r a z ã o d e convergSncia. P a r a i s t o se d e f i n e :

com

p ; c o n s t a n t e

>

0, que a p a r e c e d e f i n i d a no Teorema 2

e

onde xo E S com:

*

Z { X : X X G ; E

>

O i i i ) A h i p d t e s e (111.10) e a convergSncia d a

*

s u c e s s ã o € x k 3 a x asseguram que a s u c e s s ã o € f l k 3 , converge a O. i v ) A i é m d i s s o , usando a d e s i g u a l d a d e ( 1 1 I . 8 ) que a p a r e c e no Teorema 2. t e m - s e que:

o que demostra que a s u c e s s ã o C x k >

Q

converge s u p e r l i n e a r m e n t e a x

.

Logo, s u b s t i t u i n d o e m

(I

I I . 11 ) t e m - s e :

o que s i g n i f i c a que a s u c e s s ã o Cxk>,

*

converge q u a d r á t i c a m e n t e a x

.

ii

A s f u n ç õ e s q u a d r b t i c a s t ê m um papel i m p o r t a n t e no desenvol v i mento d e Al gor i tmos a p l i cados a problemas de Otimização. A s s i m por exemplo, sabemos que e m uma v i z i n h a n ç a de um mínimo l o c a l d e uma f unçfiio f

,

onde f :

p-

IR,

o M4todo d e Newton pede ser o b t i d o requerendo que o p a s s o seja o mínimo do modelo quadr l i t i c o 1 oca1 :

da redução e s p e r a d a e m f . Logo -6 i m p o r t a n t e e n t e n d e r as pr opr i edades d a s f u n ç õ e s quadr

&ti

cas e f ar necer a1 gor i tmos numericamente e s t d v e i s par a a m i n i m i z a ç ã o de1 es

.

O p r i m e i r o r e s u l t a d o , d e s c r e v e completamente

a

minimizaçZío i r r e s t r i t a d e f u n ç a e s q u a d r a t i c a s :

onde g E

IRn

e

B

G IR n x n 6 uma matriz s i m é t r i c a . a? A f u n ç ã o q u a d r b t i c a v, t e m um mínimo se e s ó se i3 6 s e m i d e f i n i d a p o s i t i v a e g está no n i v e l d e B. b) A f u n ç ã o q u a d r á t i c a v, t e m um b n i c o mínimo se e só se B B d e f i n i d o p o s i t i v o . e) Se B é s e m i d e f i n i d a p o s i t i v a e n t ã o c a d a s o l u ç ã o d a equação Bp = -g 6 um mínimo g l o b a l .

DemostracEo: ( V e r MORE, J. J. e SORENSEN

D.

C. (1981)

Dada urna f u n ç ã o q u a d r á t i c a

v,

e x i s t e um e x c e l e n t e p r o c e d i mento num& i co par a a c h a r s e u mf n i mo. Pr i m e i r o se t e n t a uma f a t a r i z a ç ã o d e Cholesky d a m a t r i z

B.

E s t a f a t o r i z a ç ã o existe se e só se B & s e m i d e f i n i d a p o s i t i v a e d a i se obt6m uma m a t r i z t r i a n g u l a r s u p e r i o r R , t a l que:

Observacão: Se se e n c o n t r a d u r a n t e o p r o c e s s o d e f a c t o r i z a ç ã o , uma d i a g o n a l n e g a t i v a , e n t ã o B nSo k s e m i d e f i n i d a p o s i t i v a e o Lema 1 mostra que a f u n ç ã o q u a d r á t i c a ;i. não t e m minimo (negação d a p a r t e a) no Lema i 1

.

Se a f a c t a r i z a ç ã o d b certo e R

4

n ã o - s i n g u l a r , e n t ã o o mínimo se c a l c u l a r e s o l v e n d o o sistema Bp = -g ou d e forma e q u i v a l e n t e :

Se a f a c t o r i z a ç ã o dá c e r t o , mas R é s i n g u l a r e n t ã o

B

é semi - d e f i n i d a p o s i t i v a e s i n g u l a r . E a i n d a B p o s s i v e l c a l c u l a r uma s o l u ç ã o p; mas do ponto-de-vista num&rico, este c i l c u l o d i n s t á v e l

,

j6 que uma p e r t u r b a ç ã o a r b i t r a r i amente pequena, pode t r a n s f o r m a r B e m uma m a t r i z d e i i n i d a p o s i t i v a ou e m uma m a t r i z i n d e f i n i d a .

O Teorema 1 d e s t e C a p i t u l o , m o s t r a q u e e m uma v i z i n h a n ç a d e um mf n i m o 1 oca1 d e f

,

podemos e s p e r a r que a m a t r i z Hessiana W2f (x) =

H)

seja d e f i n i d a p o s i t i v a , e e n t ã o

o Lema 1 mostra que o modelo quadrAtico l o c a l (111.12) t e m um bico minimo. Assim, n e s t e c a s o , o mínimo do modelo q u a d r á t i c o l o c a l 4 um caminho r a z o á v e l p a r a um a l g o r i t m o d e minimização. E n t r e t a n t o , l o n g e d e um mínima l o c a l , a m a t r i z H e s s i ana v2f (x)

,

pode ter um v a l o r p r ó p r i o n e g a t i v o e e n t ã o o Lema 1 nos d i z que este modelo q u a d r á t i e o l o c a l não t e m um mínimo.

De

f a t o o modelo não está l i m i t a d o i n f e r i o r m e n t e .

Exi s t e m

a1

guns p a l eati vos par a esta d i f i c u l dade. Uma p o s s i b i 1 i dade é modificar o modelo q u a d r a t i co, a c r e s c e n t a n d o uma m a t r i z ãemi - d e f i n i d a p o s i t i v a E (x)

,

t a l que:

seja d e f i n i d a p o s i t i v a . (Quando B é s u b s t i t u i d a por esta m a t r i z , o c & l c u l o d o p a s s a pode e f e t u a r - s e como f o i d i t o a n t e r i o r m e n t e )

.

Outro p a l e a t i v o p o s s i v e l

,

e (B a q u i que centraremos este

t r a b a l h a , C r e s t r i n g i r a r e g i ã o na qual suporemos que o model o quadr &ti c o 1 oca1 4 a p r opr i ãdo. Local mente o model o a i n d a provi2 uma e x c e l e n t e aproximação a reduçCio que se e s p e r a

e m

f

,

a s s i m &i r a z o á v e l r e s t r i n g i r y h b o l a Cw: IIwllSA3. p a r a algum A

>

O e c a l c u l a r o p a s s o como o mínimo d e y n e s t a bol a.

O s e g u i n t e Lema c a r a c t e r i z a as s o l u ç ã e s do problema d e minimização d e uma f u n ç ã o q u a d r á t i c a na r e g i ã o que f o i r e s t r i n g i d a : LEMA 2: Seja y : lRn-

E?

a f u n ç ã o q u a d r á t i c a : t

(w3

= g w

+

(w2>wt i3 w e seja A

>

O dado. Um ponto p E

R n

r e s o l v e o problema:

se e somente se, e x i s t e X

>

O t a l que:

ÇB

+A I ] p = -g ;

[ h - b l l )

= O (111.14) com B + X I s e m i d e f i n i d a p o s i t i v a .

IDiamstraçãcr: i )

C

c

)

Suponhamos que X e p s a t i s f a z e m (111.14)

c o m

B + A I

,

s e m i d e f i n i d a p o s i t i v a . Então, p e l o Lema 1 ( p a r t e (a) ) t e m - s e que p minimiza a f u n ç ã o quadrAtica:

4 t P + ( i / s ) p t ( B

+

h I ) p

<

gtw + ( u z ) w t ( B

+

X I ) w donde t e m - s e que: t t g L w

+ ( i / r f w t ~

w 2 g t p +(i,z)ptBp + ( A F )

(P

P

-

w

( I I I . 1 5 1 p a r a t o d o w E R"

.

Como a l & m , de (I 1 1 - 1 4 ) t e m - s e que:

negue d e (111.15) que y,

(w1

2 p (p1

,

sempre que IIwIlSA; a s s i m p r e s o l v e o problema (111.13).

i i ) ( s

1

Suponhamos a g o r a q u e p r e s o l v e o problema (111.13). Se Ilpll<A, e n t ã o p

4

um mínimo i r r e s t r i t o d e p, l o g o o Lema 1 i m p l i c a q u e (111.14) se cumpre c o m X =O e q u e B é semi - d e f i n i d a p o s i t i v a . _{Se llpll = A ,} e n t ã o p tambdm r e s o l v e o problema d e m i n i m i z a ç ã o com r e s t r i ç8es d e i g u a l dade:

P o r t a n t o , o %todo d e Lagrange a s s e g u r a a e x i s t g n c i a d e X t a l que:

t

V L(p1 = O . onde

L(w)

=

( w ) + ( ~ / 2 1

(w w

-

A' )

A1 Qm d i s s o , como por h i p ó t e s e p r e s o l v e (111.13)

,

t e m - s e que (I I I. 15) & vá1 i d a p a r a X e p, sempre que \lwll=llp

11.

Usando 1 I 1 4

,

p a r a s u b s t i t u i r g e ordenando termos e m

(1 1 1 - 1 5 )

,

t e m - s e que:

p a r a cada w , com norma llpil

.

b s t a a l t i m a d e s i g u a l d a d e t e m - s e que (B+XI)

4

semi -def i n i da posi ti va.

P a r a demostrar que h I 0, n o t a r que o Lema 1 i m p l i c a que (111.15) 15 v á l i d o

V

w E lRn. Agora se h.

<

O, e n t ã o (1 I I. 1

SI

i mpl i ea que

v

(w) 1 .yr (p) sempre que llw 112 llpll. Como p r e s o l v e o problema I I 1

,

devemos s a b e r que p L um mínimo i r r e s t r i t o d e p e do Lema 1 i m p l i c a que h=O.

Logo, t e m - s e que h 2 0.

-

m m

Observação: P a r a e n c o n t r a r uma s o l u ç l o num& i ca a p r o x i mada do problema (111.131

,

á n e c e s s a r i o ter um pouco d e cuidado: Urna complicação i m e d i a t a L que d e v i d o a r e s t r i ç 2 h n ã o - l i n e a r ( I ] w ~ / < A > não e x i s t e um m&todo g e r a l d i r e t o p a r a r e s o l v e r o problema mencionado (I1 I. 13)

.

De

f a t o , quando g=Q é uma s o l u ç ã o p d e (III.13) deve s e r um v e t o r p r ó p r i o d e norma A, que c o r r e s p o n d e a o menor v a l o r p r b p r i o d e B. Logo, um mtotado g e r a1 par a r e s o l ver o probl ema (I I I . 13) deve r e s o l ver um problema d e v a l o r p r b p r i o s i m & t r i e o n e s t e c a s o e s p e c i a l .

-A s o l u ç ã o do problema (111.13) i d i r e t a se não e x i s t e m croluções na f r o n t e i r a d a bola:

{

w:

IIwII

5 A

)

.

(ver

MORE,

J . J . e SORENSEN

,

D.

C. (1 981 ) )

.

-Se e x i s t e uma s o l u ç ã o na f r o n t e i r a d e

{

w: Ilwll

<

A

)

p a r a a probl ema 1 11 3 e n t ã o o Lema 2 mostra que B r a z o á v e l e s p e r a r que a equação n ã o - l i n e a r :

pa

Lenha uma s c ~ l u ç ã o h 1 0 e m (-hi

.

m ) r onde h * é o menor

valor p r d p r i o d a m a t r i z B.

-

Obser vacso: R e s o l ver a equaqâlo (I I I . 16) & e q ~ i v a l e n t e a a c h a r um z e r o d e um problema u n i d i mensional e m a, que pode ser r e s o l v i d o ( e n t r e o u t r o s ) p e l o Mktodo d e Newton. E n t r e t a n t o , n o t a r que cada avaliaqãio d e pa n e c e s s i t a d a s o l u ç S o d e um sistema d e e q u a ç a e s l i n e a r e s , o q u e & i mpor t a n t e p a r a r e s o l ver (I I I . 16) c o m mui t o poucas a v a l i a ç 8 e s d e pa.

P a r a r e s o l v e r (I I I . 16)

,

R E I NSCH (1 967,1971 ) e HEBDEN (1 973)

,

s u g e r i r a m que era muito m a i s e f i c i e n t e a p l i c a r B funçâlo o M&todo d e Newton: E s t a f u n ç ã o c# ( a 1 nãio t e m extremos e é q u a s e l i n e a r p e r t o i da s o l u ç ã o de (III.16). A i t e r a ç S a d e Newton a p l i c a d a p a r a a c h a r um O d e #i ( a

1

é a s e g u i n t e : ALGORI

m o

1 : 1 ) S e j a m

.

h

>

O e A

>

O dados.

2) P a r a k

=

O,1,2.

. . . ,

a t k "que h a j a convergOn- ci a": t a) F a t o r a r B + h k I = R k R

.

b) Resolver:

R

:

Rk pk

=

-g. c ) Resolver:

R

:

q k

-

pk

.

2 d, %+i =hk

+

[*

] [

"

pkAIl-A

]

Observacões: i

l

E s t e a l g o r i t m o pode ser usado c o m algumas precauçTiies (por exemplo, a r e s p e i t o d a

matriz

Bl

p a r a r esol ver e m mui t o s c a s o s o problema (111.13)

i i 1 Quando B B i n d e f i n i d a , e x i s t e m casos n o s q u a i s a equaçzo (I I I . 16) não t e m sal uçZo e m

F

-A

,

ad (1 ogo o

i

a1 g a r i tmo _- a n t e r i o r não f u n c i o n a )

.

I s t o a c o n t e c e , por exemplo: quando g = O #i

(c4

--ao

I

.

Pode ocorrer

também, quando g s . P a r a

i s t o .

vejamos o s e g u i n t e exemplo:

EJEMPLO:

"

B = [

-0

;]

;

. = [ I

]

A i . d e t í i3

-

A I )

=

O i , h+ = - I e h 2 = 1 e se a

>

1, e n t ã o sabemos que: 1 ogo:

de t a l f arma que a equação (I I I . 16) não t e m sol ução no i n t e r v a l o ( - k & , a s ) .

-

CWILULO I V

I&TOW DE REGIXO

DE

CONFIANÇA

I

V. 1.

-

DESCRI ÇÃO E I D&I

AS

GERAIS.

Uma

d a s d i f i c u l d a d e s que a p r e s e n t a o Método d e Newkon, O d a r um p o n t o d e p a r t i d a xo, que e s t e j a s u f i c i e n t e m e n t e p e r t o d o mínimo l o c a l . P a r a se a f a s t a r esta d i f i c u l d a d e se i n v e â t i gau c o n s i d e r ave1 mente, com um c u s t o b a s t a n t e g r a n d e e m ClLimização Num&ica. Aqui se d i s c u t i r á um t i p o d e s o l u ç ã o p a r a o problema: os chamados "pulétodoã d e Região d e Confiança" ( "'i'RUST REGIQN METHODS")

.

No Mátodo d e Newton, com busca l i n e a r , a Hessiana é madi f i c a d a quando não 15 s u f i c i e n t e m e n t e d e f i n i d a p o s i t i v a . E s t a modi f i c a ç ã o a o model o quadr

&ti

c o g a r a n t e converg@nci a , mas p a r e c e i g n o r a r o papel d o modelo q u a d r á t i c o como uma a p r o x i maçzo 1 oca1 a f u n ç ã o o b j e t i vo. Vamos aqui c o n s i d e r ar uma a p r o x i mação a1 t e r n a t i v a

,

na q u a l

,

o model o quadr &ti c o não á modif i c a d o . mas e m s e u 1 ugar (ou e m vez d i s t o )

,

o modelo q u a d r á t i c o & c o n s i d e r a d o somente e m uma " r e g i ã o d e c o n f i a n g a " r e s t r i t o . O u s o d e s t a t d c n i c a l e v o u a a l g o r i t m o s com f o r t e s pr opr i e d a d e s d e conver g@nci a.

Seja f :

IRn-

IR,

uma f u n ç ã o d u a s v e z e s d i f e r e n c i á v e l c o n t i nuamente. No bíétodo d e Newton

,

com uma e s t r a t d g i a d e r e g i z a d e c o n f i a n ç a , c a d a i t e r a d o xk, t e m uma c o t a A t a l que: k * & o modelo q u a d r á t i c o da p o s s i v e l r e d u ç ã o e m f , d e n t r o d e uma v i z i n h a n ç a d o i t e r a d o

xk.

I s t o s u g e r e que seria d e s e j b v e l c a l c u l a r um p a s s o s o k

'

q u a l r e s o l v e a p r o x i madamenae o pr o b l e m a :

(IV.

1)

Se o p a s s o é s a t i s f a t b r i o , no s e n t i d o que x _k+s produza _k uma redução s u f i c i e n t e e m f r e n t ã o Ak pode ser aumentado. Se

a o c o n t r A r i o , o p a s s o não & s a t i s f a t b r i o , e n t ã o a cota A _k deve ser diminuida.

Observacão 1 : O problema ( I V . 1) é e q u i v a l e n t e a o problema:

t mín m ( x + s > = f ( x ) + V f c x s+(i/*)st $ f ( x

1 s

C C C C C s . a . :

11

s

125

6 C (I

v.

2) ( N e s t a e q u i v a l S n c i a L e m - s e que: _{x k =}

_x

c s = w ; 6 =Ak) C

Observacão 2: O nome dado d e "Região do Confiança", s u r g e d o f a t o d a o b s e r v a ç ã o d e 6 c o m o uma r e g i ã o n a q u a l podemos

C

c o n f i a r m como um modelo adequado d e f (que e m n o s s o caso

C

ser& um modelo d e t i p o q u a d r & t i co)

.

LEMA 1: Seja f : R duas v e z e s continuamente d i f e r e n c i á v e l ; H e s i m é t r i c a e d e f i n i d a p o s i t i v a e

C

s e j a

11.

11

a norma 1 Então o problema ( I V . 2) d r e s o l v i d o 2

por :

p a r a o b n i c o p

>

O, t a l que Ils(p

111

= 6 fi a menos q u e

C N 11s (0)

11

5 6, ; e m c u j o caso s (O) = s é a s o l u ç ã o . C P a r a q u a l quer p 5 O, s

(v)

d e f i n e uma d i r e ç ã o d e d e s c i d a p a r a f, a p a r t i r d o ponto x

.

C

Seja s,; a s o l u ç ã o d e (IV. 2) e seja x*=x +s*. Corno o C

ponLo (de Newtan) x +sU Q c ncf nirtpo global d e m

, d

c l a r o que

C C C

se

~[s:I/s~,;

e n t % o sN=- c

-*'

N

Colnâideremas agora Q casa quando x +â está f o r a da

C C

r e g i % o l i m i t a d a por 6 (corno se m o s t r a na figura acima>. c

-

Seja x u m ponto qualquer no interior da regiãa r e s t r i t a , ou s e j a t e m - s e que:

1%-xc

1[56,. Coma

Vm

(21

$0 é

C

p o s s i v e l enWo decrescer m a partir d e

2

embora p e r m n e c a

C

d e n t r o da região restrita, por considerar pantos da forma

-

k - x V ~

(2).

Isto i m p l i c a que s n%o pode s e r solrrç$o d e

C

-

(IV.

2 ) . l o g o s deve s a t i s f a z e r

H S * W = ~ ~ ,

exceto quando s 1

.

Ai&m d i s s o com a r e g i u o estrita PIO p r o t Z 1 e n n a

f

CIV. 21 & fechada e compacta, e n k % o algum s para o c u a l 1s 6 ; deve ser a s o l u ç % a .

Consideremos agora um s tal que

IIsEI=6

.

Por Ser s a c

d i s t % n c i a a r b i t r a r i a m e n t e pequena a p a r t i r d e x +s, e m C q u a l q u e r d i r e ç ã o d e d e s c i d a , aumentamos a d i s t a n c i a a p a r t i r de x c . Uma d i r e ç ã o d e d e s c i d a p a r a m a p a r t i r d e x +s & C C q u a l quer v e t o r p p a r a o q u a l :

i30 mesmo modo, uma d i r e ç Z o a p a r t i r d e x +s aumenta a

C

d i s t s n c i a a p a r t i r de x c ; sse:

p t s

> o

(IV. 6)

O que se d i z 15 que p a r a que s r e s o l va o p r o b l em

(I

V. 2) q u a l q u e r p que s a t i s f a ç a ( I V . 4) d e v e tambdm s a t i s f a z e r

(I V. 5)

.

Como se s a b e que Vmc (xc+s) #O, i s t o sc5 pode o c o r r e r se Vm (X

+SI

e -s, apontam na m e s m a d i r e ç ã o . Em o u t r a s

C C

p a l a v r a s , se p a r a algum

r

3 0,

donde se obtdm que:

A s s i m . a t = s

(r3

.

p a r a a l g u n @O, quando llsN11>6

.

Coma

C C

p>O e H c5 s i m t r i c a e d e f i n i d a p o s i t i v a , (Hc+pI) t6 tamb&m

C

s i m d t r i c a e d e f i n i d a p o s i t i v a , l o g o s ( p 1 c5 uma d i r e ç ã o d e d e s c i d a p a r a f , a p a r t i r d e x

.

C

Somente f a1 t a p a r a t e r m i n a r a demostração, demostrar q u e s* ã ~ n i c o , o q u a l 4 i m e d i a t o (ou está d i r e t a m e n t e i m p l i c a d o ) p e l o r e s u l t a d o ( f o r t e )

,

que nos d i z q u e se:

P,>P, 2 O e n t ã o :

11

s (

r,

3

11

<

fls

<

r *

311

I s t o mostra que s

1

6 t e m uma s o l u ç ã o a n i c a ,

C

q u e deve ser a s o l u ç ã o do problema (IV.2). A demostração c5 d i r e t a , jà q u e se p>O, e se d e f i n e :

e n t ã o :

l o g o r)' (pI<O. sempre que

Vf

(xc)#O. P o r t a n t o

n

é uma f u n ç ã o

de p , monotanamente d e c r e s c i e n t e . i

Observações: i ) O problema d e u s a r o Lema 1 como b a s e d e um p a s s o e m um a l g o r i t m o d e minimização, d q u e não existe um método f i n i t o p a r a d e t e r m i n a r p > O t a l que:

C

quando

6

<

IIH-'v~

(xC)

C C

i i

I

N e s t e t r a b a l h o , descreveremos d o i s métodcis q u e se usam p a r a r e s o l v e r aproximadamente o problema

{IV.

2 ) :

a) O p r i m e i r o d e l e s , chamada " p a s s o

otimal

l o c a l m e n t e r e s t r i n g i d o " , (chamado tambt-n: "HOOK")

,

e n c o n t r a p t a l q u e

C

11s

(pC) e l o g o faz: x

₊

=xc +s (pc>

.

b) O segundo, chamado "PASSO M-iGLEG", f a z uma aproximação l i n e a r d e pedaços d a c u r v a s (pI e toma + c o m o o

p o n t o d e s t a a p r o x i m q ã o p a r a a q u a l

(Ix+-X-

i i i ) N % o existe g a r a n t i a d e q u e + seja o ponto

s e g u i n t e , o q u a l r e s o l v e e x a t a ou aproximadamente o problema C1 V. 2)

,

a i n d a q u e se t e n h a a e s p e r a n ç a que a s s i m seja, sempre q u e 6 seja uma boa c o t a .

C

Daremos a g o r a um Algori tmo d o t i p o g e r a l p a r a o Modelo de Aproximação q u e chamamos: Região d e Confiança.

I V. 2. -ALGORI TMO GERAL C ALGORI

TMO

1 I)

Seja f :

IRn-

R , 6

>

O , x E IR", H E R n x n

C C C

simdtrica e definida positiva. Repi t a :

(11

S

=

solução aproximada do

C

pr obl ema (1 V. 21

(21

Decidir se x

₊

é aceitável

e

calcular u m novo valor de 6 = .

Quando x & o seguinte ponto a c e i t á v e l :

+

De forma mais explicika este Algoritmo também s e escreve a s s i m :

PASSO O: Se definem a s constantes: E ( O , 1 1 , r ) E ( p , l ) ;

r,

; y i ; y z

,

a s quais satisfazem: O

<

y, " y , < 1 1 y 2

O ponto de p a r t i d a

xO,

o valor da função no r e f e r i d o ponto, (ou s e j a f (X

1

1 e O gradiente da função em xo: go

O são

dados. Também são dados o r a i o i ni c i a1

,

da região de confiança e

B

-

a aproximação i n i c i a l da Hesâiano no ponto

0 - de partida.

Seja k = 0.

PASSO1: O b t é m - s e o p a s s o s k , corno:

sempre que

B

s e j a definida p o s i t i v a (aproximação k

da H e s s i ano v2f (xkl

1

; g k =Vf (xkl )

. -

N o t a r que: p pode s e r escrito tambiérn como: k

(ver a p r i m e i r a página deske Capf tu1 c I V I

PASSO 3: i ) N o caso e m que pk

>

; ou s e j a , quando:

f(

5

)-f( xk + s k )

>

f( x k ) - m k (xk + si) f a z e r : x =x * S g k + f = Q f i x k + , > k + i k k e A k + i € E Ai

'

r z A

*

1 ; se

Pk

2

n

O U + P E E y 2 A k

,

Ak 3 ; se pk

<

n

i i )

No

caso e m que ,ok I p , ou seja quando:

f C x k ) - f ( xk + Sk 1 S f ( x k ) - m k

c

xk + s k

PbSO 4: Atualizar a matriz

Bk.

I

ncrernentás k em

1

Cf azer k =k ti) e voltar ao passo 1.

Observcrc5es: i ) Disemas que a i t e r a ç ã o é uitoricrãa se

(TV.

6 ) se cumpre, ou s e j a , quando executada a iunçSo redução:

e l a 8 , bem grande comparada com a funç%o redtrç%o a n t e r i or mente f a1 a& :

f t x k )

-

rn k (xk+skl

i i )

Uma variante deste Algoritmo inclue.uma

matriz de escala p a r a as varPAvels. Com a referida variante, o probl e m

(3

V.

2) tomá n f ornta:

t t

onde: yk (v) = f (x

1

+

V f

(x ) w + <r/z>w H w

k k C

e

Dk

é uma matriz não-singular.

(Em

R e s u m o ) C3RAFI

CQ:

t L 2

f [ x k + w) zf ( x k 1

+v2

(xk 1 v + < t / u w P f

h,

1 w=f (x,)

+v,

(Y) : aproximaç%o q t r a á r i t i c ~ i da função f no p o n t o x k

-Se a s o l u ç ã o do probl.ema CIV. 1 )

,

chamada s é t a l que: k

lsk

I < A ~ .

e n t ã o st é a roluq%o da sistema:

v2f

(x,) w=-Of

(xk)

,