Publicações do PESC Um Método de Feixe com Região de Confiança

UM METODO DE F E I X E COM R E G I E O DE CONFIANÇA

RAOL JESCS A G U I L A FUMEY

T E S E SUBMETPDA A 8 CORPO BOCENTE DA CCORDEMAÇXO D O S PROGRAMAS DE P6S-GRADUAÇ:B%r DE ENGENHARI A DA UNI V E R S I D A B E FEDERAL, DD R I O D E J A N E I R O COMO P A R T E D O S R E Q U I S I T E N E C E S S A R I O S PARA A OBTENÇXO

DO

GRAU DE DOUTOR

EM

C I Ê N C I A S

EM

ENGENHARIA D E Sf6 S T E M A S E COMPUTAGXO.

Aprovada par :

Pr of

.

Paul o R a b e r t o O l i vei r a € Pr esi denLe3

~ r o f o

Mak 1 er

Prof . Nelson Macu an F i 1 h o

t'

Prof. A n 6 e i o F o n t e l l e s Thomaz

/

R I O DE J A N E I R O , W J

-

B R A S I L

AGUI Li4 FUMEY

,

RAQL

JES-

Um MrStodrs d e Feá xe com Região d e Conf ianqa. C Ri o de

Janei r o1

,

1 991

.

V , 139 p. C COF'PEAJFRJ

,

D.

Sc.

,

Engenharia de Sã ç t e m a ç 6,

C o m p u t a ç ã o , 1 QQl>

.

T e s e

-

Uni v e r s i d a d e Federal d o R i o d e J a n e i r o ,

COPPE

1 . Um MQtodo de F e i xe com Regi ão d e Conf i a n ~ a .

i i i

AGRADECI

MENYOS

A o p r o f e s s o r Paul o Rober t o O1 i v e i r a p e l a s u a or i e n t a ç Z o

e a p o i o d u r a n t e o déssenvol vimento d e s t e t r a b a l ho.

A o prof'eszxx- R a f a e l Correa F . pela v a l i o s a ajuda.

B

U n i v e r s i d a d e C a t ó l i c a d e V a l p a r a i s o , e m e s p e c i a l ao

f n ç t i t u t o d e Matemática, p e l o a p o i o r e c i b i d o .

A o

GNBq

p e l a c o n c e s s ã o d e b o l s a d e e s t u d o .

A t o d o s a q u e l e s que d i r e t a

ou

i n d i r e t a m e n t e c o n t r i b u i

-

ram para a r e a l i z a ~ ã o d e d a tese.

RESUMO

D A

TESE

A P R E S E N T A D A A C O P P E A J F R J COMO P A R T E DOS

R E Q U I S I T O S

NECESSARIOS

P A R A A O B T E N Ç X O

Do

GRAU DE DOUTOR

EM

C1

EMGI

BS

C

D.

&>

.

UM

MfdTODo

DE FEIXE COM REGI

XO

DE

C O N F I A N Ç A RaQ1 Jesús Aguila Fumey

Janeã r o, 1 991

O r i entador : Paul o Rober t o

O1

i vei r a

Programa : Engenharia d e Sistemas e Computaçãa

Se

considera o problema de m i n i mizar uma f un@o f convexa, nZo obr i gator i amentsa di f er enci A v e 1 d e f i ni d a e m R",

s u j e i t a as r e s t r i c$3es a f i n s h C x3 =

O

i=i,z,.

.

m

.

L

S e prap%ie um af gori tmo q u e combi na 0% metudas de

f e i x e e r e g i ã o d a confiança. O sukgroblema i modelo 1 para determinar uma nova aproximação ã solução do problema, s e r & gerado por uma aproximação seccinnalment-e afim para f Cvia subgradi en%es>

,

e u m a aproximação af i rn par a as h

,

na ver -

i

dade exaka3 passando por a l g u m ponto que garanta intarseçZo

nZo

vazia com a condiçBo n a t u r a l de região d e confianqa Ildll,ã r , que ~ o r r e s p o n d e r á A segunda r e s t r i ~ Z u do modelo. O contrul do r a i o da r e g i ã o de confiança s e r & e m forma

i n d i r e t a , a t r a v g s d e um parâmetro

t .

Propriedades da modelo rslacionando d e t forom o b t i d a s d e modo d e . j u s t i f i c a r a met-odologia d e atualizac$So d e r v i a o par%metro

t ,

que com número f i n i t o de mudan~as fornecer b uma i nf or mação acei t6vel

Uma funç3r;i d e p e n a l i d a d e e x a t a s e r i usada G a m a f u n ç ã o d e m4ri t u , para a v a l i a r a q u a l i d a d e da nova aproxima-

ção à sol u ~ ã o d o problema. Se prova que a sequgncãa gerada

ABSTRACT OF T H E S I S PRESENTED TO COPPEAJFRJ A S PARHAL FULFILLMENT OF

Y#E

REQUIREMENFS FOR THE DEGREE OF DOCTOR OF S C I ENCE

C

D.

Sc.

1

.

A BUNDLE METHOD WITH TRUST REGION Rahl J e s h s A g u i l a Fumey

J a n u a r y

,

1 C291

Chairman : P a u l o R o b e r t o O l i v e i r a

Degartment : Syçtems Engi n e e r i ng a n d Computer Sçi e n c e

It

is c o n s i d e r e d t h e p r o b l e m o m i n i m i z i n g

a

f u n c t i o n f n o t neceççari 1 y d i f f e r e n t i a b l e d e f i n i t e d i n

w ~ ,

s u b j e c t t o t h e a f i n r e s t r i c t i o n s h . < = > = O , i = a , Z , .

.

.,m.

E

I t is p r o p o s e d a n a l g o r i t h m which combine buth methods, b u n d l e method and t r u s t r o g i o n method. Yhe s u b p r o b l e m C model 1 f o r d e t e r m i n i n g a new a p r o x i m a t i a n f o r Lhe p r o b l

e m

s o l u t i o n , w i 11

be

g e n e r a t e d by s e c t i

o n a l

l

y

af i n a p r o x i m a t i o n f o r f Cvia s u b g r a d i e n t s l

,

a n d a n a f i n a p r o x i m a t i o n f o r h Cin f a c t , oxact.1 p a s s i n g by t h e s a m e

i

p o i n t which g u a r a n t e e s non empty i n t e r s e c t i o n w i t h a n a t u r a l c o n d i k i a n o f t r u s t . r e g i o n l)d)l 5 r , whick w i l l c o r r e s p s n d Lo

2

Lhe s e c o n d r e s t r i c t i o n f o r Lhe model. The c o n t r o l of t h s r a t i o of d e t r u d r e g i on w i 11 b e managad i n d i r e c t l y t h r o u g h a p a r a m e t e r t-. P r o p e r t i e ç of t h e madel

,

r o l a t i o n i n g d a n d t, w e r e f ounded j u s t i f ying t h e methodol ogy of u p d a t i ng r vi a t h e p a r a m e t e r

t

,

which

a f ter a f i n i

t e number

of

c h a n g e s w i 11 g i v e a n a c c e g t a b l e i nf or m a t i on.

A n exact p e n a 1 t . y f u n c t i o n w i l l be used as m e r i t f u n c t i o n , f o r m e a s u r e t h e q u a l i t y of t h e new a g r o x i m a t i o n f o r t h e s o l u t i o n o f Lhe p r o b l e m . I t i s proved Lha& Lhe

g e n e r a t e d s e q u e n c e by t h e method c o n v e r g e t o k h e s o l u L i o n of t h e p r o b l e m .

CAPÍ ãULO f

.

I l4TRODU@XJ GERAL

. . .

1

CAPf TULO I1

.

METODOS DE

REGI

ZO DE CONFI ANÇA

.

1 1 . 0 RESUMO DOS TRABALHOS:

. . .

5

LEWNBERG

. . .

. . . E . . .

5 MARQWARDT

. . .

8

. . .

GOLFELB-QUANDT-TRO TTER 10 FOWELL

. . .

1 2

. . .

FLETGHER 16 MORE

. . .

18 FLETCHER

. . .

2 2

. . .

DENNIS-XHNABEL 25 G A Y

. . .

28 VARDI

...

2Q BYRR-XHNABEL-SHULTZ

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

33

. . .

CONN-GOULD-TOPNT 38

. . .

EL-ALEM 40 K I W E L

. . .

46 SCHRAMM-mWE

. . .

50 111.0 INTROBUÇXO

. . .

55

I I I

.

1 W B D I FERENCI ABI

LI

DADE

. . .

35

111.2 CONDIÇGES DE OTIMALIDADES

.

...

59

. . .

CAPP

TULO

I V

.

UM MeTODO DE FEL

XE

E DE R E G I X O DE C O N P I ANGA

. . .

I V . 0 INTRODUÇÃO 8 4 I V . 1 METODO

. . .

66

. . .

I V . 2

ALGORPTWO 89 O A l g o r i t m o

interno

. . .

90 O algorikmo geral

. . .

Q8 I V . 3 CONVERGENCIA

. . .

104 G o n v e r ggnci a d o a1 gor

i

t m o ger a1

. . .

104

CAPITULO I

INTRODUÇÃO GERAL

0 objetivo deste trabalho é o desenvdvimento de u m a l - goritmo que combine os mdtodos de f e i x e e d e região de con- f i a n ~ a para resolver o problema

onde f B uma f unqão convexa ( não necessariamente d i

f

erenci A- vel

>

e as hi são funções a f i n s . O m o d e l o para C P>

,

o sub- problema que detarrni nará uma nova aproximação ?L sol uçSo de C

Pl

,

é gerado por uma aproximaçZo secci onalmente afim para

f

Atr av&s de subgradi entes C ver

MI

FFLI

N C lQ?'7-1 g 8 2 )

,

KI

WI EL

C198!32 ; as r e s t r i ç õ e s h. são t r a t a d a s como nos métodos de aproxi mações sucessi vas C

ver

HAN f 19771

3

; o r ai o da região d e c o n f i a n ~ a s e r & t r a t a d o e m forma i n d i r e t a adicionando CI '

1

funç%o objetivo o termo

-lldl12.

Devido ao f a t o de que o 2 t

algori tmo não s e r & d e direções vigveis, uma f unç%o

m & r i

t o s e r & usada para medi r o progresso da nova aproximação.

A motivaçZo deste trabalho surge do f a t o que se o mode- l o para

CP)

i- suficientemente bom Cisko é o f e i x e cantdm a i nf armação suf i ci ente3

,

então nno s e r á necessfrr i o efetuar uma busca 1 i near

,

j d que esta s e r i a supésr f 1 ua ; e m 1 ugar des-

ta,

uma regi30 de confiança

s e r &

usada,

e

assim, e m vez d e escolher tk antes d e minimizar a modelo este permanecer& va- riAve1 n e l e .

Da mesma forma que no mgtodo de f e i x e o conceito de passo nulo s e r & mantido C e assim s e melhorará a inf ormaqão contida no f e i x e > . Entretanto agora

t

s e r & refinado e m uma

k forma sistemfrtica atO que o modelo proporcione ou u m d que produza u m decrescimenLo s u f i c i e n t e para a funçZo mérito, ou

um

passo nulo.

Demostraremos que o método é globalmente convergente. O problema CPl com h . E e resLriçSjeç de posividade

L

nas v a r i i v e i s , f o i abordado em forma t e d r i c a por

BIHAIN

C 19843. E l e r r t i 1 i z a o método d e f e i x e s

, gradiente reduzi do

generalizado, e busca l i n e a r . Sá no caso de r e s t r i ç õ e s l i n e a r e s consegue expressar e m forma expldcita a função reduzi da. Este caso também f o i abordado por STRODIOT-NGUYEN C 19871

.

A di f er ença d e s t a s abordagens e s t á esseci a1 mente na forma de escolher a s sucessivas bases e a e l e i ç ã o da direção reduzi da.

Subprobl emas pareci das aos obtidos na forma i n d i r e t a de controle do r a i o , sEo usados nos m&todos proxi mais, veja por exempl o os trabalhos de

ROCKAFELLAR C

1Q76l

,

AUSLENDER C I Q W l e KIWIEL C19893, neste tíltimo, o parâmetro u na regulariza-

k

~ ã o uk lld

11'

4 escol h i do a t r aves de uma s a l vaguardada i nter po- lação quadrAtica, que estima a curvatura da funçzo objetivo do problema tratado.

O conteddo desta t e s e seguirá basicamente a seguinte di vi são:

No capi tu1 o I I apresentaremos a1 gumas abor dagenç dos m4todos de região de confiança a p a r t i r do ano 1944

.

O capitulo 1 1 1

ser&

dedicado à apresentaçzo dos funda- mentos t e 6 r i cos neceçsári os ao desenvol vi mento desta tese.

r a l e o metodo para d e f i n i r o subproblema modelo, algumas propiedades da sol uçZa dC L > relativamente aa par%metro t (medida i n d i r e t a da regizo d e confiança>. A seção I V . 2 s e r &

dedi cada ao a1 gori tmo i n t e r n o do determi naçzo do gar%metro

t

,

o ao a1 gori tmo geral

,

que f ornecor d a s aproxi maçses à sol uçãú d e C

P3

.

Na seção I V. 3 apr esentaremoç o reçul tado de conver ggnci a do a1 gor i tmo ger a1

.

Fi

na1 mente apresentaremos a1 gumas concl uções

,

vi çando à continuidade da pesquisa.

4

CAPÍ T U L O 11

N e s t e capd t u 1 o apr a s e n k a r e m o ç u m a revi sSo dos gr i n c i pai s t r a b a l h o s q u e u t i l i z a m a m e t o d o l c q i a d e região d e c o n f i a n ç a . C o n s i der ar e m o s os segui n t 9 s :

1 3 L E V E N B E R G C1944> "Um m 4 t o d o para a solução da c e r t o s pro- bl a m a s nZo l i neares d e m i n i m o quadrados".

21 MARQUARBT C 1 !383> "Um a1 gori t m o par a o probl e m a d e m i

n i

m o s quadrados par a a e s t i m a ç S o d e par S m e t r srç nSo 1 i near os "

.

3 1 GOLFELD-QUANDT-TROTPER C 1 65@8>

"Maxi

m i zaç#o por m e i o d e aproxi m a ç G e s q u a d r d t i cas".

4 1 POWEILL C 1 8 7 0 3 "Um novo a1 gori t m o para resol ver u m proble- m a i r r e s t r á t o s " .

51 F L E T C H E R

C197E3

"Um algori k m o para resolver u m p r o b l e m a c o m r e s t i çõeç d e d e s i g u a l dades "

.

8 1

MURE

C 1 Q 7 8 1 "Teoria e i m p l e r n e n t a ç C X o do a l g o r i t m o d e LEVENBERG-MARQWARDT"

.

7 1 F L E T C H E R C l Q 8 O l "Um algori L m o para p r o b l e m a s i r r e d r i &o".

8 3 F L E T C H E R C165821 "Um a l g o r i & m o para u m p r o b l e m a c o m p o s t o

não d i f er anci A v e 1 "

.

%3 D E N N I S - S C H N A B E L C 1 Q 8 3 3 " M Q t o d o d e d u p l o dog-leg para achar u m a sol u ç ã o apr oxi m a d a do subpr obl e m a quadr & L i co"

.

10) GAY C 9 9 8 4 3 "Um p r o b l e m a c o m restrições d e desigualdades 1 i n e a r es u s a n d o u m a o s t r a t b g i a d e c o n j u n t o a t i v0 1 oca1 "

.

n#o l i n e a r e s de igualdades, que usa a função penalidade exa- t a L como função mgrito

".

i

I23 E3YRB-ZHNABEL-SHULTZ C á 63873 "Um a1 gor i tmo par a pr obl emas com r e s t r i ç 8 e s nSo l i n e a r e s de igualdades, que usa a f ungEo penalidade exata

L* como função mérito,

e faz corre~ãio de segunda or dem par a evi Lar ef ei t-rs

MARATOS"

.

á 3 3 CONN-GOULD-TO1 N T C 1 0 8 8 3 "Um a1 gor i tmo par a probl a m a com cotas si mpl e s naç var i ãvei s "

.

1 4 ) EL-ALEM Cá S883 "Um algori tmo para problemas com r e s t r i

-

çaes nZo l i n e a r e s , que usa a f unç#o lagrangeana aumentada como funçzo mr5rito".

151 KIWIEL C18882 "Um m$.Lsdo d e f e i x e com regi30 d e çonfi

-

ança e1 ipsoidal para, probl ama geral nZo d i f ernci Ave1 e çon- vexo. "

I63

SÇHRAMM-ZOWE

CIQE37) "Um m&tisde de f e i x e com região d e conf i ança par a pr obl oma convexo nZo di f er onci dvel i r r eç t r i

-

t o "

Nosso tralsal ho procura

ser

anal i L i co e comparati v o , a t e a data de 1988, diferentemente da revisão que conhecemos de

MORE

C 1 9821

,

que B sobre todo descri ti vo.

1 1 . 1 RESUMO DOS TRABALHOS

LEVENBERG C19441 considera o problema d a aproximar uma f u n ~ S o h

:€Rn-+

R por

uma o u t r a fungETo H

IR"+^-^

R d e modo que os r e s i d u o s nos pontos <xi3m definidos por

s e j a m mini m o s , o q u e , p e l o c r i t A r i o d e mi nimos q u a d r a d o s e q u i v a l e a m i n i m i z a r a f u n ç ã o s d e f i n i d a como

SB do f o r um p o n t o q u a l q u e r c o m VsCdoí d i s t i n t o d e z e r o , e n t Z o a agroximac$lr;s d e Tayl or d e p r i m e r a ordem d a f unç8rs f

i C i=i,a,.

.

.

m í e m t o r n o d o p o n t o d ser& d a d a por

O

o n d e A d

=

d

-

d j=%,z,a,.

. .

n.

i j o j CII.1.43

A forma

usual

C s t a n d a r d ? d e

mi

n i

m i

zar

C 1 I . I. E? 6 o b t e r uma sol uçSo a p r o x i mada a t r a v b s d a m i n i m i z a ç ã o da s e g u i n t e aproximaçZZo d e CII.1.23

Para

o b t e r i n f o r m a q ã o s o b r e 9 d e c r e s c i m e n t o d e C 11. i . 2 3

o minimizador de CII. 1.51 d e v e s a t i s f a z e r a s s e g u i n k e s equaçeíes:

onde

m

Fade acontecer q u e 0% A d . q u e

sat-i

sf

a z e m _C I I . I .

@i

s e j a m

3

g r a n d e s d e m a i s e m valor a b ç d u b o , d e b a l f o r m a qum a u m d e c r & s c i m o e m C ã I . 1 . 5 1 não corresponda a u m e m C 11.1 ..21. E

assim que, para e v i t a r i s t o , LEVENBERG l i m i t a o u a m o r t e c e C d a m p ) a r e l a q K o

e m i n i m i z a

S

sob a rela~$lo " a m o r t e c i d a " m e l h o r a n d o a s ; i m a apr oxi m a 5 3 0 C I I . I -31

.

Par a fazer i s s o si m u l t a n e a m e n t e prcapae mi ni mi zar

-

E

f á c i l provar que ;,e d = dC cci> for u m m i n i m i zador d e

S

C3

a se d m i n i m i z a

S

,

antEto

00

SC dwl

<

sC dml e QCdwl

<

QCd i

00 C I I . l . B >

T a m b B m O p o s s i v d provar que C I I . 1.53 pode s e r obLi d o d e C 11.1. 81 quando -400 e que s e m p r e exi ske w do m o d o q u e

-

MARQUARDTC

I O631 c o n s i d e r a o p r o b l e m a d e a j u s t e d e dados e p a r a isso u s a o modelo s e g u i n t e :

onde o s

X A ? x 2 * m são var i d v e i s i n d e p s n d e n t e s

,

ps,

/3=,

. . . .

fik

são o s v a l ores d a popul a@o d e k parâmetr os, e

EC

y> 4 o v a l o r e s p e r a d o d a v a r i Ave1 d e p e n d e n t e y

.

Sejam os dados d e n o t a d o s p e l o s p o n t o s

O p r o b l e m a c o n s i s t e e m computar a q u e l es e s t i mador es d o s par â m s t r os q u e m i n i m i zem

h

Y c o r r e s p o n d e ao v a l o r d e y p r e d i t o por CII.1.10> no i &imo dado. Da mesma forma q u e Levenberg u m&.tado usado

ser&

b a s e a d o e m aproximaç8es d e T a y l o r d e p r i m a r a ordem d a funçQr'o f

.

Escrevamos a s e r

i

e d e Tayl or a t r a v g s d o s t e r mos 1 i n e a r e s

Os c o l c h e t e s

< >

SECO u s a d o s p a r a d i s t i n g u i r prediqiges b a s e a d a s no modelo 1 i n a a r i z a d o , d a q u e l as b a s e a d o s no modd o

r e a l não 1 i n e a r .

D e s t a modo , o v a l o r d e

+

p r e d i t o por CII.1.131 s e r i :

Como dt a p a r e c e l i n e a r m e n t e e m (11. i . 133

pode

ser

achada

pel o m&todo C stanciar d> d e mi n i m o s quadrados r s s o l vendo o

si stema

onde:

Com i sto

MARQUARDT

e s t a b a l ece os s e g u i n t e s r e s u l t a d o s :

TEOREMA 11.1.1

Seja ;ih 0 O s e j a d s a k i f azendo a equação O

EntIo d minimiza

<r+>

na a d f e r a cujo r a i o

Ildll,

s a t i s f a z

TEOREWA

I

I.

1 . 2 S j a dChi a s d u ç ã o d e < I I . i . 9 7 3 p a r a um v a l o r d a d o d e h . E n t ã o IldEhlll, B uma f u n q ã o c o n t i n u a e d e ç r e s s s n t e d e h t a l q u e

EOREMA

I

I.

1.3 Seja y o â n g u l o e n t r e do e d = g kxi < v e r 9

E 1 1 . 1 . 1 b ; e n t ã o y B uma funçsrs c o n t i n u a monotonamente d e c r e s c e n t e d e h t a l que y-+O quando h-+oo

.

Dado q u e d

-3

B i n d e p e n d e n t e d e h , e n t ã o d g i r a p a r a d quando h- -c#.

O B

GOLFELD-QUANDT-TROTTER C i

O6t3 p r esenkam uma v e r são m a i s g e r a l d o método d e LEVENVERG -MRQUARDT . C o n s i d e r a m a rní n i r n i zaqão da f unqão f : R"-+[R

.

Fazem

uma a p r o x i r n a ~ g o d e T a y l o r d e s e g u n d a ordem p a r a f e m t o r n o do p o n t o

a = Cai,as,.

.

. .

a i ,

n

subpr obl ema

Estabelecem os s e g u i nkes r e s u l t a d o s .

LEMA

I I . 1 . 4

Seja A E [R t a l que S-AI seja d e f i n i d a p o s i t i v a e

def i na

Então

@dA> 5 #Cxl

V x

tal q u e Ilx

-

allp5 r A

LEMA 1 1 . 1 . 3

Se VfCaIZO, o n t 3 o r- 6 uma f u n ~ ã c s e s t r i t a m e n k e

A

d e c r e s c e n t e e m A no i n t e r v a l s C -oo

,

as>

,

onde ai B o menor

v a l o r prbprio da matriz S. 'I

TEOREMA

1 1 . 1 . 8

Então o mminimu d e #C xí B a l c a n ç a d o e m d k se h

<

O e e m do se h

>

O C n e s t a c a s o do f i c a no i n t e r i o r da r e g i ã o

B

1

k

POWELL C 1

W Q ?

fornece

um a1

gari

t m a m a i

5

saf

i

sti

cada para

minimizar a funqão f : R"-+R s o b as h i p d t e s e s da que f s e j a duas v e z e s cuntinuamsnte di f a r e n c i & v a l e que a h e s s i ana

N a k -&si ma i teraçPio, e x c e t u para algumas "i teraçf%s e s p e c i a i s

",

r e s o l v e o s e g u i n t e çubprolslema para achar a

k+í

aproximação x ao m i ni mãzador d e f

onde

k

G Q uma agroximaçZo ç i m e t r i c a quasi -NewLon da h o s ç i ana de f

onde :

k - i k-1 k-1 k-i k k-I k k - i )

vk-r = y

-

O d ; y = g

-

g = VfCx)

-

VfCx

A s i teraç8es e s p e c i a i s serão destinadas a manter o b o m comportamento das apr oxi maçseç de G.

A solup%o dk de (11.1.231 C o deslooamento> deve

s a t i sf azer :

k

Deste modo espera-se que o valor d e f C xk + d 3 s o j a

k k+i

menor do que o d e f C x 3

,

d e manera que o x s e r á definido çomo

testando na k-Bsima i teraçaio o c r i t s r i o d e converg9nci a

c o n t r a r i o r d e v e r á ser d e f i n i d o d e modo q u e o a l g o r i L m a

k + i

possa começar a i ta r a ç H r s k+ã

.

Dado q u e 9 m&todo d e M a r q u a r d t r e q u e r um m B m e r o d e

opera$ejãs d e ordem d e na p a r a c a l c u l a r dk r Powell propõe o

s e g u i n t e mdtodo CDog l e g d e ardem nZ o p s r a q 8 e ç 3 : r e s t r i n g e dk ao s u b e s g a p o b i d i m e n o i o n a l g e r a d o por gk

=

V f Y f ( 2 )

e í ~ ~ 3 C - s e n d o l ~ ~o s t e r i l t i m c o p o n t o e s t a i i o n A r i o d a fungP(o

k

q u i d r b L i o a

#

3 . A s s i m d k r e s u l t a ser d a forma

o n d e

caso c m n t r 6 r i o o deslocamento ser& o p o n t o n o s e g m e n t o q u e u n e os p o n t o s

k k

e q u e d a o v a l o r mínimo a # í d ) s u j e t o a lld 11,5 r k . Duas

k

caracterí sti cas d e s t a e s c o l h a d e d são v e r i f i c a d a s :

i 3 Uma t e n d e o i a p a r a a i n o l i n a g ã o d e -gk se r f o r pequeno k i i 1 Se r f o r s u f i c i e n t e m e n t e g r a n d e e O' f o r d e f i n i d a p o s i t i v a , e n t ã o -1 k dk = -Cek3 g C d i r e ç ã o d e Newton>

1 5 O c d l c u l o d e rk+, depender& d a r e l a ç ã o k f ( x k + d k >

-

f ( x k 3 5 0 , 1 1 9 ~ ~ I

-

f ( x k > l

CII.~.~I>

Logo, se ( I I .I -31 1 v a l er r k+l ser 6 ~ l d ~ l l , OU 211dkll,. Caço c o n t r d r i o Powell e s t a b e l e c e q u e c a d a t r ê s i t e r a ç 8 e s devem c o r r e s p o n d e r a uma e s p s o i a l d e manera q u e a s d i r e ç E s s dk p a r a k=a,z.

. . .

s a t i sfagam uma c o n d i ç"ao d e i ndepend&nci a l i n e a r e s t r i t a . D e s t e modo, se f f o r l i m i t a d a i n f e r i o r m e n t e , e a s c o d i q 8 e s C I I . 1 . 2 2 3 forem s a t i s f e i t a s o a l g o r i t m o c a l c u l a um k + i p o n t o x q u e tamb&m ç a t i s f a z

<

1 1 . 1 . 2 8 1 .

*

Se x f o r um mínimo l o c a l d e f q u e esteja c o n t i d o numa r e g i 3 0 convexa e f e c h a d a

B,

onde f s e j a e s t r i t , a m e n t a convexa, e se e x i s t i r CY e n (N t a l q u e o s p o n t o s x k g o r a d o s p e l o a l g o r i t m o pertençam a

B

p a r a t o d o k

>

CY e n t ã o a 3c

-

-5Ç sequ&nnoia € x k ) c o n v e r g i r 6 p a r a x e C? p a r a GCx )

.

-

F i n a l m e n t e , se

G

f o r e s t r i t a m e n t e d e f i n i d a p o s i t i v a , e n t # o a k

F L E T C H E R C 1972) conoi dera o p r o b l e m a c o m r e o t r i ç B e s m i n f C x 3 S . a. T x E

IRn

1

C . x L b

,

i . = r , z , . . m

}

C 1 1 . 1 . 3 2 3 k+i N a k - & s i m a i teraçSo a a g r o x i m a g - ã o x ao m i n i m i z a d o r d e C I I . I . 32) Q o b t i d a c o m o o vetor q u e resol v9 o s u b p r o b l e m a k m i n q4 Cx) s. a. onde k k T k 1 k T k k

# k ~ x )

= fCx 1 + V f C x 3 Cx

-

x 3 + -Cx

-

x 3 G Cx

-

x 2 CII. 1 . 3 4 3 k

Fendo

G

a aproxi m a ç â S o da h e s s i a n a dada por C I I . 1 . E 5 3 .

r B t a l q u e O

<

r k I H CH L O ) . O r k s e r & d i m i n u i d o se a

k

rel a ç Z o C I I . 1.331 abai xo nZo se satisfazer

, s e n d o a u m e n t a d o

n o caso contrariar.

Se y for sol u ~ ã o d e C I I . 1 . 3 3 3

,

o teste para acei L a r y

k + i

c o m o x s e r &

R e s o l v e - s e

CII.l.33)

fazendo-se u s o d e u m a s s t r a t 6 g i a d e c o n j u n t o a t i v o , e d e s t a f o r m a o s u b p r o b l e m a ( 1 1 . I. 33)

t r a n s f o r m a - s e e m

c u j a s o l u ç ã a pode 9 a c h a d a r e s o l v e n d o - s e o sistema d a

equaç8e.s

Sab a s

mesmas

h i p b t e s e s d e

POWELL

C19701 p a r a f a vZf t e m - s e q u e a nbmer u d e s u b p r o b l e m a s quadr A t i coo r e s o l v i d o s

k

e m c a d a i k e r a ç S o & f i n i t r s , se 4 x 3 f o r uma ç e q u ê n c i a gerada k '

p e l o m&odo, e n t s o exã st9 uma s u b s e q u & n c i a, digamos < x 3 ,

t a l que o n d e gb B um g r a d i e n t e v i á v e l e B t a l q u e -gb c o r r e s p o n d e A s o l u ç ã o d o problema k n A A 1 Qm di eso se x -+x, e n t ã o x $ um p o n t o d e Kukn

-

Tucker

.

1 8

C o m o c o r o l ã r i o t e m o s que para o caso i r r e s t r i t o

MORE

Cf

9783 d6. u m a i m p l e m e n t a ç ã a r o b u s t a

e e f i c i e n t e

da ver s#o d o a1 gori t m o d e

LEVENBERG-MARQUARDT

para o probl @ m a

m

onde F:

IRn-+R

.

O a l g o r i t m o procura u m a a p r o x i m a ~ ã o ?r sal uqãa d e C I

I.

1.39) m e d i a n t e a sal uqãu du sukprobl e m a

D

Q u m a m a t r i z

nzo

s i n g u l a r q u e n e s t e kaso s e r & d i a g s n a l

,

u s a d a c o m a f i n a l i d a d e d a f a z e r u m ç c a l i n g

.

198 u m p o n t o d e v i s t a m a i s geral M o r 4 considera o s u k p r a b l ema

base para o metodo d e LEVENBERG-MARQUARDT O q u e r e d* &

x

sol u ç ã a d e 1 1 . 1 . 4 2 3

,

e n t ã o d = dC h3 para a1 gum A 2 O o n d e

Se J f o r d e p o s t o d e f i c i e n t e e h = 0 , e n t z o (11.1.473

s e r á def i n i d a p e l o s e g u i n t e 1 i m i t e

-1

+

WCO3 = l i m DdCA3 =

-CJD

3

f

E x i s t e m d u a s p o s s i b i l i d a d e s : A

=

O e IIDd(03

]Iz<

r e m t a l c a s o d( O1 & a sol uçZo d e C 1 1 . 1 . 4 2 3 p a r a o _{q u a l IIDd}

11.

_B mínimo; ou A

>

O e

1

A

=

r ,e e n t l o dC A > 4 a b n i c a soluçZXo d e C I ã . 1 . 4 2 3 . I s t o s u g e r e o s e g u i n t e a1 garikmo 1 3 Dado r k 2 O e a s o l u ç ã o d

=

d k =: dChkl de k T k k k k k C C J

>

J + h k D

D

3d =

-

J fCx 3 k e n t ã o : ou Ak = O e

IIWCA

_{3II.5 r r} ou h k

>

O e I I D ' ~ C A * >

IIz=

r k cal c u l ar Jk+l k+i

,

s e n ã o f a ç a x =xk e

J

k + a = J k 31 E s c o l h a r k+ 1 e

D ~ + ~

Observemoo q u e o s i s t e m a d e equaç€bs

c o r r e s p o n d e às e q u a ç õ e s normais d o problema d e mf nimos q u a d r a d o s

q u e pode ser r e s o l v i d o usando uma descomgosiçãrz Q-R com pivd

coa una. A p r i n c i p a l vankagern d e C 1- I . 1 ,453 6 a r a p i dez C d u a s v e z e s m a i s r drpi d o q u e C 1 I 1 4 6 3 3

,

m a s C I I . 1.453 r e s u l t a quase á r r e a l i z á v e l quando A = 8 e J esta p e r t o d e ser- d e

T

p o s t o d e f i c i e n t e ; a1 Bm d i s t o , a f o r r n a ~ ã o d o s f a k o r e s J

J

e T

i3

D

podem conduzi r a a n d e r f l o w s e o v e r f 1 owç d e s n e c e ç s & r i os, o q u e nXo s u c e d e com CII. 1 . 4 8 1 , e p o r t a n t o a p e r d a de r a p i d e z 4 compensada p e l o ganho d a v i a b i l i d a d e e r o b u s t e z . A e s c o l h a d e r d e p e n d e r & d o comportamento d o p a r â m e t r ~ p

def i ni'do por

MORE pr oprde o segui n t e a1 gor i tmo

+ ol1r

k

'

ponha

k k

A k = O d k = -J+fCx C J i n v e r s a g e n e r a l i z a d a ) . i- s e n ã o

23 c a l c u l e a r a i o p k k + i - k k+i Se

q

>

0 . 0 0 U l

,

ponha x

-

x + dk

,

compute J e s c o l h a P 4? SB pk 5

-

4 k + i Dk+i 5 3 A t u a l i z e

Com este a l g o r i t m o MORE dPir s e g u i n t e r e s u l t a d o d e

m

c o n v e r g â n c i a . Se f :

LRn-+[R

f o r uma f unqão c o n t i nuamente

k

d i f e r e n c i d v e l em

fRn

e x 3 f o r uma sequgncia g e r a d a pelo

a1 gari kmo

,

e n t ã o

k k

Se

<J*>

são l i m i t a d a s . e n t ã o l i m i n f l l ~ fCx U

k -+ao

FLETCHERC 1 g803 c o n ç i der a o pr o b l e m a i r r e s t r i t o , s, da

m e s m a f or m a que GOLFELB-QUANDT-TROTTEZR

, na k

-

& s i m a i ter ação u s a B m o d e l o A p r e s e n t a o s e g u i n t e a1 g o r i t m o k 11 &dos x e r k c o m p u t a r gk =

v ~ c X )

e

G~

=

vZfcxk)

21 R e s o l ver C I I .1. 48) para d k C o m p u t e Se

LSk

<

0.25 faça r

-

jdk 112 k + i

-

4 Ç e L S k > 0 . 7 5 e l l d k ~ ~ a = r k faqa r k + i = 2rk S e n ã o faça r = r k+ A k k + l - Se cSk 5 0 faga x

-

xk

,

d e o u t r o m o d o

L+'

=

2

+ d k k

FLETCHER e s t a b e l ece que se a sequ8nci a € x 3 gerada p e l o

a1 g o r i t m c f o r t a l q u e xk G 6 B

IRLR"

V k

,

o n d e

B

é u m çon j u n t o l i m i t a d o 0 çe a f u n ç ã o for d u a s vezes c o n t i n u a m e n t e

di f e r e n ç i &v91 c o m

11gf

C 2 3

11

<

H e m B

,

e n t ã o exi =ti r i u m

2

*

O

n e c e s s A r i a s Cde conv8rgencia3 d e p r i m e r a ordem. Se alem

*

disso x s a t i s f a z e r as c o n d i ç õ e s s u f i c i e n t e s d e segunda ordem. e n t ã o a r e s t r i ç S o

Ildll,

5 r B n%o a t i v a p a r a k suficientemente g r a n d e , a t a x a d a c o n v e r g & n c i a d

quadr .%ti ca.

FLETCHER C 9 8823 c u n s i der a o s e g u i n t e g r obl e m a i r r estr i t o

C não

d i f e r e n c i Ave1 3

m

onde f : ~ ~ - - r [ # , c : [R~--~R

,

sZo d i f e r e n ç i d v e i s , e

h: IR~--~[B Q convexa. O a l g o r i t m o a p r e s e n t a d o por ele e uma

a d a p t a ~ ã o d e FLETCHER (19802. Loçp u problema modelo n a k-bsima itcs-aqão Q

k

q5kC d ) = cqkC d)

+

hC 1 C d > 1

,

k T 1 T k

hk s ã o OS multiplicadoreç, ou aproxima@es d e l e ã , do i problema CII.1.511 k k T lkCd)

=

cCx

>

+ CA

>

d k k A'<

=

CVc C X

>

,Vc2Cx 1

,.

. .

> V =

C > ) > 1 m O ALGORITMO k k k k I> Dados x

, h

,

r k , c a l c u l e f c x

, c ( x

,

,

e

V?,

os k

quais dotormi nam FCx 1 @ k ~ d)

.

21 Obtenha a solução C global ) dk d e C I I . 1.51

>

3) Computar

43 Se i!Sk

<

0.85 ponha rk,i

-l@.12

-

4

.

Se 6

>

0.75 e [dkllZ = r ponha 2rk.

k

%n$o ponha r k + & =

r k

k + i k h k + i

5 > S e O k I 0 f a ç a x = x

,

= hk

,

caso c o n t r á r i o k + i

k + d k

f a ç a x = x e hkIi i g u a l ao mul t i p l i o a d o r que r e s o l v e C I I . 1 . 5 1 ) .

e s t i v e r c o n t i d a n u m s u b c o n j u n t o E3 l i m i t a d o d e R", e SE, a

f u n ç ã o f f o r d u a s vezes c o n t i n u a m e n t e d i f er e n c i A v e 1 c o m segunda derivada limitada e m E3

,

entCTo existir& u m ponto d e

00

a c u m u l a ç b x no q u a l a condiçso d e converg9ncia d e p r i m a r a a r d e m se v e r i f i c a , i s t o B

DENM S-SCHPlABEL C E 54833 a d m i t e m q u e 9 m C I I . I . I 8 3 G z e j a u m a a p r ~ x i m a ç ã o s i m 6 t r i c a e d e f i n i d a p o s i t i v a da H e s s i a n a d e

f

; e m t a l caso a sol

uç8o

do s u k p r o b l e m a

<

11.1.103 6

para u m frnico X 2 O t a l q u e / I d € A > / /

=

r a m e n o s q u e /IdCX)

11

< r

2 2

e e m t a l caso d C O > = d N Cdireção d e N e w t , o n > . D e v i d o 9s

di

f

i

cul

dades para r-esd

ver

a

equa@o

a p r e s e n t a m o m F 5 t o d o Dcluble dog-leg, q u e 8 u m a s x L e n s ã u do m e t o d o d e

POWELL

C d o g - l e g 3

,

para achar u m a solução a p r o x i m a d a do

suhprobl

e m a

C

11.1.191.

B a s i c a m e n t e

ci

método

c o n s i s t e e m a p r o x i m a r a c u r v a d C X 3 m e d i a n t e u m a f u n ç ã o 1 i n e a r por p a r t e s q u e u n e o p o n t a d e C a u c h y C m i n i m i zador do modelo quadrAkico na direqão do m Z i x i m a d e s c i d a 1 oca11 a u m a fração d a p o n t o d e N s w t - o n C c o r r e s p o n c l e n t e B direçzo de,

-t

Newton d o modelo). D e s t e modo e s c o l h e - s e x c o m o o p o n h t a l

3. -I-

q u e

Ilx -xllz=

r , s a l v o se 116-' Vf

<

X >

1lZ(

r , c a s o e m q u e x

ser& o p o n t o d e N e d o n . A s s i m a d i r e ç ã o t e n d e r á para a d e máxima d e s c i d a se r f o r pequeno, e p a r a a d e Newton se r f o r g r a n d e .

O a p o n t o N n a d i r e ç ã o d e Newton é d a d a p o r :

o n d e 3 B t a l q u e

e

P.

C. & o p o n t o d e

Cauchy.

GAY

<

ISZ4) c o n s i d e r a o m e s m o pr o b l ema r e s t r i t o ( I I . 1 .32) q u e € FLE'FCHER 1

,

e u s a como modelo para o c % m M o na f u n ç ã o

f

2

com g = V f C xl e G sendo V f C x3 ou uma aproximaçSo C DFP

-BFGS>

.

Fazendo u s o , d s uma e s t r a t 8 g i a l o c a l d e c o n j u n t o a t i v o no pr obl ama C I I . 1 . 3 8 3

,

Gay a p l i c a o s e g u i n t s a l g o r i t m a para problemas i r r e s t r i t o s : FASE33 O E s c o l h a um ponto

2

e m [R" e um r a i o r

>

0. e s e j a m

d

o

'

6 % ~

6

.

,

a, c o n s t a n t e s dadas, t a i s que: O < & < 6

< a < & = ,

O i

o < o i < a ,

O < q < i P A S m á t Achar d s a L i sf azendo E s c o l h a r + segundo: i > r I r + 5 S r se C I I . 1 . 5 0 > se s a k i s f a z e r 2

i i > 6011dt111.5 r + d 6í11dtlla se C11.1.BO> não se s a t i s f a z e r Defina r

=

r + a t 9 que C I I . 1 . 5 9 > seja v & l i d o

+

c

Defina x = x + dt como o novo i k w a n d o .

N o a l g o r i t m o , q u e d t s a t i s f a ç a a iondipZo

[II.

1 , 3 3 3 , g a r a n t e q u e n o s p o n t o s l i m i t e s d a s e q u e n c i a g e r a d a , se ç a t i 5f ar30 as c o d i ç8es d s o t i m a l i dade n e c e s s b r i a5 d e p r i m e r a ordem.

O procedimento e f e t u a d o por GAY é o s e g u i n t e :

0) dados d = 0 k

=

1.

k

1

>

Escolha A t a l que

t,k-i

2 Ponha g = VICX~? +

Gd

,

e f a q a uma mudança l i n e a r

d e v a r i B v e i ç e m C 11.1.871, d e manera q u e quando a5

r - e s t r í q B e s não a t i v a s C d a q u e l e s d n d i c e s q u e n3o

k

pertençem a A 1 forem i g n o r a d a s , se obtenha um problema i r r e s t r i t o . 33 Aplique o a l g o r i t m o p a r a o problema i r r e s t r i t o r e s u l t a n t e n o p a s s o 2). 4) V o l t e A s v a r i 6 i v e i s o r i g i n a i s , o b t e n h a dtpk. Se dt" for t viave1 d e f i n a d

=

dt,k

.

SenZc e s í o l h a dtpk t a l q u e t k c

Ild'

llz

s

r c

c

~

2

~

cx

,

J

faga

~

L : = k + i o v& p a r a 13. Uma forma d e d e f i n i r dtpk 6

Par a e v i t a r as compl i c a q 8 e s pr bpr i a s d a s e s t r a L 9 g i as d e c o n j u n t o a t i v o s Cpor exemplo, convergGncia a um p o n t o nHo e s t a c i o n A r i o , z ã g-zag

,

e L ç > GAY e f =Lua uma e s c o l ha e n c a i xada

k

dos A

,

i s t o Q , c A ~ * * . Usando uma exLens#o d o m6todo dog-leg

GAY

p r o v a q u e s9 f f o r uma f u n ç ã o c o n t i n u a m e n t e diferenciClve1 e xC um p o n t o v i 6 v e 1 , e n t ã o , p a r a r dado,

C

C I I . 1. BÇ33 ç e r b obLi d o num ndmero f i n i t o d e p a s s o s . 4;e G e m CII. i . 571 f o r 1rscalmante l i m i t a d a ? e n t ã o t o d o p o n t o d e

*

k

acumulaçZo x d a s s q u 9 n c i a <x 3 g e r a d a p e l o método ser& um p o n t o e s t a c i o n á r i o C s a t i f a= as condi ç8es d e o L i m a l i dade d e

x

pr i m e r a ordem]

.

A1 Bm d i s t o , se x f o r um m i n i m i zador

I

oca1 f o r t e C s a t i f a z as condi ç8es n e c e s s 6 r i as e s u f i c i e n t e s d e o L i m a l i d a d ~ 3 e se G =

vZf

f o r L i p s c h i L z continua, enLão a

k

*

s

c o n v e r g O n i i a d e t x 3 s s r b Q-quadratioa p a r a x

,

.i*

Ilx

-X1lz<

6, 6

>

O e X* um p o n t o i n i c i a l .

VARIíI C

10851

a p r e s e n t a

um

a1 gari t m o p a r a

resolver

o pr obl s m a

min fCx3

s . a .

h , Cx3

=

O . i = i&.

. .

. m

onde f , h :

w"-*[R

i = a,n,.

.

. , m são d u a s v e z e s i

eonLi nuamente cii f er e n c i i v e i s f B 1 i m i t a d a i nf er i or mente e L a l q u e Vf e $f S& L i p s c h i t z com a m e s m a c o n t a n t e

K

:

30

llVhi~x)

-

PhiCy>

1 1 , ~ K I ~ X

-yll,

,

V

X , Y c (R"

,

i=i,~,.

. .

,m

b f à n e o s e g u i n t e s u b p r obl e m a model o na k -&si ma i t e r aqCXo

k 1 k T k k min

L c X , V ~ >

+

V ~ ~ x ~ ,-x v ~+ >~ ~x x-

>

xB C X - x

>

X 2 onde LCx,v) = f c x )

+

B

a

1 a g r a n g e a n a a s s u c i a d a ao pr ubl erna € I I . 1.601

.

k

B O uma aproximapão BFGS d a H e s s i a n a v Z ~ C x k , vkl e a B uma f unçzo p e s o d e s t i n a d a a fazer com q u e o c o n j u n t o v i Ave1 d e CIã.1.813 s e j a n3o v a z i o .

k + í

P a r a d e c i d i r se €xk+', v

>

4 uma melhor a p r o x i m a ~ ã o à

k

s o l u ç ã o d o q u e Cx , v k ) usa a f u n í ã o m4riLo dada p e l a p e n a l i d a d e

exata

P a r a evi L a r um p o s s i v e l e f e i t o Maratos numa v i z i n h a n ç a d a s o l u ç ã o , u s a como f u n ç ã o m&rí t o a Lagrangeana d e f i n i d a e m C I I. 1.62)

.

Sa h f ur o mul ti p l i c a d o r d e L a g r a n g e assrsci a d o

A

k k

r e s t r i p S o Bx-x

1 1 , ~

r e m CII. 2 . @2>, e se dC h > = x

-

x

.

wC h>

k

-

- v - v k

,

e n t ã o a f u n ç ã o Ild<hl(lz s e r & monotonamente

para h s u f i c i e n t e m e n t e grande

LCx 9 d C h 3 ,

v

+

w C A l 3

<

LCx

,

v 9 wCh>>

e que se pi>

I

_vi

1

i=i.~..

. .

rn

,

e n t % o exi .ti r í h

>

O t a l que P L C x + d C h 3 )

<

PLCx3>

.

P VARI91 propae o s e g u i n t e a l g o r i t m o i i 1) P a r t a c o m x , v , r i

,

BO, k = O 2 3 Faça k = k

+

1 k k

3) obtenha hk C p r i m i r o teste h = O ) , d C A 3 o w C h 1 tais

T e s t e se PLC

x

+

dC

xk)

1

<

PLC xkl

,

s e n ã o reduza r e vá k' a 3 3 T e s t e a cunverg8ncia

,

c o n t i n u e se necoszbrio. Compare a aproximaçZo q u a d r b t i c a d e L

c o m

D v a l o r

da

k Lagrangeana e s e u s g r a d i e n t e s e m C xk + d C X 3

,

vk + WC hk)

>

,

usando a ccamgaração para aumentar ou r e d u z i r s r a i o r

k '

k

k €3) Faqa xk+'= x + d € h k i ; vk+i= v k + wCh i

,

v o l t e a 2 > . k P a r a o b t e r c o n v e r g 4 n c i a VARE31 e s c o l h e h q u e v e r i f i q u e : e m l u g a r da e x i g @ n c i a d o p a s s o 31 A Q t a l . q u e c o n s t a n t e s a , 18 e m

IR

v e r i f i c a n d o q u e p 2 V

1

I = ',a,.

. .

m p a r a t o d o s os p o n t o s g e r a d o s p e l o a1 g o r i t m o e que o c o n j unko k seja l i m i t a d o , p r o v a q u e a s e q u h c i a Cx ? g e r a d a é l i m i t a d a ,

-

-

e se x f o r um p o n t o d e a c u m u l a ç ã o , e n t ã o h . C x>

=

O i=i,z,.

.

,

rn t

-

e existir6 v t a l q u e O O Se a c o n t e c e r q u e o p o n t o

Cx

, v 1 estar numa v i z i n h a n ç a * w da s 0 1 u ~ ã 0 C X , V

>

e oo I J ( B ~ > - ' - ~ ' ~ € x ~ , v ~ > l l ~ 4 6 para d Z O k s u f i c i e n t e m e n t e p e q u e n o , e n t ã o a c o n v e r g h c i a d e C x

,

vk) iC

*

p a r a Çx , v

>

4 s u p e r l i n e a r . E s t a p r o p r i e d a d e local B o b t i d a % r o ç a n d o n o a l g o r i t m o a f u n ~ z o m é r i t - o BL p e l a função l a g r a n g e a n a numa v i zi n h a n ç a da sol u ç ã o .

BY RD-XHNABEL-SHULTZ C 1 9 8 7 3

,

da m G s m a f o r m a que VARDI

c o n s i d e r a m o p r o k l a m a çmn restric$5es da i g u a l d a d e

C

I I . i . €301 e n a k - é s i m a itsra5a"o d e f i n e m o problema modelo

C s u b p r okl a m a 3

k T T k

o n d e #k{d) = g d

+

-

_e

d

B d

B uma aproxirnaqão q u a d r a t i o a da l a g r a n g e a n a , c o m gk = TWcxk3 e pk uma aproximal;:ão si m B t r i c a da H a s s i a n a d a 1 a g r a n g s a n a

.

ct B d e f i n i d a d e f srrna

que o c o n j u n t o v i Ave1 d e C I I

.I.

843 s e j a não v a z i o, e

Nota-se que, s e d s a t i f a z e r a5 reçLriç8es d e

C I I . S . 0 4 3 , e n k á o d pode s e r d e s ç a m p o s t o s e g u n d o as espacps t a n g e n t e e o r t o g o n a l , i s t o 4 ,

k T k-

~ n d a Z? Q u m a mat-riz n d n - m 3 t a l que CZ 3 A

-

O e

e

u

B a s o l u ç S o d o s e g u i n t e subproblema mín $ k ~ u l S . a. onde: A s s i m , l e m b r a n d o o t r a b a l h o d e Gay C 1 9 8 4 3 , as a u t r r r e s r e t o r n a m & f o r m a d o mgtodo d e r e g i ã o d e c o n f i a n ç a p a r a u p r o b l e m a i r r e s t r i t o . P a r a d e c i d i r se

2

+

d k 15 uma melhor a p r o x i m a ç ã o q u e x k A s o l u ç ã o d e C I I . 1 . 6 0 1 usam c o m o f u n ç s o m e r i t,o a p e n a l i d a d e e e x a t a d e f i n i d a e m C I I . 1.631

.

P a r a s v i L a r o ef ei t o MARATOS, o u s e g u i r uma c u r v a t u r a n e g a t i v a d a L a g r a n g e a n a a d i c i o n a m e d a correção c a d a v e z q u e ~~~~~~5

g r

G Ç 0 , 9 3 k Sob a a s s u n ç ã o s t a n d a r d de q u e a s e q u h c i a x 3 e s t e j a

c o n t i d a num s u b s o n j u n t o S aborto d o [R", que f , h i , s e j a m d u a s v e x e 5 c u n t i nuamente d i f e r e n c i b v e i s e n

S,

q u e g = 7 f , A, -1 2 z C A ~ A )

,

V

f e c a d a V h. s e j a m l i m i t a d a s e m S; e as c o n d i q õ e s s o b r e o e s p a ç o n u l o : "c3 E x i s t e m

K

,

K

t a i s q u e p a r a t o d o k 1 2 o n d e v

CP)

s i g n i f i c a o menor v a l o r p r b p r i o d a m a k r i z P. 1 k T k 33

CZ

3

B

Z? f o r urna m a t r i z d e f i n i d o p o s i t i v a e Provam q u e c a d a i t e r a ç ã o i n t e r n a Citerar a t B c o n s e g u i r q u e x -c d s e j a melhor q u e x 3 d o a l g u r i L m o t e r m i n a apbs um k nfrmero f i n i

Lo

d e r e p e t i ç Z i e s . !?e

(PLC

x I 3 f o r e m l i m i t. a d n s i n f e r i o r m e n t e e m S, e n t ã o os p e s o s u. p a r a k s u f i c i e n t e m o n % e I# k g r a n d e permanecem f i x o ç e hC x 1 -+O. C

zk3

Tgk-+~ C c o n d i $30 d e c u n v e r g 4 n c i a d e p r i m e i r a ordem3 , ordem)

.

Se

38

*

então existir& A tal que as codiçSies de Kuhn-Tucker =eram

v e r i f i cada i s t o &

e a matriz

s e r á def i n i da p o s i ti va.

k

*

FinalmenLe a cclnverg$ncia d e x para x

,

será

Q-ãuperlinear

,

se, numa vizinhança d e x

*

,

$f e 9"h.

i i = i , 2 , ,

. .

m> f o r e m L i p s c h i t z c o n t i nuas.

CONH-WULD-TO1

NT

C 1988) apresentam um a1 g a r i t m a para u

pr obl ema

min fCx> i I I . 9 . 8 S S >

'S. a.

1 . 1 x . 5

u.

G L L

Onde f : i3Zn-4IE B duas v e z e s c u n t i nuamente d i f e r e n c i Aval. N a

k -4sima i keraç30 o problema model o u t i l i z a d o por e1 es 4

k k a

o n d e + d3 = f C x ,

+

W C x 3 d

+

-

d B d , T k

EZk é u m a aproximação si r n B t r i ca d a Hessi ana v2f C x k 3

,

_%

r;

I I e

D~

B uma m a t r i z de s o a l a m e n t o não s i n g u l a r d i agonal

.

A v i a b i l i d a d e d a sol uç3o Q mankida mrsdianke u a p a r a d o r d e

se x . 5 1

i G i

C P C x l 3 = se x. 2 u i d e o u t r a manera

Tem-ro que se dk f o r sol upão d e C 1 1 . 1 . 7 0 3

,

e n t ã o

2

+ dk d e v e r a ser viável , s a t i sf azendo

onde

1),

6 C 0 . 1 I

, X

& O p o n t o g e n e r a l i z a d o d e Caushy

G

d e f i n i d o por

k

s e n d o

t

a menor s o l u ç ã o d o prablema unidimensi o n a l

0

k

com v c o n s t a n t e p o s i t i v a e

w

c o r r e s p o n d e n d o a d i r e q ã ~ g r a d i ente escal onado def i n i d o por

Us,ando o s e g u i n t e al gor i Lmo:

P A S O

O

-Zejam p , r ) , yo, y*, y z c o n d a n t e s r i a i e ç dadas t a i s que

0 < q

<

1 , q

<

( <

1 , O <y, I y*

<

'1 5 yz. O e s c o l h a u m ponto i n i c i a l x e m

R

,

um r a i o r e uma O O O O a p r o x i m a ç g o B d a h e s s i a n a n o p o n t o x

.

C a l c u l e f C x 1

.

Faça k = 0. P A S S O 1 k

ACHAR d s o l uqão do probl9ma C I I . I .703

P A S S O Cd k k C a l c u l e fCx +d

>

a P A S S O 3 e s c o l h a r E Er y r I se p 2 3 , ou k + i k Z 2 k k Cie o u t r a f o r m a faça e s c o l h a _{rk+* e E y r} o k ? rk'. Atualize ao m a t r i c e z gk, D ~ . I n c r e m e n t e k e m 1 e v& a 11.

E s t e a l g u r i t m u 6 s i m i l a r a u dado pur SC,RENSEN CI@@E3 q u e a p r e s e n t a u m a f o r m a e s t - r u t u r a d a dos m é t o d o s d e região d e conf i ança, 0 s a u t o r e s , s o b a5 h i p b t e s e s : 1 -1 T

e>

bk = I + m a x ( 3

B~(

i

e a propiedade d e que x será u m ponto c r i t i c a d e C L I . l . 7 0 3 se e s o m e n t e se

k

p r o v a m q u e s e for a s e q u h c i a < x 3 gerada gel o m&cado veri f i ça li k k l i m í n f

i l ~ i x

-

w 1

-

x

/Iz=

O k -+m A 1 9 m d i s t o , se e x i s t i r u 2 O L a i q u e 2 e n t ã o l i m í n f na relação CII. i . 741 se L r a n s f o r r n a e m l i m

.

k F i n a l m e n t e se todo p o n t o d e a c u m u l a ç ã o de < x 3 s a t i s f i zar as condiqões d e f o l g a s c o m p l e m e n t a r e s e s t r i t a s , s se l í x k ) c

I C X

+

dk2, e n t ã o o a l g o r i t m o i d e n t i f i c a o C! c o n j u n t o a L i v9 c o r r e t a m e n t e ,

MAHMOUB EL-ALEM C 19881 c o n s i d e r a hmbc5m o problema com r e ç t r i qeíes d e i g u a l d a d e s C

B>

e a p r e s e n t a uma e s t r a t - Q g i a d i f e r e n t e bquel a dada por

VARDI

, e por

BYRD

e o u t r o s .

C o r r e s p o n d e a uma v a r i a ç ã o d o m&todo n o qual e m cada i b r a ç z o o p a s s o B e s c o l h i d o como a q u e l e q u e minimiza n modelo q u a d r a t i c o d a Lagrangeana e d2i t.amb&m

a1

gum

k k T

d o c r 9 e c i m o a JJhcx

>

+ VhCx 3 dll,. E s t a i d O i a foi i n t r o d u z i d a por CELIS-DEFINIS-TAPIA C 19841 : e m c a d a i t e r a ç ã o o p a s s o Q computado r e s o l venda-se o sukprokã ema

o n d e

B~

4 uma aproximaqão d a h e s i a n a d a Lagrangeana 1 a s s o c i a d a a o problema €Pl o o

ak

é uma c o n s t a n t e p o s i t i v a

que depende d e k .

Em CELIS-BENNIS-TAPIA

Bk

e s c o l h i d o como

onde d k & o ponto do Cauohy.

=I

'

O s e g u i nke a1 g o r i t m m c o r r eçponde A modi f i caç80 dada por

MAHPIOUD

p a r a o b t e r a d i r e ç z r s q u e p e r m i t i r a d e f i n i r a nova aproximagão A s o l u ç Z o d e C B>