Metodos de região de confiança em conjuntos arbitrarios e minimização em bolas

Mf:TODOS DE REGIÃO DE CONFIANÇA EN CONJUNTOS

AHDl.'l'HJ\!UOS .t:; MINJMJ21\J_:J\o l~M BUL.M1

Este exemplar corresponde a redação final da tese devi-damente corrlq.i.da e defendi da pela Sra. Sandra Augusta Santos e ctprovada pela Co-missão Julgadora.

Campinas, 28 de a9o~;to de 1991

~-Prof. Dr. José Ma.rio

Martinez+-Dissertação apresentada ao In~:;­

t.ituto de Matemática, Estat:Istl_ c,< e Ciência da CompuLi'lÇ'iio,

METODOS DE REGIÃO DE CONFIANÇA

EM CONJUNTOS ARBITRARIOS

E MJNJMIZAÇÃO EM BOLAS

SANDRA AUGUSTA SANTOS

ORIENTADOR: PROF. DR~ JOSÊ MARIO MARTiNEZ

I>MA - lNECC - UNICAMP

t:

'

Alayde~

i'

'

I I '

r

; 1: I

r

I

I

I

'

;--'

"

~~

F

'

'

I

[

r

\;

I

AGRADECIMENTOS Ao proL Max-tJnez,.

pe-la excelent.e ol.'ient.ação.

Aos proi'ess:ol'es do 1MECC,

pelo apoio e incont.ivo.

A F'APESP,

RESUMO

confiança para o problema de minimização re:st.rit.a a um conjunt-o

;fechado Provamos convergência a pont.os que sat.isLEtZE>m condiçÕes: necessárias de primeira o:r-dem e quando usamos a Jiossia.n<.-.. da

funçZio obje-t.ivo no modelo, provamos que condiçÕes de segunda O:l'>dern s~o

Considerando-se a implement.abilidade dest..es algot•i t-mos.

em que & uma bola euclidiana.

Desenvolvemos uma inlplement.ação comput.acional e :fizemos um c:unjt.tnto de experhnent.os numéricos.

CAPITULO 1.

CAPtTULO

a.

!NDICE

INTRODUÇÀO . . . .

ME:TODOS DE REGIÀO DE CONFIANÇA PARA MINI MI ZAÇJiO EM CONJUNTOS ARBITRÁRIOS

1

2.1 O PROBLEMA . .. .. .. .. .. .. .. .. .. .. .. .. . .. .. .. . .. . 6

a. a

OS ALGORITMOS I E II . . . . . . . . . . .. . . . . . . . . . . 8 2.3 DEFINIÇÔES. HIPÓTES~S E LEMAS BÁSICOS . . . 10 284 RESULTADOS DE CONVERG~NCIA . . . 12

CAPiTULO 3.

3.1

3.2 3.3

METOOOS DE REGIÃO DE CONFIANÇA PARA

Ml NI MlZAÇÃO EM BOLAS EUCLIDIANAS . . . :;:10

O SUBPROBLE14A • • • . . . • • . . . • • . . . • . . . 3B

O ALGORITMO III . . . • . . . 40 ANÁLISE DO ALGORITMO III . . . 41

MINIMIZADORES GLOB.t"IS DE QUADRÁTICA:..~ EM ESFERAS 41

MINIMIZADORES LOCAIS DE QUADRÁTICAS EM ESFERAS 40 3.3.8.1 O ALGORITMO IV . .. .. .. .. . .. .. .. .. .. .. .. .. . .. .. . 47

MINIMIZAOORES DE QUADRÁTICAS EM ESFERAS

CN-2) DIMENSIONAIS . . . 50 3.4

o

"HARD-CASE"

...

" _{' ' '}

....

.

...

' ' ' ' ' ' ' ' ' ' ' .

3. 4- 1

o

"HARD-CASE'' NA ESFERA DE CONFIANÇA ' _{' ' ' '}

CAPITULO 4. 4.1

4.2

4. 2.1 4. 2. 2

4.3

EXPERIMENTOS

NU~RICOS

. . .

G3

CARACTER!STICAS DO PROGRAMA . . . G3

ANÁLISE DO DESEMPENHO COMPUTACIONAL . . . GG

TESTES REALIZADOS . . . , ... 65

RESULTADOS NUMf:RICOS . . . 73

CONCLUSDES E TRABALHOS FUTUROS . . .

75

APf:NDI CE . . . . . . . . . . . . . . . 82

CAPÍTULO 1

INTROLlUÇitO

Problemas das mais diversas podem ser- r-esolvidos via

:função objet.tvo v.áJ:.ias variáveis, necessárias

ent.ant..o~ as t.écnicas escolhidas baseiam-se em soluções eHclent.es para

o proble-ma de minimização irrest.r-it.a.

Uma

opção COH1

convergência local q-quadl"át.ica,

é

o m&t.odo de Nowt.on~ cuja obt.ençào ó nat.m:•al quando se considera a aproximação qu.adr-át..ica para a íunção

objet..ivo. Uma opção

New·t.on, obt.idas

por-alt.er-nat.iva

~

aproximaçoes, '

"

ut..ilizar- var-iant.es do mát.odo de

em algum se-nt.idoJ a

llessia.na (ex; mét.odos quase Na-wt.on>. Para pont.os que

na o

~

suf'J.c.ient.ement.e próximos da solução e nos quais a Hes:stana {ou Wlk"l

aproximaç~o) ~

nao posit.iva. deXinida,

minimizadores, o mét.odo não est.á bem

ou quando inflnlt.os:

necessidade do modii~icar- o mét.odo e.scollddo, t.ornando-o globalmBnt-o

l"'eg:iÕes d.a conf1ança. Uma out.r.a opçao ~ globallz.adora _e ' _ut.ilizar .buscas

modiflcando-se a Hessiana quando

mod.if'icaç:Zio

objet.ivo. Na est.rat.égia de regiÕes de con:fiança, ao invés de so mod.i.fical" o modelo quadrát.ico,. a idéia básica consist.e- em acei t.ar a

quo minimisza modo lo

adequada.Jnent.& o comport.ament.o da função objet.ivo originaL DesLa

:fox·ma, o passo :flca t'es:t.rlt.o pela região em que a série de Taylo:r par·a

a funçãü

ó

confiável (região da conHa.nça).

A f' o:r-mulaçào mais comum dest..a idéia

núnimizar

s / a <1.1)

par-a cel."to

1\

>

O. Se f'

é

a :função objet.ivo, gk • 'i/ :f(xk) e Bk

é

uma

mat.riz simét.rica

<

p.ex., Dk • ~:f<xk) ou Bk ~ ~f'<x

1

,?

).

Pod&-se most.:r-ar que, se >..

é

um escaJ.a:r. t.al que a ma.t.riz Bk + À I é se.mi posit.iva deíinida , a solução das equações

<B + X l ) s • k

t.arnbém

é

solução para o subproblema <1.1) se

11

_"

11.

Assim,

ao-( _{[lk TC{xk)}

>

o

_{), solução de} (1.1) '

"

-

a

"

Newt.on

<La.,

a solução de (1.2) com À a

rest.rição sobre a norma. t..or-na.-se at.iva e ₁₁

"

A

(1.2)

À •

o

s uf1cie n t.eme-nt.e grande

simplesment-e a direção de

o

).

_Caso

_{cont.rár-io, a}

11. -

_"'•

pequeno~ vetor s que + s ) suf]c1ent.emo-nt.o ), menor que ;f <xk).

"

objat.ivo em torno dest.e pont.o:

/: a aproximação represente bem a ·.função

(re~iào

de confiança).

!:

{:

!-· 2) Est.a.belece-se um passo .sk de t..al !'orma que haja decrésclmo

I ~-:

r

" " f r

i

i

(:

r

!;

" ;-. i: ii f I

suf1cient.e da aprmd.m.ação na r-e~;ião de conf'iança.

:.n

Avalia-se a :função objetivo em xk + houve

um

decx•éscimo suficient.e para o valor obt.ido, adot..a-se

"

...

•

'\

+

_"•

_"

awnent.a-sa o :&:>aio da região de confiança. Caso cont.rário,

"k + "k é :r-ejeit-ado raio da região de con:f1ança ' diminuído.

"

"

e

Refex·ências para o est..udo dos: mét.odos de região de con:fiança para

[ p:r-oblemas da minim.ização sem rest.rições, com ênfase na teoria de

!:

f: cuuver~ência, são: [ 1, 2, 4~ 13, 14, 21J :221 24 J. t 1:

'

f

Fazendo wn breve hist.Ó:r-ico, os mét.odos de l"egião de cont·ia.nça t.âm como or-igem os t..l"ab.alhos de Levenberg <1944> [ 9 J e Ma:c-quardt. <1963)

[ _{10 J pa.l'a problemas} de quadr-ados núnimos ~

nao A

abordagem do método para o problema gel'al de ndnimizaç.ão :foi :feit.a por {" Goldreld, Quandt. e Trot.t.el' em 1963 [ 5 1. Powell <1970 e 1975)

( 18, 19 J e Thomas <1975) [ 23 l aplicar-am a est.x·at.égia da convel"sância global com regiÕes de conl'!ança a sit.uaçÕes mais ge:r-a.ls

de it.ex-açClos qusse Newt.on. Reinsch (1971) [ 20 J a Uobdén (:19'13) [ '1 ]

com obsa.r-va.ções comput.acionais a

o pl"oitlema de quadl•ados mínimoR nao ~ lineares. Flet.c:hex· (1900) [ 2 l

e Sor-ansan <1982) [ 22 l provaram propr-iedades de conver~ência

s:esunda O:f'dem. Oay (1981) [ 3 l acrescentou ca.:ract.erizaçÕes t.eÓJ:>icas e observações comput.acionais pa..r-a. o pi'oblema da minirnização irN"'St.l"it.a

quando a Hess.iana é indet'inlda. Shult.z, Schnabel (198G)

[ 22 J. Em 1988, Toint. [ 24 J provou propriedades de conve!'t;ência

mJ.nimizaçâo náo convexa em espaços de Hilber-t:..

No cap{t.ulo 2 dast.e t.r-abalho, de-t'inimos dois algoJ:•it.mos ge-rais de

r-egião da- confiança p.a.l'a o pl"oblema de mirúrnização r-a-st.r-it.a a um conjunto t'echado ''a:r-bit.r-áz.io". Pl"ovamos convergência a pont.os que sat.isf'azom condiçÕes necessá.r>iaa de px-i.meir-a ordem e quando usamos a

Hessiana da !'unção objet.ivo no modelo, pr-ovamos que condiçÕes

de-see,;unda O.l"dem sao

-

sat.isi'eit.as Tendo

em

vist.a a imp.lement.abilidade

do problema

é

uma bola euclidiana <ou, de mane-ira maJ.s t;e:r-al, um elipsóide sÓlido1 que com uma mudança de vat"iáveis adequada se roduz a

uma bo!a euclidiana). Tal problema poda como t.Una

condicionados <pr-incípio de :r-egul.ar>iza.ç.ão). lndependont..ornont.o dest.o ru'gument.o, a f"l'eqUência do domínio elipsoidal na nat.w•eza ba.s:t..a:Pla

..

l'€ílevância dest.o

desenvolvemos um conjunt.o de exper-iment.os

robust.ez dos algo r-i t.mos pl"opost.os. No

problema. nwnór-icos

apêndice, doc:ument.açâo do programa e das rot.in.as implement-adas.

I:

\

I

CAI'i'l'ULO 2

~TODOS D.S REOI.itO D:S CONFIANÇA PARA MINlMlZAÇÃO EM

CONJUNTOS ARBITRAR!OS

Neste cap{t.ulo, definimos dois: alg-orit.mos ser-ais de região de confiança pax-a o problema da minirnização com res:t.rições. Prov..e.n1os:

conva1~gência a pont.os que a.at.isf'azem condiçêi'es nocassárias de primeira ordem e quando usamos a He.ssiana da :função objet.ivo no modelo,

p-:r-ov.amos que condiçÕes de segunda ordem são sa.t.isfe-1

t.a.s.

2.1 O PROBLEMA

minimizax- f"(x)

e/a x e IB

(2.1)

onda f' E Cl(A\), A\

é

um conjunto abeJ>t.o contendo IB e D3

é

f"echado.

Para r-esolvei" (2.1) via mát.odos de x-egião de conf'iança, definimos dois algorit.mos, que em cada it.eraç.ão resolvem proble~ do t-ipo:

mh:rlmizal" ~k ( w ) •

onde gk ... Vf<xk) , xk

é

a apl"oximaçã:o at.ual da solução a mat.r-iz si.mét.r-ica. Cabe { w E

IR"

observar

'\

...

w E que, como IB e ₁₁ w

_~

'l<k e ' cont.{nua e o

"

•\

}

e ' _compoct.o~

"

coJtjunt~o so1uç3o do

Os dois algorit.mos gel'ais apresent-ados a. seguir são baseados no

subproblonm <2.2).

o

primeiro gener-alização de UI1U)I;

~ormulação cli&s:sica de de região de

rest.r-lçÕes [ 14 l. O segundo

é

wna pequena. vax-iação do ant.ol"io:r- pa:N:t a qual

é

possível obt.er um t.eorema de conve:r-~ência mais fox-t.e.

2.2 OS ALGORITMOS

ALGORITMO I

0) k SI 0 Ao

<

oo

i ) dados xk e .õ.k, calcular gk • V:f(xk) e escolher> Bk

2) resolve-r s / a oht.endo sk. Se sk • O, parar-. 3) se t'Cxk + s,,?

<

f'(x₁

?

+ 10-4

~k

<s,,? ant..ão escolher /:J,. ~ Ak k+< se C<u. ) ~ !"(xk) kH + 0.75

-·

sa f"(xk + 1!íi\) :2: :f(xk> + 10 'llk <s:k)

escolhe X" Ak e [

0.111•'. ~,

0.9llsk ~]

e il' para GD

CZ.2)

Esta algox-:H.mo é uma genex-aliZElç:ào do algor-it.mo t.r-.adicional de

IILGORI'fMO li

Seja O

<

l>.

m•n

< "'

0) k 111:1

o

ü dados

"'1.:

e Ak,. calc\.llar- r;k • Vf'(xk) e escolher Dk 2) resolver minimizar ~k (W) • s / a xk

+

w E !B 11 w 11 " .... o.bt.endo s 1/ Se sk a O, pa:t"a.r. 3) se :f'(xk + s,?

<

f'(xx? + 10-4 Jlfk <uk) então de:r-inir x • x,_

+

s k+t ~ k se .f(xk+:t)

<

.f(xJ.? + 0.75 lltk ü;;k) se escolher .ó.k+< ~ rnax <.6. _mt.n-'" :f<x ) k+i

+

0.'75 k ... k+t, ir-(2.2)

O objef..ivo da modi:ficaçâo pl"opost.a no algo ri t..mo

n

e • que, ao

começar cada

..

t.ent.at...iva inicial seja su:ficient.e-mente

••a.f':t•ojada''.t

não

se permit.indo (iniciabnent.e> de

menores que razoável,. t.em

A Est.a r-est.rição, além de ser algo-r·it.micament.-e

m•n

inf"luência nos: :r-esult.ados t.aóx-icos , corno pode se:r- vist.o

2.3 DEF'INIÇ<JES, HIPÓTESES E LEMAS BÁSICOS

Dot'iniçã:o 2.1

Dados wn conjunto IB e

wn

pont.o t'act.ivel x

"

E IB, dizemos que a .função (), ! [0_,11 ---+

lJtl _,

pat"t.indo de x* se a(O) • x* e a(t.) e IB, V t. e [Q,tl.

De-finição 2.2

..

Dados wn conjunt.o !B e um pont.o f'act.1vel x E [B, dizemos que

*

'

"

x é :íraaamont.e ragular se p.a.I"'& t.odo ar-co f'act.avel q pal"t.indo de x e

,,

"1,(0)

•

"•

~VkeiN

i i> otk (t.) E IB

,Vt.E

[0,11,

v

k E IN

i. \.i.) _{lim otk} (t.)

-

a.(t.), V t. E l0,1l

kEIN

i v> l!m

_"{<O>

-

OL' (Q) keiN

vl

IIm

ot,.1(0) • a' '<O> kEIN k

Hipót.ese 2.3

~

Os pont.os de IB sao t'I"acament.e I"&gular-es.

,.

..

"

,

Le:nla 2.4 - <CNi - Condição Necessária de Pr-imeira ú.l"dem )

•

Se x é solução de <2.1>,

ent.ão para t.odo arco ract.1vel a part.indo de x* t.em-se

Pl."ova: Ver [ 9 J, p.169. 11

L~ ~ - <CN2 - Condição Nacassáz.ia da Segunda O!•dom ) S " "

.Á

..., so-l~d UÇ..o:lO a (2.1), en:t.ão

:i

(a(~))

I •

O

t.•O

t.am-se P.t'ova: Ver { 9 J~ p.174. a Le-ma 2.6

I

?:

o

-t.=O

Se sk

=

O é minimizado-r do sub problema <2.2) ent.ão xk sa:t.is:faz a CN1 par-a <2.1>.

Prova:

Se- sk é núnimizadol" de (2.2)

part.indo da sk t.em-se

wl

(s ) dw (0)

ent.ão para. t.odo at"co :fact..ive-1 w

K k dt.

arco íact..ível para (2.2), t.emos w(Q) • sk • O e exist.e 6

>

O t.al que

w(t.)

+ "• e lll ,

llw<t.> 11

:S àk, V

t.

E to,ól.

Chamando Q(t.) • w(t.) + "x

-

"

k ~ logo

~~

<t.)

=

~~

(t.) e w(O) • a(O) - xk • O. Ent.ão a(O) • xk e pot"t.anto, a

t.odo w corl"osponde et, ar-co .Cact.ivel par-a {2.1) part.indo do :xk , pois

Além dilS!Go,

a<t.>

E lll

'

v

t.

E [0~61 com o

mesmo

6 dado acima

Wt<O> dw (0) .. l d<X (0) ?:

o.

<K

1:"

dt

"

Assim~ xk sat.is:f'az a CN1 para (2.1).

"

Le:ma 2.7

Se .sk • O é minimizado:r- do subpvoblema (2.2) 1 f' E C

2

(A) o

Bk

=

~:f<xk), V k E IN, ent.ão xk sat.isf'az a CN2 para <2.1>.

de

Vii<t ( g .) dw (O) .. 0

I( k (!{;

(2.2), t.omos w(O)

.

"'

k

-

o

e 6

>

o

que w(t.) +

Chamando cx<t.> •

w<t.>

+ xk , t.emos

w<t.> •

a(t,)

-dw

(L) de< (1;.)

o

_t.emos Wc(0) a(O)

dt. m d{; o COJUO

"

k

-

_'

-

-

"k m

Além disso, 'i''l'k (O)

d2'1' (0) 2 Ot(0)

=

"k

•

gk e - - k

-

V f'(xk

>

-dt!

'\

lU , logo

o

"

ont...ão dzr<<X<O)), dt!

se-il:u.indo <.'Ue< a t.odo

w

col"I'esponde

a,

ro•co .fact1vel par-a <2.1) pa:r-t..indo de xk , pois a(t.) e IB , V

t.

e W,ól , com o mesmo 6 dado acima. Dest-a

:f0l'Jna1 l da (O)

"

o

t.al

'

de< (O)

o

t.<0m-s:H

g"

_dt.

"

pal'a

"'

que t;f<

_ilt:

•

2

~(a(0))

"

o.

Ou se-ja,

_'\

sat.isíaz a CN2 para (2.1) ..

ctt."

2.4 RESULTADOS DE CONVERGENCIA

Teorema ~ <BOA DEFINIÇÃO - algo:r-it.mo I - CNi)

Seja {

x

k } kEfN a sequência gerada pelo algol"i t...mo I. Se xk não sat..is:faz a CN1, ent.ão é possivel obt.e:r• "'k+t'

Em out!"a.s palavx·.as, após um númer-o finlto de r-eduçÕes no raio de

OCO:r<l:'idas durant.e a k-ésima it.aração, quando

sat.ia:f'a.z a. CNi, consegue-se de:finir- um novo pont.o

_"·-

...

_.

{

Prova:

Quer&mos vo:r quo par-a. A ( l > suficient.ament.o pequeno Conde

k

miltirui:.ttldox• _{.. k}

co

do stllJpl'oblomn C!-.2)

,,

t.nJ 1'( + ltl) nk nk

<

j"{)(k) + 10-4- \,{I ( _{k sk} IÜ) _,

"

pot•t.fir~t.o

_"

put.;:a1vol o l!m ieiN novo pont.o

_"•+

(\.)

"

•••

-

"k Chamando

-- 1.

Como por- hipót.es& para <:2.1) t.al que

.

vamos

xk não sat.ist' az a CN1, ent.ão exist.e

l de<

'Vt' <xk> dt <O>

<

O Ua.qui ent

(1\lü

obt.or

quo

diante

usamos a notação: _{()( -}' dot _{dt. •} Lo~o~ gk c.'<O>

'

<

O (01.'(0) ,e 0). como a é

a.r-co :faat.ive-1, a(Q) • xk e a(t.) e IB, V t. E [0~11.

Pela

A' i> suficiant.ement.e

k pequeno, seja

d e.~ ~ini çao - d o s ub pro ema, bl "'k("k(\.)) ~

onde t.L

>

O

á

t.al que 11 c..<t.i.) -

"'kl •

A~i.>.

Mas,.

1 l

11té<x<t.L) - xk) •

2

(a(t.i.) -

xlr?

Bk <a<t.i.) -Agora

,; i<«<t,> -

"•>'sk

<«<t,> -

'\>i ,;

11

"'<t,> - ''.

~2 lll\~·

LogoJ

Wk<s~l>)

$ '<ltk(a:(t.i.)-xk) ::S:

g~<«<t.i.>-xk)

+

~·I!Bk!J!I

«<t.l)-xk

H2·

Dividindo po:l'

t..

1 obt..emos:

'

Como lim t.,.,.

o

'

t.

-

"

_k ) quo

Um

t. ....

o

'

t..

'

-

"

_k )

•

sufic!ent.ement.e L

i

s~"ll

2

+

~

11•{'11

2

j~~tk (s~\.>)

I

•

2L +

IIB.II

~la

I

'

11

O<(t.,) - "k

11

2 t.

'

-IIm iEÍN 1 let.o ti.))

"•

<

+ 1

'

t., ...

o

'

t..

'

a

<

O . 1

o.

signif'ica quo

'

como

quel'famos p:r•oval:' . a

Teorema 2.9

<

CONVERGe.NCIA GLOBAL -a!~or-it.mo I - CND

Se ~Bk/1 é unif'ormament.e limit.ada e a seqUência ~orada pelo

al~orH.mo 1 eat.á contida. em um conjunto compact.o, ent.ão exis:t.o uma

Prova:

Exist.em duas possibilidades para { âk }keiN

j ) _inf kEIN A • O k iD inf" ' \

>

O . kEIN

Consideremos inicial.rnent.e o caso <D: inf'

l\...

O . <EIN

Seja

Ao

<z-prJmeJ.ro númer-o).

Seja

lu. e IN o Claramente IN

pr-imeil"o númer-o nat.ural

(senão

t.al qua

t.al que

E assim pox- diant..e~ seja k.j E IN o primeiro número t.al que

_"..:<:.:"-::;' ,,_·

--=':.'+c:1:.:>_

"··t

(,..;J+ )

<-

.,

~ (cl.a:r-a.rnent.e A

L.·

1

<

AJL.>.

{KJ+ > KJ

Seja IK:t • <Jru., ltt.:z, •• .J. A seqüência { A }

~

é

k kE~i que lim f:.. 111111 O. Como ....TV .k+:l h.k+t

<

..6.k ~ V k e IK:~~., t.emos :f(xk + ~\? 2!: f'<x,,? + kt~i f"<x:k: + s.k) - f"(xk)

•

0.75~

v

k

Assim, para k e

fK.t

t.emos:

"• .. " 0·1

li"• 11

e por·taot.o.

lim

i•\

11 •

o.

k.QK1

Como { x } está contida em urn

compact...o~

t.omem.os !'Kz

~

!K;: k ke!N

t..al qua lim xk ke!K2

eld.st.a e chamemos x

*

1 i m xk. Nat.ul:'alm0nt.~~ ~ k<EIK2

Hm

_!s,

₁₁

-o.

kEiK2

Suponhamos que

*

não sat.isf'aça

"

em diant.e usar-em.os a not.a.ção

li

•

-

9f:<x*>.

En:tão exist.e a ar-co fact.ivel poo:-a

a CNi

(2.1) par-t.indo de _{X '}

*

t.al que

g~

a' (0)

<

O. Pala r-egularidade de lB (hipót.osa 2.3), exist.e a

seqüência de a.r-cos f"act.{veis { ak }kEfK:z sat.isf"azendo:

i> '\(0)

-

_'\

,VkelK2

i.i.J Ol.k (t.) E IB

'

V

t. E [0,11,.

v

k e IK2

iiü lim ak (t.)

-

a(t.), V t. e W,1J kEIK2

i.. v>

IIm '\<O>

-

a'

<O>.

kEI:K2

Ar;ora:, existe

tu

t.al que para t.odo k E 0<2, k ;?: fu, o F" ... rco

ak a:t..:ravessa a bola de cen:t.r-o em xk e raio IJsk~·

V k e fKs

De :fat.o, suponhamos que ₁₁ (ltk(t.) ~ LK2, para todo t. E l0,11. Então Um ~

kell<9 D!k (Q) 11 ,; '\(0) :S

llm is.JJ, V

kE!Ks

t.

e W,1J ..

!

<x(O) ~ :S O, V t.

e

l0,1l .,

ct(t.) • a(O), V t. e [0,11, o que é absur-do pois

«'

(0) .,e. O.

Asshn, exist.e l<u t.al que pal'a k

e

IKz, k ..;:: Jti~ podemos t.om.a.r

Vejamos agora que lim t.k • O. kEI.K2

Pela regularidade de IB, como Um Ot'(Q) •

kEI.Kz k

t.k ' "

fo

(Ot:) <t.)dt.

t.k '

fo

(Ot~) <t.)dt.

(a~}'(-t.)

:=

TJ

>

O pal'a todo t. E [0,1J. l.k '

f.,

<<{>

(t.)dl. Então, t.k '

f.,

<<{'>

(l.)dt.

~

I

t.k . ~

fo

<<\>

(l.)dt. l.k

~

{ fo

r, dt. - {

n

t.k, onde {

é

uma const.a.nt.a

negat.iva

-nao Um

!lsk

Jl

=

O, segue que kEIK2 lim. t.k -

o.

kEiK2

Como Q Bk 11 $ M , V k e IN, segue que

ent..ão

+

Aplicando o t.eor-ema do valor médio a

ak ( 0 ) t.emos que M 2 + cada componont.e da M

( .. >'<('>

" \ k vk

•

'

o

!';

e'

k !'; t.k

'

i

=

i,

( "')'<(''>

" \ k Port.ant.o. Um IJ.Ik (sk) $

'

a' ( 0 )

tk

..:,.

kEIK•

!11 ( s ) k k < t.k

-Então,

2:

ja

I

e p _k -:f(xk + 51k) - :f(xk) Wk<sk)

-i

TãT

t ,

I

+

-js

B

s

< 2 k k k -S ( L +

~

)

ffsk~·"\

onda L á a const.ant.a da

usamos o- !'a.t.o de que

IIBl!J

S M, V k e lN.

Dessa :forma., -temos :

Assim, pal'a k E IK2,. k f! h2 t.emos:

..

'.

_"

.

11;;;

-$ ( 2L + 111

)_k.ll"

2fãl

t.k

•

2L + 111

2jal

Hm pk "" 1 , kElK2 c

o que cont.r-adiz o fato de que pk ::s; 0.76 para V k: E [Kz ro 0<1.

"•i

Consideremos agora o caso (ii): in:f 11

>

O

ke!N k c

Saja lK:1 oo [N t.al que Um Bk e-xis"t.e. Chamemos:

ke!K. Seja IKz

&t

!KJ. t.al que 1 i m x

kef.K2 k ext.st.e. Chamemos

•

"

--·

Temos f:(xk+t)

<

f"(xlc) + 10 Wk<sk)_, V k

e

I:K2 .

•

Logo, ~ir (s }

>

10 ( f"(x ) - f"(x )),. V k E IKz

k k k+ t k

e

l'~~.<sk)l

<

10• C Hxk) - Hxk+₁) ) , V k

e

1K2

:f<xk

..

)

o

t +

!

t

Vamos agora de:fini:r W_. (s) • s g*

2 s

Como

inf" /;,

>

O _, t.emos

kelN k

Seja

s:

solução do problema

mi nimi:ZOO" tlt* <s>

s / a

x*

+

s e

fB

B s.

Existe h t.al que paz-a k ~ k , k E 11<2,. t.emos

*

-De:fin.indo

"

-

"

+ " , t.emos: 11><

*

-

"•~

Ux

*

'\U

B

11

•

+ "'

-

$

-

+

"

$ Á $

~"

•

"

_"

'

-k " • 11 $ € íK.z, (2.:))

A/2

k

"

k,

ou seja, e como x • x

*

+ s e lB , ent.ã:o

t'act.ível pax·a o subproblema (2.2) e wk <x -

"'J.?

~ lJ!k (s:},?·

X

-"

k

Ag-ora, no llmit.e para k E tKz: t.emos Ck --+ g* , Bk - > I.l ,

IJrk <s

1

? ___,

O e x -

"'x

- + ; .Logo W111

<&>

?! W*(O) • O e s • O minlmiza (2.3). Pol"t.ant.o1 vale a CN1 par-a (2.3). Assim, pal'a t.odo a:r-co fact.ival

w (w(O) • 0) t.em-se

vw.<o>

t dC(O) dw ~ o. Chamando w(t.) .. Ct(t.) - X

*

, como

dw det

e-

dt::(t.) ..

at<t.),

ent..ão pal"a t.odo a ar-co !'&ct.ive-1

(2.D (a_(Q) • ~

o.

Ou seja, vale a

ma

(2:.1) 11

Teorema 2.10 CBOA DEFINIÇÃO - algor!t.mo I - CN2)

lB e que ~1: é

Lipschit.z contínua em Çj., seja { xk }ketN a sequência Ge:r>ada pelo

.a.lgorit.mo I, com Bk E 7-r--<xk>, V k E lN.

Se xk não sat.isf'az a CN2, ent.ão é pos:stvel oht.er xkH" P:r-ova:

Se xk sat.ist'az .a CN1 mas não sat.isfaz a CN2, que:r-emos ver

que A. (Í.)

k sul'icient.ement. e pequeno

<

onde

{

sequ~ncia da- raios ger-ada na k-ésima

u ..

er-açã:o),

do subp:r-oblema <2.2) que a o mininúzador

<

+ + i0-4 11-'k

(s~ü),

( \.} x • x + s k .

possivel o novo pont-o

k+ ;t k

Hm

i.EÍN

• 1.

CN2, exlst.e at"CO f'.act.ivel

sat.isfaz a CN1 t

ck

a'(O) • O a xlc t.al que d2:::f

<a<t.>>

dt."

I

!.=O

<

o .

Logo,

a'<O>t~f'ka'<O)

+

g~

o.'"'<O>

<

o.

Se-ndo et :fact.ivel) a(O) • xk & a ( t . ) e !B~ V t. .c; to,1J. A <i.)

k suf'icient.e-ment.e pequeno, seja t..

_'

t.

•

min

'

então A'i.> k e A _k (iJ <

-Po:r-i..w:1:t.o-, lim .A {i.) ie!N k

segue que lim

ie!N

Ou seja,

lle<<t.,) - e<<O>II

-

o

"

0.9

0.9

_llst"ll

$ 0.9 como t.. é t.al que

'

xk 11 • lim

ie!N

o

. . a.(t._)

'

Pela definição do subpl"oblema,

•

A~ü

} é t.al que A<i-u k •

ll<><t. )

-'

01.(0)

'i1_k

(S~i.})

_{:S Wlc (a(t.i.) - Mk) • lltk (ot(t..i.) - ot(0}),}

"k 11

-=

o

que Ali> k '

o.

W: ( (Í.))

'

Ol(0)) _<o.<t..) «(Q))t gk

<a.<t.,_> -

-

(aO .•. ) - ~(0)) k ' \ 1

"

+

~-·

t.'

2

'

'

Temos que De fat.o, chamando F<t.)

•

'

'

como Hm F<t.i.) .. €k ~'(0) • O teiN

L,_Hospit.al, se€ue que

F'<t..)

llm te!N llm

tE!N

-

-• lim

tE!N

Po:r-t.,artt.o, 2 H

m

teiN lim te!N e ent.ão, Um

t:~

te!N (et(t..)

-'

'

•

• lim te!N llm te!N e<<O)) ]

'

v

2

_r

'

t., k

---,---'

'

a''

(0). g~(Ot(t.i)- Ot(O))

t.

llm G<t.i..) • O , pelo t.eoretn.a de

t IN ot(0)) 1

[

-ot(O)) ] _{OI.~ ' ( 0 )} llt, ' ( 0 ) .

Logo, lim l<:IN

e para i.. suflcient.ement.e ~rande (f.'\ suficient.ement.e pequeno) q. ( ( Í ) ) k ...

t!

'

IJt <s<i>) k k Então t,2

'

<:

A g-ora,

₁

pk

(\.)

- 1

I

• 1 1

Jaj

e

:>

111 ( Ú.})

_la

_I

k " •

t/

'

M

lls:"

n•

3T

•

n

I "' ( '''>I

k

''>

( pela Lipschit.z cont.inuidade de

Te

em A

l

M

i"~"

11"

M

lls~"

u·

3! _t.•

lls~"li'

Mas

-,

3T

'

;;: M ,;

ll'k

<s~

i.>)

I

-

IJt ( , i.))

I

3ifãT

-t!

k " •

_'

t,2

'

Ki

>

11

(')((t..) -

11"

M M

'

"•

,;

31

_{1° I}

-

31

lal

•

t.'

t.•

'

'

9/2 M

[

<ot<t..) - ot(O))l (ot(t..) - e<(Q))

]

'

'

t..

o

-

3f]Gf

t..

_'

i.EIN

•

(i.)

Logo lim pk • i e po:r-t.a.n~ para i. sui':lcient..ernent~e g;P.::UJdB-, iE!N

>

10 -•. Assim,

<

+

X

...

a _{est.á bem de:finido. •}

Teorema 2.11 WONVEROE:NCIA OLOBAL - algol'it.mo 1 - CN2) Supondo que t' e C2

<An,

Rt. abert.o,

tu

:> U3

Ou

que

Lipschit,z cont.ínua em 1:., se a seqtiância gerada pelo algorit .. mo 1 está

co-nt.ida a-m unk conjW"lt.o compact..o e se Bk =

VZ"c<x

1

,? ,

V k e IN , ent.ão exis:t.e wna suhseqüên.cia cujo llmit.e sa.t.isi'az a CN2 p.ara <2.1).

Pr-ova~

Exist.em duas possibilidades para { Ak } kEIN i n : f A • O

kE!N k

1D in.f' Ak

>

O .

k€IN

Consideremos inicialment.e o ca..'"lto <D: inf"

1\ •

O .

kE!N Seja b o

<

-2--primeiro númel"o). Seja ru, E lN o IN pr-imeil"o número <senão ' numoro t..al que se:r-ia o que

E assim poro diant.e, seja kj E IN o pl:'imairo número t.al que AOuj-u+D

2 <cl.arament.e A ... {r<;J+ ) 1

<

A,_.). .N.J

Seja lKot • <k.t, lu, ... ). A seqUância ( A ) - I V é

Hm A

kEIKt h t

..

)

k

o.

p.!.U'& t.odo k e IKt.

Como

<

+ 0.75 Logo

Assim, para k e rKi t.emos

llm

llsk

11 • O.

ke!K:t

•

v

k

Como { xk }kEl'N esrt.á cont.id.a em um

compact..o~

t.omemos I.Kz

&,

U<:t

t.all qua exist.e e charnemos

*

"

kEfK2 Hm x . )r.

Nat.ur·a..lment.e,

*

Suponhamos que x não sat.is:faça a CN2 para <2.:D. Usaremos a

not.açào

g._ •

"lf'<x*>

e

~f:

• •

Tr<x*>.

Ent..ão existe (a~ (0) ?'! O ) t.al que

"

Ol'k (0)

-i.i..} ak (t.) E

'

~;.,

<

"k ,Vkei:K2 IB , V t . E íO.~oil,

o.

v

k (2.1} poo~t.indo de

*

"

•

d

r

<a<O))

<

o

~

dt.•

Pela ret;ula:r-idade de

IB,

e IKz

i.í .. t) Um "'.(t.)

-

a<t.>,

V t.. e W,1l

kEIK2

bO lim a~(O)

•

a'<O>

kEIK>

v> Um

')_'<O> •

a''<O>

~ !Ka. E!nt.&lo l i m

l!ot

<t.)

kEÜ(9 k

'

t.em:os O :S 11 a(t.)

-t.k • min { t. e [0,11

a(O)

Vejamos ago:ra. que Um t.k • O.

·-·

11 t.. .,.;: {0,11. Como

o

'

v

t0,1J t.k '

r

<c('> <DdL Jo k

Pela l"<tlguJ.ar.idade de IB, como Um a;_<o> kEll(>

O,

i. e <.t, ... , ,.. } t..al que

Ent.ão,

t.-k . ~

<a~)"<t.> ~ r,

>

O pa:ra t.cdo t. E tO,il.

t.k '

f

<«')

(t,)dt, o k t.k

e

I

t.k ' J

r

<a'>

<

t.>dt. Jo k

I

-• { f

₀

<<\>

(L)d!.

" { J,

l) dt. • { l) t.k, onde {

é

Ul'n.ü const.ant.-e

Port.ant.o

Um t.k • O, kEll(z

{ TJ t.k 2: O e como lim ftsk U

=

O , segue- que

Então

wk (sk) (t.kJZ 1 ('\(l.k) -+

2

k "' ) + _k

'

Ol.k ( 0 ) ) :S gk ( ' \ ({.>) -+ <t.k)2

'\<O))'

( ' \ (l.k) - Q.k (0))

'l't:

k t.k l Chamando F(l.k) gk Cetk <t.k) - ak (0))

-

k

..

(I(Lk) • t.k, como l i m F'(t.k) kEiK2 - g,.

'

L'Hospi t.al t.emos

Um

kEIK2

•

O

e

[

-l

[

(«k(t.k) - ~k(Q))

J

-

- Um gk kEIK> 2 Um kEIK> (t.k)2 +

~!::~ g~

l gk (ak <t.k) - ak <O>> (t.k)2

-

o

+ 11m _gk l kEIK2 a~(O) t.k

•

, aplicando o lim kEll<2 Cl\~(t.k) ] Lk

[

a'<t..k) -k CA~(Q) Lk

'

lim ~k kEIKz

Aplicando nov.ament.e o t.eorema. de L~Hospit.al SéG"ue que

'\<O> • O

t.k

e pol"t..ant.o Ent.ão Wk<sk) l i m -kElK2 (t.k)2 llm kElK2 t gk (Otk (t.k) - Olk (0)) (U)2 {ak(t.k) - ak(0)) t.k

Pot:"t.an.t.o, para k ~ lt2 ?: lu , k e IK2 t.emos

1 1

Logo

Ja

I

Jal

Agora,

'

<

pela Lipschit.z cont.inuidade de ~f )

Assim, par-a k e lK21 k ~ k2 t.emos

:f(xk

+

sk

> -

f'(xk) - lllk <s~._? '~'k<sk)

M

IJskiJ"

"

3ll0f

<t..k)2

•

onda • obt.ido palo

"•

..

component.e de ' \ <t.k) - xk ,

Então

v •

k M

11

(;l(k (t.k) -

'\

11"

M

llv,II"Lk

31

la I

_(t.k)2

-

-sq,-r

•

t.eorema do valor médio aplicado a

n .

lim

IP, -

!I

:>

lim

kEÍK2 kGI.K2

IJ"'<O)jj

3 lim

l.k

=

o.

kEO<:z

Logo

V k E D<2

&i

!K.t.

li m p • 1, o que contradiz o f'at..o

kEIK2 k

Conside-remos agora o caso <iD: inf •\

>

O .

ke!N S eja rv. l.h1

S::.

... u" ru 2 •Hm"Vf'k kElK< t.al que de que Chamemos

Seja lK2 exist.e . Charnemos

..

"

--·

Temos t'<xk+ t )

<

f"(xl<? + 10 llik (slc), V k E I.Kz.

Ent .. ão Wés 1

,?

>

10 4

<

f"(xk-+ 1) - :f(xk)), V k E i.K2 Agora~ t'(:Hk) :f(xk) - - t - oo ), pol't..ant.o :H><k ) - - +

••

Um ~k<sk) • O. keK2

o

cada

I

_• f

;:

.

f

I (

I

I

!;

-" • 11

ou

seja, f'act.:ivel

Como in:f Ak ) O , t.emos Ak ~ A

>

O, V k E lK2.

k<OIN

Seja

s solução do problema

mi nimizaP ~

*

<s)

s / a x

•

+ s e !B C2.4)

Exist.e k tal que par-a k :;.::

k,

k e [Kz, t.emos Jlx* -

xk~

:S 11/2.

Definindo x • x

*

+

S ,

temos:

..

-

_",!

li"

..

-

11"

+ .. :S

11;

-

_''k

_I

:S A

"

como J(

pat'a o sub problema <2.2)

Asol"a, no linút.e para

"

x - x _ _ . s k

-

_".i

+

_i

..

₁₁

:;

•

_{+ "}

"

•

"'

E e en:t..ão lJ1

<x

-k k e 11<2 . Logo A :S

"

•

k

"

!Kz, k 2:

k,

K IB segue que

"

-

''k

é

'\)

;, wk (sk). n2f

c•'r

t v k---+ v

'

minimiza (.2.4). Port.ant..o vale a CN2 para <2.4). lst.o é~ pn.:r·a t-odo <:lx-co

:fact.ivel w ( w-(0) _{• O ) t.am-se} ~ •

'

(0) dw(O)

dt. que

VIl!~

<O> : ( 0 ) • O

(2.1) ( a(O)

•

..

"

t.em-sa d 2 W•<O>

~

O dt! ) _t.eremos

_.:.

'

d~(O) dt. ;,

o

"

P"-"''

'

~~(0)

• O t.em-se d 2 f

~o.

ou

seja, v.aüe a CN2

~:

..

_dt. - - ( e t ( O ) ) para

dt!

Teor-ema 2:.12 <BOA OEFINlÇ.;tO - algorit-mo l i - CN1)

"

(;(ti)

Seja { xk }kElN a sequénaia sarada pelo al(l;or-it..mo IL

t.al que o

Se "'• n~o satisfaz a CN1, ent.ão é poss1vel oht.or x .

k+i

Pl'ova:

a pl'ov.a des.rt..e t.eorema é análoga à do t.eol"em.a 2.9. u

Teorema ~ <CONVERGE:NCIA GLOBAL - algorit.mo 11 - CN1>

Seja { "'k }ketN a sequência ge:r-a.da pelo algor-itmo li.

é uni:formement.e limitada e lim xk•

x* ,

!.K

&

IN

kEIK

*

ent.ão x sa.t.is:faz a CN1 para (2.1). Prova:

Seja x .. • l i m x , I'K c oo lN.

kEIK k

Exist.em. duas possibilidades para { l\: }keK

j ) _{in!" A • O}

k€1K k

iD in:t' Ak

>

O • kEIK

Consideremos inicialment.e o caso {i):

Se inf' kEIK t.al que

Hm

kelKt A "" O. k A.

mcn

>

o,

v

k e IN, secuo que pode

decrescel"1 indo par-a zero.. se considEU"a:rmos a diminuição dos raios: de

Assim, em cada it.eração de lKt, existe um fracasso na condição de Armijo antes de se mudar de pont.o. Ou seja~ para todo k E fi(.t~ üxisLf.'!

o subprob1ema com

raio de conf'iança [ 0.1

]

Al'mijo, definindo-se x • x,.

+

sk.

k>ti Jl;

Port.ant..o, Àk ~ 0.1 ~Sk ~ ;c: O, V k E lKt, seguindo quo

llm 11 kE!l<' • O. Natu:ralment.e,

Um x

JcefK i k

•

.

"

.

Supo-n.h.runos que x* Mo sat.isfaça a CNi p.e.r<a <2.1).

arco f'act.1ve1 para <2.1>

et' (0)

"'

o

_e "(t.)

IB,

v

t. [0,1]) _tal. l

a~?o)

"

e

que

,..

regulat"idade

de

IB,

extst.e

"

seqüência

de

&l"COS :fact.!vais

sat.-isf'"azendo:

"

a.k(O)

-"•

,VkeiK.t

ii..) _{' \ (t.)} e

IB

.. v

t. € [O,:tl, Vkei.Kt

ti.. i.> lim '\(t.)

_•

or.(t..), V t. e LO~il

kE!l<i i. v~ _lim

<>{,<O>

-

01.1 (0) kE!l<'

<

o.

{

'\

*

X Pela

}kEJKi

Agora, axist.e

tu.

t.al que para t.odo k e D<.t, k ~ kJ., o arco ~

at.ravessa a bola de cent.l"o em

"•

& :r-aio

ll".ll·

De

:fat.o, suponhamos que ₁₁

'\(t)

Ctk (0) ₁₁ :5

11".11·

v

k _e IK•

c

IK<,

v

t. [0,1]. En-t.ão Hm ll<\(t) _{"'• (()) 11} :5

"'

E

kE!l<2 :5 Um

ns-.11.

v

t

E [0,11

...

ll«<t>

<><O>

li

$

o

'

v

t E W,1J

keiK2

Logo a(t.) • a(O), V

t.

e [0,11, o que é absurdo pois

a'

<0) .,e O.

Assim, e:rlst.e k.t t.al que para k e

1)(,,

k ~ Ju~ podemos t..om;:-u·

t.k - min { t.

"

[0,11 !

ll".

_(t.)

-

'\(0)11

-

n

.... n}

Vejamos agora que Hm t.k

-o.

Pela r-egularidade de [8~ como Um a,.<O> ... kSKt. k

l e <t, ... 11 r.

>

t.al que

<c{>~(t,.)

:2:

n

>

O para t.odo t.. e lO;il·

t.k '

fo

<a:}

<t.>dt.

Então,

t.k '

f

o

<<\>

(t.)dt. t.k

I •

~

{ J

0

n

dt.. • { TI t.k, onde ~

é

uma co:ns:t.ant.o

negat.iva

~

na o

e como 11m ~fi ~

•

O , segue que

kEiKt k

lim

i..k •

o.

kE!K'

Pela deCinição do subproblema, wk <Sk> < IJ!k <ak <t.k:) - xk ).

Mas

Como ~Bk ~ S M 1 V k E IN, segue que

lllk <.Sk> :$ llllc <etét.k) - xJ.:? ::::;

g~

<ock <t.k) - xk) + ;

H«k

<t.k) - x:k

~z

Logo

Aplicando o t.eor-ema do valox- médio em cada component-e de

O ""' .. k.;;;:, ""

~

_{· ' - 'k} , \. • _{. 1} , ••• ,n . Logo

<

o .

Ent..ão

2

• a

<

O par-a V k e lKs, k l: e

..

Agora_,. p • k f'(xk + sk) - :f(xk) 'l'k

<s\)

1 :S 1

TãT

IJ!k(sk>l

tk

Mas :f<xk + Sk> - í<xk> - lltk <Sk>

I •

,.V k E fK:t, k lu > (

+M

2 onde const..ant.e de Lipschit.z

usamos o :fat.o de que

usk

D

;:5; M,

v

k

E

lN. Dessa Co:rma, t.emos

Assim, para k E IK:t, k ~ h2 t.emos:

l:

ru

i.

t

i'

i:

( '

i'

I

1. (

f

[,

t

' (

I

I

!i }' I

I

₍ '

I

' I

F

l· I 1:

I

i

( I Port.ant..o, ~L+~

l2loD

il"'k (l.k) -><k 11 2 l.k 2L

+

M

2lal

• 1

'

contradizendo

*

Logo, x sat.isf'az a CNi pal"a <2.1>.

Consid&I"emos ago:r-a o caso <iD: inf Ak

>

O kàK

o .f.oxLo de

Seja I.Kt ~ lK tal que lim Ble eKiat.e

kE!Ki

Chatnemos: iJ • 1 i m Bk

kElKi

Seja IK:z ~ lK1 t..al que l i m xk exisrt.e . Ent.ão kE!Kz

Ent.ão

o

(pois caso cont.rá!•io,

+ '

2

p '

n

S .

Como in:f A

>

O , t.emos A ~ A

>

o, V k E IK2

kEiK k X

Seja a solução do problema

o.

que

ne.finindo

.

-• Qx

+

a

minimizar w.<s) s/a x

..

+se!B <2.5)

-

..

-x • -x + s: ~ t.emos:

nrlrrlnúza (2.!D, valendo a CN1 para <2.5>. Ou seja, para t.odo .2<N.::o

f'"act..ivo-1

<w<O>

0) t.&m-se VIJt! <O) dw ?c

o.

Clla:m.;;;u)do

"'

-

<lt:<O>

*

V'\li.(Q) dw

~~(t.),

ent..ão

w(t)

•

a(~)

-"

'

como

•

g,.

"

d[{t.)

•

dt. p;:n·a

t.odo a!'CO !"act.ivel Gl.1) {a(Q) _teremos

q;~ a.~(O) ~ O. Ou seja~ vale .a CNi pax-a <2.1) 11

Teorema. 2.:14 <BOA DEFINIÇÃO a!gol'it.mo I! - CN2)

contínua em

~,

seja { xk }k'IEI.N a sequência @::era.da pelo

al~o:riLrno

U1

com Bk E

..rc<xk>

1 V k E I.N.

Se

x ..

não sat.isf.az a CN2, en:t.ão é possível obt..er- x .

fi<. k+i

Prova:

Análoga

à

do t.aorema 2.10. •

Teor-ema 2.15 <CONVERGI!:NOIA GLOBAL - a!go.-it.mo l i - CN2)

2 2

contínua em k-, seja { xk }kEfN a sequéncia ga:rada pelo algo:r•it.mo lL

~ • c

Se Bk :;: v t"<x,_), V k e IN e Um x

=

x , !K oo IN

"' kEfK k

•

&nt.ão x sat.is:faz a CN2 para (2.:D. Prova:

Segue combinando-se os argumant..os das provas dos t.eorema:s

y I

I

t-i

I [;

I

I I

I

L I i

I

I

I

,,

t

í

' L t-I !-1 I I,

i

_r L CAPtTULO 3

MCTOOOS DE REGIXO OE CONFIANÇA PARA

BOLAS EUCLIDIANAS

3.1 O SUBPROBLEMA

M.IN!M.IZAÇ.>iO E J

Considerando os a.lgorit..mos I e li,. o subpr-oble.ma <2:.2) n.&o

é

s:ompl"e f'ác:U de l"QS'!Olvo:r-, pois sua :!'egiâ:o admissível é a i:nt.eJ•seçào de uma b-ola com um conjun.t.o arbit.z.ál"io. P'at"a algumas :fol"m.as da IB~ no ent..àn.t...o, est.e-s algorit.mos t.o:rnam-se implament.ávai.st. Quando U3 á uma bola euclidiana <ou uma esf\;,tl"a, ou o complement-o da uma bola, at.c), <2.2) pode S&X" resolvido usando-se a car-act.e:r-ização de minimizadoro.s

locais da Mart.(nez [ ti J. Out.J:>o caso implemant.ável oco:r·.I"e quando IB

á

um pollt.opo e as :r-egiÕG!s de confiança são p.ar-alê>lapíp-ados. Nt:i!at.a capítulo analisamos os asp.ect.os t.aóricos do caso em que lB

é

wn.a bola

e-uclidiQl'\a, e &nt.ão (2.2:) J:>ed\12-s& .a minimiztill.l:' \.Una qutólt.h .. .á,t.ic.;;:. t"l$1

int.e:rs:eção de duas bolas:

minimizar 'ilk (S:) -l 1 t "' gk

+

₂

s: Bks s / a

_~

" k + "' ~ ,;

,.

(8.0 11 .. 11 ,; ....

_'

S E íRI'"l

O conjunt.o :fact,Jvel descrit.o pelas rest..riçbes de <3.1:> JJOd!?!'

ser- dividido em quat.ro regiões

R1.

-

{

_{" e} IRn ₁₁

..

₁₁

<

....

'

11

'\

+ " 11

<

r

}

R>

_•

{

S E

IR"

11

"'

11

•

....

_'

11

"•

+ .. 11

<

r-

}

.,

_-

_{

S E IR"

ti

"'

11

<

....

_'

11

...

+ & 11 • r

}

ficura 3.I

Charnando de

â

wn m!nimizado:r global do suhpz>r..1-bl9-~ (0.:0,

podemos pr-ova!' que:

e

A) Se

.S

E Ri, ent.ão S

é

minimizador €1oba1 de

8) Se S E R2, ent.ão S

é

minhnizador local de

C> Se i E Ra, antão S

á

minimizadol' local de

min

'~'•

(s) s / a 11 " 11 • " • •

~

"k

+ "

11 • r

Com base na

considel"ando

det.er-minada. palas :re~iÕes Rt, R2~ Rll e

as possíveis localizações pax•.a;

a,

a-st..abelecemos o seguinte algorit.mo pax-a !"&solução do subpr-oble:ma (3.1):

3.2 ALGORITMO Ill

ü R~golv4:to

I

nrln \Nk (a)

"'"'"'

A G IJ<n _{,. oht.ondo SI.}

S:e SI

ó

f'act.ível, i.e.,

_i

SI ₁₁ 5

_•\

"

11 x:Jc + SI 11

"

rf PH4

Senão,

2) resolver min 1l! k (s) s / a

~

s

~

• tr.k

J ,.

obt.ando SGEC.

Se SGEC

é

racLível, suardar.

, obt.endo SLEC.

Se SLEC

é

f'act.ível, guardar.

3) Resolver _{s/a 11 " • + ,. 11 • r}

'

obt.endo SGEP.

Sa SGEP

é

:fact.{vel, guardar-. Senão, resolver

, obt..endo SLEP.

Sa SLEP é :f.act..{vel, guard.ar.

1: 4) Sa nem SGEC nem SGEP :f'ol"em t'act.!veis, resolve:I>

'

ED Compoo~ar- o valor de ~k n.as soluçÕes gu.a.rdadas & dGcidi:r qual

a solução global do subp:r-oblem.a <S.D

SGEC: solução global na es:fera de conflança

SLEC: so-lução local na es:fez-.a do cont'.iança

SGEP: solução global na es:fara do prohletna

SLEP: solução local na es:fera do problema

SG2E: solução global nas duas es:feras

3.3 ANÁLISE DO ALGORITMO lll

Observamos inicialment..e que o pi'oblema irrest!'it.o do passo 1 t.em sentido apenas quando IJtk (s) f'oX> convens <Bk

p:r-oblemas dos passos 2 e 3, podemos t.J>at.á-los

2: 0). Com relação aos

como variantes: de

min 'l'k <s> s/a 11 s + v Jl • R

I

e de min loo \l<k <s> s/a D s + v 11 • R ]

que :resolvidos

minimizar qua.d.t-át.icas em est'el"as, t.ant.o

a.lgol'it.mos o.Hcient..as: global quant.o loca.hnet:tt..e.

<3.:n

G.Un

o problema do passo 4, onda a int.el'saç.ão das duas Eu;;:fe:r·as

é

uma esi\!!>;r-a da dbnerw.ão n-2, hast..a f'a:zor- uma mudança da VaJ'iáve.ls adequada pa.I'é.l

IRO-i

:rec.aix- no f'orrnat..o (3.2) .achna, com s e .

3.3.1 Minimiz.adores globais da quadrát.ioas am e-sí'e-Pas

Vamos analisax- o pr-oblema <3.2>, qu& 6 equivalent-e a

I

mdn

~k(s)

s/a

<

s +v >L< s +v ) a R2 {3.2.:1) Subst.it.u!mos a resolução de (3.2.1) pela det-BI"minaç.ão da direção s e do mult.iplicador- 1-1 que zerem o gradient.a do Lagrangom10 .associado a (3.2.1). Dast.a .for-ma, quer-emos encont.rar s E IR0 a 1.1 € tR

t.-ais

qua-[ 'VL • Bks + gk + p ( s + v ) ... O] (3.2.2)

Bk<z

-

v>

+ g + IJ z •

o

...

<B

+ i'

Dz

a

n,

_v

-

_~:,

k k

..

_I

z •

<B,

+

i' l>+

_<llk

v

-

~:,>]

(3.2A>

onde

+

indica a pseudo-inversa de Moore-Penrose,

Sendo

a,

wna ma:triz simét..rica, t.omemos sua decomposição

aspect.:r-al <3.2.5), onde Qk

Q~

e

•

diag com ~ Àn • Na not.ação

Substituindo <3.2.5) em <3.2.4) :

z

-..

t { Qk l)k Qk +

z •

f Q.k: <Dk i:' !J Q,

Q~

) + ( Qk l)k

Q~

v -

gk ) i' I )

Q~

J+ <Q,

o,

Q~

v -

gk ) v -Chamando

Q~

v • uj

<3.2.7)

e

{3.2.9:)

<

D u - c k (3.2.6) (3.2.9)

Tomemos o quadrado da norma euclidiana de z, que estabelece

a :função 'P : IR -+ IR+ :

C:L2.:10)

Dest.a forma, a resolução do sist.ama não linear- ($.2.2) x•eca.i

l 16 J~ se p ~ - Ài~ ent.ão a direção z • s + v C:Ol"l"espondent.o

ó

um

um;;;.

única solução <3.2.9) para J.J. E [ - .i\.t, ro.> e nest.e caso, J.J

>

f'

<-

(3.2.9)

pal"a 1J • - Àt., pat"& t.oda direção z t.al que ~ z 11 • R e z pe.t>t.e<nça à

vaJ>iedade linear

v -

y •

<

a - x.

1

>+

k

dlm:t

}

'

onde d~mt

ét

a dimensão de S . Est.e caso

é

conhecido como "'ha:r·d-case''~

'

devido

à

não t.:rivialldade comput..acional envolvida e aa:r-á t.:r-at.a.do com

dat.alhes na seção 3.4 da-st.e capít.ulo.

Uma out.:ra maneir-a de esc:t'eVel" a .t'Wlçào 1p (j.ü, que

sua es:t..rut.ura. racional

é:

(

À~ui.-ci.

Ài. + /J

onde I • { i. E { 1, ... , n

> ..

ci. .,t Ãl. ui. } ,

u~

• qi. 1v

Temos ent.ã.o que:

P

)><J.J> • -

2

E

i. .si ( ' . "-'"' UI. -. C.:t. . )2 6

E

iel (À i. ui. - c\. )2 {Ài. + J.J). ressalt.a (3.2.12) (3.2.13) (3.2.14) Usando-se (3.2.5), (3.2.12)-(3.2.14), est..abelece-se

t"acilment.a as seguintes p:r-oprieda.des para '{> CIJ), coruorme apx-e:s:•'*nt.a

Mart.fnez [ 11 l: t..odo p e ( a ) Se-j.a O • 00 CJ e f' E C (CJ). IR -

<-

E I

convexa em qualquer intervalo cont.ido em O.

(o) Se i. G I,. ou seja.,. para i. t..al que Hm _f'

<,>

-"'

; lim + , ' ( p ) • _-oo

..

_Um

"

' ( p ) w

"'

I' -t -Xi. _I' ... -}>,.\. _{I' ... -i\}

i

(d) lim f' (IJ)

•

Um f' (IJ)

-

o

~-~~ 00 ~-~~ -oo

Devido aos pólos que _f' (") apresent.a.

""

COXijUnt..t)

( -Ãi.~ i. E I }₁ Reinscch [ 20 l e llebdan [ 71 sugerem quo- a.o invé-H de resolver a equação (3.2.11), utHize-se-

I-Ri7) •

-E}

(3.2.15), onde

Reinsch es~abaleceu as seguin~es p~opriedadas para

<a>

1 est.á bem deflnida pax-a t.odo f..J e !R

i(i7j

(b) i

é

est~itament.e crescente em [ -A:t..,

"'

₎ if(IJ)

(Q) i • côncava em [ -/...t,. oo )

<i<;:i'5 e

modo compa.I'at.ivo, as propriedades de fi(IJ) e iô(j.Ô 1

"

•r---,

<llliJI

•

•

•

•

2

'

I\_/

_'-

_/

o 2 3 4 C e 7 & 9 I O o 234t~G18U;l0

i·

I

I

_i i ,, 1

Rii> ,

que além poss:ui:r• pÓlos,

t-ende a ser quas:e linear em [ -Ãt, oo ), t.emos

convergência global do mé-t.odo de Newt.on aplicado ~

equaçao (3:.2.15)~

como t.ambém um. desempenho comput..acional bast.ant.e sat.is:f"at..ór-io pa:Pa

e-st.e mét.odo. Usaremos~ port.an:t.o, o seguint..e esquema it.erat..ivo:

1

...

pkH

-

"k

+

[

onde- ili(iJ) •

_E

i..El e

-R - 'HiJk) 'li<iJk) i '"(jUk) R R - li<iJk)

-.:t""T<,k

5

-rT"(J.J->·-k

f]

:f./2

(

Ài. u~ - ci. - À i + j J . -O ... i Ui. - cU2 (Ài. + IJ-)9 (32.16) (3.2.17) <3.2.18)

À medida qu-e ~ (p) se apr-oxima da R, (3.2.16) compol:'t-a-se

como o mét.odo de Newt.on aplicado a i (J.J) • R., com conver-gência local

q-quad:t-át..ica pal'a J.J• <coruorme [ t l, p.136 ). 1

Sendo ~(J...I) uma função côncava em [ -Ãt, oo >~ o pont.o inicial

deve sei" t.al qua

do int.ar-valo [ -t..1, ->.s. + 0.5 ].

1

"""R

Assim, pela resolução

'

de

pode obt.ido

por-(3.2.15) usando-se (3.2.16), uma vez ancont.r.ado o mult.ipllcador J.1 correspondent.e-

à

solução global, volt..amos a (3.2.9)

8 . . Qk ({)k + J) D+ ( Dk u - c ) - v

I

com u e

c

dados por <3.2.7) e (3.2.S)t respect..ivament.e.

Vamos agora o problema (3.3), onde quei>emos

encontr-ar minimiza.dol" local global. [ _J

t.eoria para resolver est.e t.ipo de problema, que !"es:umiremos no que se

segue.

Pela mudança de va.:r-iáveis (3.2.3), o problema (3.3) pode sei' :r-eescrit..o da modo equivalent..a como:

L

-nú---n--lo_c

__

w

__

,<_z

__

) __

• __

g_~

__

(_z ____ :_.)

__

+

____

2

___

<_z __ -__

"_>_'. __

B_k __

(_z __ -__ v;;]

s/a .zt.z • n:.

J

(3.3.1) Segundo

"'

t.aoria clássica dos mult.iplicadoi•es de Lat;l"r~ng;e.~

•

' minimizado r- local de (3.3.1), ent.ão se z

"

um

[

Bk<z -v)

..

+ (t + J.JZ

•

•

o

]

k H z

•

H

-

n•

[

(

•

]

'".

+ 1-1 I ) z

•

_Bk

"

-

_gk

..

_•

para algwn p E !.R (3.3.2) 11

z

11

•

n•

Marot.ínez C.a.J'act.eriza as soluções de (3.3.1) nos seguint-es result.ados:

Teorema 3.1

"Se um minimizador- local de ($.3.:1>, ont..ão <3.3.2) vale

Te-o.l'ema 3.2

exist..am minimizadores locais para <3.3.1> com p e [->-..2, -Alll."

(\.\.) "Exist..e no máximo um minim:izador .local par-a (3.:3.1) com

f.J E (-À.2, -Ã.ü. Para

.,:;'<p)

~

o:·

est.e minimizadol", 9 est.á bem definida

(ii.i) "Se (3.3.2) com

~

.

'

f'l(p)

>

O, ent..ao z e um minimizador local est.:rit.o para (3.3.1)."

Cabe obse:r-var que se À2 • Àt, a t.eol'ia de Mo:ré - Sore.r.tsen e

tlay

'

aliada ao

t.eorema

3.2

de

Mart.ínez most.l"a que

não

minimizador-es locais par-a (3.3.1}. lst.o just.i:fica a de

dimensão um para s~ f"eit.a no t.eorerna 3.2.

O ~o ri t.rno IV a se"uir, para calcula:r o min.imizador local

global do pr-oblema. (3.3.1) foi int.:roduz::ldo por- Mart.Ínoz [ 1 :t 1. PressupÕe o conheciment-o de (zg 1 J.-1g)1 solução global de

<S.s.:n

Se

J.l.9 • -Ã.:t1 ist.o

é,

se Bk

+

~Jg 1

é

singular-, ent.ão i\:t u:t • c1 e pelo

t.eo:r-e-ma 3.2 sabemos que não exist.em m.lnimizado:r-es locais n.?io globais par-a (3.3.1. Podemos ent.ão .assum.iz. que J.ig

>

-Àll. Est.e algorH.mo compl'eende duas Cases, Na primeira busca-se J..l

-3~3.2.1 Algo:r-it.mo IV

f'ase i:

<Bk

+

p

I

I

;:

'

I

D Calcular p (J.Jk) _e f' P(p ) _{k •} 2) _{Se 'P <pk) ~} Rz

"

'P .O(JJ!,? ~

o

3) _Escolhe-I"'

_j1

_E

[

_pk

₊

0'1

<p"'

-k 4) _{Se EJk +}

_í1

_I

"'

o

<Le. _J.l

-ent...ão

det'inir J.Jk+t.

-y f.Jk+t

--

definir-senao J.ik+S

-y j.Jk +-1

•

6) k • k + 1 , ir par-a 1 f"as:e 2: t O) J.lk - ~-'k-t 2) Calcular Se

_JJ,

n

-<

_J.lk L

_'

pN>ar :;:: -Xü J.lk

i1

-J.l y J.lk , t'im da f'ase 1

>V

, /Jlt. + 0'2 (

_JJ,

u

-

>V ]

Escolher

íJ

E

[

t

₊

_{O'f. (#Jk} l l _{+ 0'2 (pk -}

f..l~)]

3) J.lk

-

,.,

_k )

'

,.,,

4) Se f'

<j]>

2:: R2 e 'P

'(j.i)

~

o

Etht..Õ.o da:finir

-J.lk+i

-

J.l t t J.lk:H,

-

,.,,

-

det'inir senao J..!k+t

-'"'•

t

-~-'ku

-

,.,

6) k • k + 1 ,. il'> p8%'& 1