Problema de M´ınimos Quadrados sem Restri¸c˜ oes

Segundo [43] os problemas de m´ınimos quadrados não lineares são uma classe de problemas de otimiza¸cão sem restri¸cões que mais surgem nas aplica¸cões. O problema de m´ınimos quadrados sem restri¸cões é formulado da seguinte forma

min x∈Rnf (x) = 1 2kr(x)k 2 2 = 1 2 m X i=1 ri(x)2, (2.5)

onde, m > n, x = [x1 x2· · · xn]T e r : Rn → Rm ´e chamada fun¸c˜ao residual. Nesses tipos

de problemas, o objetivo ´e minimizar a norma Euclidiana da fun¸c˜ao

r : D ⊂ Rn → Rm (2.6) x =      x1 x2 .. . xn      →      r1(x) r2(x) .. . rm(x)      = r(x) ,

sendo r(x) = φ(x, t) − y uma fun¸cão não linear nos parâmetros x1, x2, . . . , xn, pelo facto da

fun¸cão de ajuste φ(x, t) ser não linear nesses mesmos parâmetros. Os dados experimentais são os pares ordenados (ti, yi), i = 1(1)m.

2.3.1 Existˆencia da solu¸c˜ao de m´ınimos quadrados

Será o Problema (2.5) poss´ıvel? Ou seja, a fun¸cão f (x) admite um m´ınimo global? Abordaremos agora esta questão. Poderemos come¸car por observar que em qualquer caso a fun¸cão f é não negativa: f (x) = 1 2 m X i=1 [ri(x)] 2 ≥ 0. (2.7)

Assim, se existir um ponto ˘_{x ∈ R}n de ajuste perfeito aos dados, ou seja se: ri(x) = φ(˘x, ti) − yi = 0, i = 1, 2, . . . , m

então f (˘x) = 0 e é óbvio que ˘x é um minimizante global de f . Neste caso de ajuste perfeito (φ(x, ti) = yi, i = 1(1)m), o Problema (2.5) tem solu¸cão.

Por outro lado, mesmo que não haja ajuste perfeito já foi demonstrado no cap´ıtulo anterior que se φ(x) for linear nos parâmetros então a solu¸cão dos m´ınimos quadrados existe sempre (ver Apêndice A).

O resultado mais básico acerca da existência de optimizadores é o seguinte Teorema dos valores extremos de Bolzano-Weierstrass:

Teorema 2.3 (Bolzano-Weierstrass) Seja f : D −→ R uma fun¸cão cont´ınua definida num dom´ınio D ⊂ R compacto (e.g. limitado, fechado e não vazio). Então, a fun¸cão atinge em D o seu valor m´ınimo, ou seja

∃ x∗ ∈ D : f (x∗) ≤ f (x) para todo o x ∈ D.

Duas provas deste teorema podem ser encontradas em [30][pag. 33]. Este teorema restringe a sua aplica¸cão a fun¸cões cont´ınuas definidas em compactos. Na verdade, normalmente as fun¸cões de ajuste φ(x, t) são cont´ınuas o que implica que a fun¸cão f no Problema (2.5) seja cont´ınua. Contudo, nos problemas de m´ınimos quadrados sem restri¸cões o conjunto de solu¸c˜_{oes admiss´ıveis D coincide com R}n e, portanto, não é um compacto1. Assim, a existência de minimizante global não se pode provar usando o Teorema de Bolzano- Weierstrass.

Note-se que pela propriedade (2.7) a fun¸cão f é limitada inferiormente pelo que existe o ´ınfimo If não negativo de f em Rn, ou seja, existe um valor real If que é o maior dos

minorantes de f :

If = inf

x∈Rnf (x) ≥ 0. (2.8)

No entanto, pode ou n˜ao existir um ponto x∗ tal que f (x∗) = If. Caso exista, ent˜ao a

fun¸c˜_{ao f atinge m´ınimo global em R}n sendo esse m´ınimo global o valor If e o minimizante

1 _{Por vezes, nas aplica¸}_c˜_{oes, pode conseguir-se provar que os parˆ}_{ametros x}

i, i = 1(1)m n˜ao podem estar

fora de intervalos [ai, bi] ⊂ R. Por exemplo, pode n˜ao fazer sentido que os parˆametros xi sejam negativos

ou então que sejam superiores a 1000. Nesse caso, o conjunto das solu¸cões admiss´ıveis será compacto mas o problema de m´ınimos quadrados tem restri¸cões (box constraints). A existência de restri¸cões no problema está fora do âmbito desta disserta¸cão.

e o ponto x∗. Neste caso diz-se que o m´ınimo foi atingido. Por estas razões, a questão da existência da solu¸cão dos m´ınimos quadrados é muitas vezes designada por atingibilidade do m´ınimo.

Veremos agora que há casos em que é poss´ıvel provar a existência de minimizantes globais mesmo que o conjunto das solu¸cões admiss´ıveis não seja compacto.

Teorema 2.4 Seja f : S −→ R uma fun¸c˜ao cont´ınua definida num dom´ınio S j R. Se f tiver um qualquer conjunto de n´ıvel Nα(f ) = {x ∈ S : f (x) ≤ α} compacto (limitado,

fechado e n˜ao vazio), ent˜ao f atinge o seu m´ınimo global em S.

A prova deste teorema tamb´em pode ser encontrada em [30][pag. 33]. Assim, a prova de que f atinge m´ınimo pode consistir em provar que existe um qualquer valor real α tal que o conjunto de n´ıvel Nα(f ) = {x ∈ S : f (x) ≤ α} seja um conjunto fechado, limitado e n˜ao

vazio de Rn_.

Defini¸c˜ao 2.6 (Fun¸c˜ao Coerciva) Uma fun¸c˜_{ao f : R}n _{−→ R diz-se coerciva se for}

cont´ınua e se

f (x) −→ +∞ quando kxk −→ +∞, onde k·k denota qualquer norma definida em Rn.

Para aclarar o conceito de fun¸cão coerciva acrescentaremos que uma fun¸cão cont´ınua f : Rn −→ R é coerciva se para todo o M > 0, existe r > 0 tal que f(x) > M para todo o x que cumpra kxk > r. Para provar que uma fun¸cão é coerciva não basta provar que f tende para +∞ ao longo de todos os eixos coordenados. Com efeito, uma fun¸cão coerciva terá de crescer ilimitadamente por qualquer caminho que se estenda até +∞. Logo, se conseguirmos provar que f ´_{e limitada superiormente num certo caminho de R}n _quando

kxk → +∞ então provamos que f não é coerciva.

As fun¸c˜oes coercivas atingem sempre o seu m´ınimo global. Na verdade, pode provar- se [30][pag. 34] que todos os conjuntos de n´ıvel Nα(f ) = {x ∈ S : f (x) ≤ α} s˜ao limitados

e fechados. Esta constata¸c˜ao conjugada com o Teorema 2.4 leva ao resultado seguinte. Corol´ario 2.1 Uma fun¸c˜_{ao coerciva f : R}n _{−→ R atinge o seu m´ınimo global em R}n.

Com este enquadramento, voltamos à questão da existência de solu¸cão para o Problema (2.5) de m´ınimos quadrados sem restri¸cões. Fixada uma fun¸cão de ajuste φ(x, t) e uma tabela de dados (ti, yi), i = 1(1)m poder´ıamos tentar provar que a fun¸cão é coerciva ou

ent˜ao aplicar o Teorema 2.4.

Investiga¸cões recentes de E. Demidenko [12, 13], de D. Jukiˇc [8, 9, 10, 7] e de outros autores [14] mostram que mesmo para fun¸cões de ajuste simples há conjuntos de dados para os quais não há solu¸cão de m´ınimos quadrados. Convém frisar que a investiga¸cão se tem dirigido para fun¸cões de ajuste muito usadas na prática (curvas exponenciais [14], curvas Gaussianas [10], curvas log´ısticas [7]), procurando condi¸cões necessárias e/ou suficientes que garantam a existência de solu¸cão de m´ınimos quadrados. Como já foi dito, tudo depende da tabela de dados experimentais e das suas propriedades.

A investiga¸cão teórica acerca da atingibilidade do m´ınimo nos problemas de m´ınimos quadrados está fora do âmbito deste trabalho. Contudo, é importante referir que o assunto ´

e uma área de investiga¸cão ainda fértil. No entanto, alertamos para a possibilidade de não existir minimizante global para estes problemas.

2.3.2 Unicidade da solu¸c˜ao de m´ınimos quadrados

Após provar que a solu¸cão existe levanta-se imediatamente a questão da unicidade da solu¸cão. Não se trata da existência de múltiplos m´ınimos locais (que será tratado adiante), trata-se da existência de minimizantes globais distintos. É fácil de provar que isso pode acontecer numa multiplicidade de situa¸cões tais como:

No caso linear n˜ao polinomial quando o sistema normal ´e indeterminado (ver Exemplo 1.7).

Um dos parˆametros xi surge como base de uma potˆencia de expoente dois ou mais.

Por exemplo, quando procuramos o ajuste de uma tabela de dados a uma curva de Lorentz:

φ(x, t) = x1 1 +x2−t

x3 2 .

Se existir uma solu¸cão de m´ınimos quadrados x∗ = [x∗₁, x₂∗, x∗₃]> então terá de existir outra solu¸cão ótima distinta x∗∗ = [x∗₁, x∗₂, −x∗₃]>. Ou seja, podemos trocar o sinal ao parâmetro x∗₃ que a fun¸cão φ mantem o valor. Logo a fun¸cão f do problema (2.5) também manterá o valor.

Dois parâmetros podem ser trocados sem que o valor de φ se altere. Um caso simples é quando a expressão anal´ıtica que define φ envolve o produto de dois parâmetros, pois, por exemplo, x1x2 é igual a x2x1.

Um dos parâmetros surge como argumento de uma fun¸cão trigonométrica periódica. ´

E claro que, por exemplo, sin(x1) ter´a o mesmo valor de sin(x1+ 2nπ) com n ∈ Z.

Outras situa¸cões podem ocorrer por forma que existam múltiplos minimizantes globais. Note-se que sempre que isso acontece a fun¸cão objectivo f não é estritamente convexa. Esta observa¸cão conduz ao tópico seguinte.

2.3.3 Existˆencia de m´ultiplos minimizantes locais distintos

Como vimos podem existir múltiplos minimizantes globais distintos. Na verdade, a fun¸cão f pode não ser convexa. Sem convexidade podem ocorrer múltiplos minimizantes locais o que leva a classificar o Problema (2.5) de m´ınimos quadrados sem restri¸cões como um problema de optimiza¸cão global.

Vejamos agora que a fun¸c˜ao f pode ser convexa ou n˜ao convexa dependendo do problema.

Considerando que r(x) é duas vezes continuamente diferenciável, podemos determinar a matriz das primeiras derivadas de r(x) que é chamada matriz Jacobiana e é representada por J (x). Assim temos que J (x) ∈ Rm×n_{, isto ´}_e,

J (x) =       ∂r1(x) ∂x1 ∂r1(x) ∂x2 · · · ∂r1(x) ∂xn ∂r2(x) ∂x1 ∂r2(x) ∂x2 · · · ∂r2(x) ∂xn .. . ... . .. ... ∂rm(x) ∂x1 ∂rm(x) ∂x2 · · · ∂rm(x) ∂xn       . (2.9)

O gradiente da fun¸c˜ao objetivo f (x) ´e dado por: ∇f (x) =

i=1

ri(x)∇ri(x) = J (x)Tr(x) (2.10)

e a matriz Hessiana de f (x) ´e dada por ∇2f (x) = m X i=0 [∇ri(x)∇ri(x)T + ri(x)∇2ri(x)] = m X i=0 ∇ri(x)∇ri(x)T + m X i=0 ri(x)∇2ri(x) = J (x)TJ (x) + S(x), (2.11) em que S(x) = m X i=0 ri(x)∇2ri(x). (2.12)

Na express˜ao (2.11), o termo J (x)T_{J (x) representa sempre uma matriz definida positiva}2

desde que J tenha caracter´ıstica n. Se o problema de m´ınimos quadrados (2.5) fosse linear todas as Hessianas ∇2_r

i(x) = 0 e ent˜ao S(x) = 0 na express˜ao (2.12). Neste caso particular,

∇2_{f (x) ´}_{e definida positiva e ent˜}_{ao f ´}_{e uma fun¸c˜}_{ao convexa em R}n_.

No caso em que f é não linear, pode muito bem acontecer que alguns ou todos os termos ri(x)∇2ri(x) contribuam contra a convexidade. Como já vimos isso pode levar a

que a fun¸cão não seja convexa e ocorram múltiplos minimizantes locais e até múltiplos minimizantes globais.

Na literatura surgem estudos [12] que provam a existência de múltiplos minimizantes locais na optimiza¸cão de m´ınimos quadrados. Como os algoritmos podem parar em m´ınimos locais, corre-se o risco de supor como global um minimizante que apenas é local. Partir de várias aproxima¸cões iniciais e usar vários métodos aumenta o grau de certeza de que a solu¸cão encontrada possa ser mesmo um minimizante global. Este dilema é bem conhecido na prática. Contudo, come¸cam a surgir critérios seguros [13] para estabelecer que um certo minimizante é mesmo global.

Dada uma qualquer matriz J ∈ Rm×n _{com caracter´ıstica n, por colunas, a matriz B = J}T_{J ´}_{e sempre}

No documento Otimização não linear de mínimos quadrados (páginas 58-63)