Regress˜ ao n˜ ao Linear - Otimização não linear de mínimos quadrados

Na se¸cão anterior referimos dois modelos não lineares de ajustes de dados pelo método dos m´ınimos quadrados, e fizemos uma abordagem sobre o modelo com fun¸cões intrinsecamente lineares nos seus parâmetros, onde vimos que mediante técnicas adequadas trans- formamos esses modelos de modo a termos fun¸cões lineares nos parâmetros. Nesta seçcão abordaremos o caso com fun¸cões intrinsecamente não lineares. Nesse tipo de modelos não há nenhuma transforma¸cão finita exata através da qual possamos exprimir o modelo de uma forma linear em rela¸cão aos seus parâmetros, isto é, não é poss´ıvel escrever o modelo na forma de (1.20) e consequentemente não é poss´ıvel transformar o problema de m´ınimos quadrados na resolu¸cão de um sistema de equa¸cões lineares. São exemplos de modelos intrinsecamente não lineares nos parâmetros:

g(x; a0, a1) = a0(1 − e−a1x),

v(t; α, β) = e−αt+ β sin t,

h(x; a0, a1, a2) = a0sin x + cos(a1x) + e−a2x,

etc.

O modelo de regress˜ao n˜ao linear para ajuste de dados assume a forma:

y = f (X, a) (1.30) Em que y =      y0 y1 .. . ym     

designa um vetor (m+1)×1 de observa¸c˜oes, X =      x01 x02 · · · x0k x11 x12 · · · x1k .. . ... · · · ... xm1 xm2 · · · xmk      ´

e uma matriz (m+1)×k dos m+1 valores exatos das k vari´aveis independentes, a =      a0 a1 .. . an      ´e

um vetor (n + 1) × 1 dos parâmetros e f é uma fun¸cão não linear em rela¸cão aos parâmetros a0, a1, · · · , an.

A soma da m´edia dos erros quadr´aticos entre os dados e o modelo pode ser expressa por: = m X i=0 (yi− f (xi1, xi2, . . . , xik; a0, a1, . . . , an))2. (1.31)

Considerando m > n, podemos definir a fun¸c˜_{ao S : R}n+1 _{−→ R por}

S(a0, a1, a2, . . . , an) = m

i=0

O nosso objetivo ´e determinar os parˆametros a0, a1, · · · , an que minimizam (1.32). A

solu¸c˜ao ´otima a∗ = [a∗₀, a∗₁, . . . , a∗_n]T _{ajusta os dados experimentais no sentido dos m´ınimos}

quadrados. A condi¸c˜ao necess´aria para que a∗ = [a∗₀, a∗₁, . . . , a∗_n]T _{seja minimizante de S ´}_e

termos as derivadas parciais de S em rela¸c˜ao a cada um dos parˆametros a0, a1, . . . , an iguais

a zero. Com isso formamos um sistema de equa¸cões normais não linear nos parâmetros a0, a1, . . . , an. A solu¸cão do sistema é um ponto estacionário da fun¸cão S que pode não ser

um m´ınimo. Convém real¸car que não existem métodos diretos para o ajuste de fun¸cões pelo método dos m´ınimos quadrados não lineares, sendo a solu¸cão obtida por métodos iterativos. Nos cap´ıtulos seguintes abordaremos os métodos iterativos para o ajuste não linear dos m´ınimos quadrados.

A seguir mostraremos alguns exemplos desse tipo de problemas.

Exemplo 1.10 No estudo laboratorial de um fen´omeno, uma certa grandeza f´ısica y(t) va- ria no tempo. Prevendo-se que siga uma lei dada pela express˜ao anal´ıtica: ypredicted(k1, k2, t) =

k1−k2 e

−k2t_{− e}−k1t, sendo k

1 e k2 parˆametros reais desconhecidos. No laborat´orio simula-

se o fen´omeno e obtˆem-se os dados experimentais da tabela seguinte: Pontos ti(s) yobserved(ti)

t1 = 0.5 yo1 = 0.263

t2 = 1.0 yo2 = 0.455

t3 = 1.5 yo3 = 0.548

Pretende-se calcular os valores dos parˆametros reais k1 e k2 por minimiza¸c˜ao dos qua-

drados dos desvios: min (k1,k2)∈R = φ(k1, k2) = m X i=1 [yobserved(ti) − ypredicted(k1, k2, ti)] 2 .

Ou seja, pretende-se encontrar os valores ´otimos (k∗₁, k₂∗) dos parˆametros k1 e k2 por forma

a minimizar a fun¸cão φ(k1, k2). Trata-se do critério dos m´ınimos quadrados no caso não

linear (regress˜ao n˜ao linear).

(a) Escreva uma function MATLAB para implementar computacionalmente a fun¸c˜ao φ(k1, k2).

(b) Use o comando fminsearch da Optimization Toolbox do MATLAB para calcular os valores ´otimos k₁∗ e k₂∗.

gr´afico os pontos (ti, yoi), i = 1, 2, 3 da tabela acima.

Resolu¸c˜ao:

(a) Neste caso, a fun¸cão a minimizar, segundo o critério dos m´ınimos quadrados é φ(k1, k2) =

i=1

com yp(k1, k2, t) = _k₁k−k1 2 e

−k2t_{− e}−k1t.

Para implementar computacionalmente a fun¸c˜ao φ(k1, k2) no MATLAB, criamos as

seguintes fun¸c˜oes:

(1) function yp=ypredicted (k1, k2,t) E1=exp(-k1*t); E2=exp(-k2*t); k=k1/(k1-k2); yp=k*(E2-E1); (2) function S=phisum (k) t=[0.5 1.0 1.5]; yo=[0.263 0.455 0.548]; P=(yo-ypredicted(k(1), k(2), t)).^ 2; S=sum(P); (b) Com o comando >> fminsearch(’phisum’,[1 1]), obtivemos k₁∗ ∼= 0.6630 e k₂∗ ∼= 0.1546.

implementamos a seguinte function no MATLAB: function phigraf(a,b,h) t=a:h:b; ti=[0.5 1.0 1.5]; yo=[0.263 0.455 0.548] k=fminsearch(’phisum’,[2 2]); yp=ypredicted(k(1), k(2), t); plot(t,yp); hold on plot(ti,yo,’or’) figure(gcf)

Agora com o comando phigraf(0,3,0.001), obtivemos o gr´afico da Figura 1.5.

No Cap´ıtulo 3 vamos abordar m´etodos de minimiza¸c˜ao para resolver este tipo de problemas.

Figura 1.5: Ilustra¸c˜ao gr´afica do Exemplo 1.10.

Exemplo 1.11 Num circuito eletrónico a tensão elétrica de sa´ıda é mostrada a intervalos de 0.5 segundos, obtendo-se a tabela

ti 0 0.5 1 1.5 2 2.5 3

vi 1.0950 −0.1569 −1.0157 −1.4740 −1.3616 −0.8342 −0.0135

. Tabela 1.8:

Sabemos que a tens˜ao ser´a da forma

v(t) = e−αt+ β sin t onde α e β s˜ao valores desconhecidos.

(a) Formular o problema de minimiza¸c˜ao que permite determinar α e β por forma a obter um melhor ajuste de v(t) aos dados da tabela no sentido dos m´ınimos quadrados. (b) Encontrar o sistema de estacionariedade (sistema de equa¸c˜oes normais).

(a) Como pretendemos aplicar o método dos m´ınimos quadrados, devemos então minimizar a soma dos erros quadráticos, isto é, devemos ter

min (α,β)∈R2E(α, β) = 7 X i=1 vi− e−αti− β sin(ti) 2 .

(b) Os valores de α e β que minimizam E(α, β), encontram-se entre os que anulam o gradiente da referida fun¸c˜ao.

∇E(α, β) = ∂E ∂α(α, β) ∂E ∂β(α, β) ⇒ ∇E(α, β) = 2P7 i=1[(vi− e−αti − β sin(ti))(tie−αti)] 2P7

i=1[(vi− e−αti − β sin(ti))(− sin(ti))]

O sistema de estacionariedade ´e ∇E(α, β) = 0 0

. Fazendo x ←− α e y ←− β, passamos a ter o sistema de equa¸c˜oes:

( f (x, y) =P7 j=1[(vj − e −xtj− y sin(t j))(tje−xtj)] = 0 g(x, y) =P7 j=1[(vj− e −xtj − y sin(t j))(− sin(tj))] = 0 .

Trata-se de um sistema de equa¸cões não lineares cuja resolu¸cão abordaremos no Cap´ıtulo 3.

Propomos agora a resolu¸c˜ao desse sistema atrav´es do comando fsolve do MATLAB. Assim, criamos a seguinte function:

function F=dcircuit(x) ti=0:0.5:3; Vi=[1.0950 -0.1569 -1.0157 -1.4740 -1.3616 -0.8342 -0.0135]; phi=exp(-x(1)*ti)+x(2)*sin(ti); df=sum((Vi-phi).*(ti.*exp(-x(1)*ti))); dg=sum((Vi-phi).*(-sin(ti))); F=[df dg]’; end

Agora, utilizando o comando: >> [x F]=fsolve(’dcircuit’,[0 0]’), obtemos x =

0.4295 -1.9842 F =

1.0e-006 * -0.1559 0.0639

Sendo assim, temos α ∼= 0.4295 e β ∼= −1.9842. Portanto, o modelo que melhor se ajusta aos dados da Tabela 1.8 em termos de m´ınimos quadrados ´e

Algoritmos de Otimiza¸c˜ao sem

Restri¸c˜oes

2.1 Otimiza¸cão não Linear sem Restri¸cões

A procura de melhores condi¸cões de vida tem acompanhado os seres humanos desde os primórdios. Por isso os homens andam sempre à procura de solu¸cões para os seus problemas, ou seja, o homem procura sempre otimizar a sua vida. O processo de procurar o melhor (otimizar) não acontece apenas com o homem mas sim com os animais e com a própria natureza. Em [29, pag. 1] apresentam-se diversos exemplos de necessidade de otimiza¸cão de entre os quais, as empresas que procuram maximizar a eficiência na concep¸cão e opera¸cão da sua produ¸cão e consequentemente maximizar o lucro, os raios de luz que seguem o caminho que minimiza o tempo de trajeto entre dois pontos, etc. Deste modo torna-se imperioso conhecer ferramentas que nos permite encontrar solu¸cões ótimas para os nossos problemas. Matematicamente otimizar significa encontrar uma solu¸cão ou um conjunto de solu¸cões que minimizam ou maximizam uma fun¸cão, considerando certas restri¸cões em rela¸cão às variáveis. Sempre que se refere a otimiza¸cão vêm a tona os seguintes conceitos:

Fun¸c˜ao Objetivo → fun¸c˜ao f : Rn_{→ R que pretendemos minimizar ou maximizar.}

Variáveis de Decisão → são as variáveis independentes da fun¸cão objetivo. Restri¸cões → são condi¸cões impostas sobre as variáveis independentes. As restri¸cões

podem ser de igualdade ou desigualdade.

2.1.1 Forma Geral de um Problema de Otimiza¸c˜ao n˜ao Linear

Um problema de otimiza¸c˜ao pode ser formulado do seguinte modo:

min x∈Rnf (x) sujeito a ( ci(x) = 0, i = 1, 2, . . . k ci(x) ≥ 0, i = k + 1, k + 2, . . . , m , (2.1)

onde f é a fun¸cão objetivo, x = [x1, x2, . . . , xn]T é um vetor de Rn representando as n

variáveis independentes do problema, as equa¸cões ci(x) = 0 representam as k restri¸cões de

igualdade e as inequa¸c˜oes ci(x) ≥ 0 as m − k restri¸c˜oes de desigualdade.

Em muitas situa¸cões somos confrontados com problemas de maximiza¸cão e não problemas de minimiza¸cão. Mas acontece que maximizar f (x) = −minimizar [−f (x)], sendo o valor de x que maximiza f (x) o mesmo que minimiza −f (x). Assim, a formula¸cão apresentada em (2.1) é válida também para problemas de maximiza¸cão.

2.1.2 Otimiza¸c˜ao sem Restri¸c˜oes

O Problema de Otimiza¸cão sem restri¸cões é formulado do seguinte modo: Dado f : Rn−→ R, encontre min

x∈Rnf (x), (2.2)

isto ´e, a procura de extremos de f n˜_{ao se restringe a nenhum subconjunto de R}n_.

Segundo [33, pag. 301], raramente encontramos um problema de otimiza¸cão que não apresente restri¸cões. Sendo assim, questionamos porque estudar métodos de otimiza¸cão sem restri¸cões? A resposta é dada por [33] apresentando várias razões de entre as quais:

1° As restri¸cões podem não ter influências significativas em certos tipos de problemas; 2° Alguns dos métodos poderosos e robustos de resolu¸cão de problemas de minimiza¸cão

com restri¸cões requerem a utiliza¸cão de técnicas de minimiza¸cão sem restri¸cões. 3° O estudo das técnicas de minimiza¸cão sem restri¸cões proporcionam uma compreensão

básica necessária para o estudo de métodos de minimiza¸cão com restri¸cões.

Grande parte dos problemas sem restri¸cões são ajustes de m´ınimos quadrados (curve fitting) ou estão associados à resolu¸cão de sistemas não lineares de equa¸cões.

No documento Otimização não linear de mínimos quadrados (páginas 46-54)