3.2 Sistemas não-lineares
3.2.3 Método de Newton
Método muito conhecido na sua aplicação unidimensional. Para x ∈ R:
xk+1= xk− f(xk) f0(x
k) Em problemas multidimensionais (x ∈ Rn):
Expansão em série de Taylor: f(xk+ h) = f (xk) + ∇f (xk)T | {z } JT k ·h + · · · = 0 (3.2) JkT≡Jacobiano do sistema.
Resolvendo (3.2) em ordem a h resulta o método iterativo de Newton:
JkT·hk= −fk (3.3)
Depois faz-se
xk+1= xk+ hk (3.4)
Nesta equação fk ≡f(xk).
Consequentemente torna-se necessário resolver um sistema de equações lineares por iteração no método de Newton (A · x = b).
Este método iterativo pára quando khkk ≤ ϵ1e kfkk ≤ ϵ2. Em geral é necessário usar vários destes critérios simultaneamente.
Revisão de operadores diferenciais: Considerando uma função escalar ϕ( · ) ∈ R e uma função vectorial f ∈ Rné possível definir as suas derivadas de 1a
¯ordem
forma semelhante, usando operadores diferenciais apropriados: • Gradiente: ∇ϕ= ∂ ∂x1 ∂ ∂x2 .. . ∂ ∂xn ϕ= ∂ϕ ∂x1 ∂ϕ ∂x2 .. . ∂ϕ ∂xn ∈ Rn (3.5)
• Jacobiano: J ≡ ∇fT= ∂ ∂x1 ∂ ∂x2 .. . ∂ ∂xn f1 f2 · · · fn = ∂f1 ∂x1 ∂x∂f12 · · · ∂x∂f1n ∂f2 ∂x1 ∂x∂f22 · · · ∂x∂f2n .. . ... . .. ... ∂fn ∂x1 ∂fn ∂x2 · · · ∂fn ∂xn ∈ Rn×n
Aplicável a funções vectoriais, origina uma matriz.
Uma descrição mais detalhada do método de Newton para sistemas de equações pode ser encontrada emOliveira(2006).
Convergência do método de Newton:
Tal como nos métodos de substituições sucessivas com a fórmula iterativa gené- rica xk+1= д(xk), para avaliarmos a utilidade prática do método de Newton (3.3), necessitamos de caracterizar as suas propriedades de convergência.
• Rapidez (propriedades locais): convergência quadrática (bastante rápida) — mais detalhes emOliveira(2006):
kx∗− xk+1k kx∗−x kk2 ≤c Por exemplo: ek = kx∗−xkk = 10−2 ek+1= 10−4 ek+2= 10−8 ek+3= 10−16, etc.
ciais que podem ser usadas com sucesso?
Na análise das propriedades globais é conveniente construir uma analogia entre solução de sistemasde equações e optimização sem restrições através dos 2 proble- mas semelhantes: f(x) = 0 e minx ϕ(x) =12fT(x).f (x) = 12X x fi2(x) Ilustração unidimensional (1D): f(x) = 0 minx 12X x fi2(x)
Nas notas manuscritas mostra-se que no método de Newton dado pela equa- ção (3.3), hké sempre uma direcção de descida garantida para ϕ(x) anterior. Isto permite assegurar a convergência global do método de Newton, desde que o passo dado nesta direcção não seja demasiado grande!
Para isso é conveniente modificar a equação (3.4) adaptando o tamanho do passo a usar
xk+1= xk+ αhk (3.6)
onde α ∈ R é um parâmetro ajustável, que tem que ser escolhido (adaptado) durante a aplicação do método iterativo.
A equação (3.6) define também uma estratégia para solução de problemas de optimização, partilhada por muitos métodos numéricos:
1. Escolher a direcção de pesquisa a investigar (hkou dk), específica do método usado.
2. Escolher o tamanho do passo α apropriado nesta direcção.
Nota:Em alternativa é possível pensar na aplicação dos passos anteriores em ordem inversa: fixar 1o
¯o tamanho do passo apropriado (olhando por exemplo,
para o progresso conseguido nas últimas iterações), e escolhendo depois a di- recção mais apropriada. Esta estratégia é usada por exemplo nos métodos de regiões de confiança(descrito mais à frente).
O procedimento anterior torna bastante importante a fase de pesquisa linear como componente (comum) da aplicação de métodos iterativos:
Mesmo com x ∈ Rneste passo é sempre uma pesquisa linear! O passo apropriado (α) deve ser escolhido tendo em conta:
• A maior rapidez de convergência do método. Por exemplo, no caso do método de Newton deve ser usado α = 1, sempre que possível.
• A garantia da propriedade de descida de ϕ(x).
• Este passo não conduz à localização exacta do óptimo de ϕ(x). Por outro lado, qualquer novo ponto de ϕ(x) investigado ao longo desta linha requer uma nova avaliação da função objectivo, o que pode ser pesado. Desta forma são habitualmente privilegiados métodos de pesquisa linear inexacta: o mínimo de ϕ(x) na direcção dknão é localizado; apenas são excluídas as
regiões sombreadas na Figura anterior (gamas de α perigosas).
Escolha do passo mais apropriado: pesquisa linear inexacta (Armijo, 1966) — mais detalhes nas folhas manuscritas:
1. Propor inicialmente α = 1 (valor máximo usual). 2. Avaliar ϕ(xk+ αdk).
3. Se progresso suficiente, i.e.
ϕ(xk+ αdk) suficientemente menor que ϕ(xk)
aceitar α, e terminar a pesquisa.
4. Caso contrário, propor um novo valor de α por interpolação quadrática / cúbica de ϕ, usando os valores já conhecidos (anteriores) de ϕ(xk+ αdk), e voltar ao passo2.
Considerando Φ(α) ≡ ϕ(xk+ αdk) os valores anteriores da função que podem ser usados para interpolação são:
Ψ(0) → ϕ(xk) Ψ(1) → ϕ(xk+ dk) Ψ0
(0) → derivada direccional de ϕ(x) na origem. ...o último valor de Ψ(α), a partir da 2a
¯iteração.
Algoritmo do Método de Newton globalizante: 1. Fixar x0.
2. Avaliar fk≡f(xk), Jk.
3. Resolver JT
khk= −fk, obtendo dNewt,k ≡hk. Se dNewt,knão estiver definida, modificar o sistema linear anterior, e obter a solução deste.
4. Encontrar αkapropriado através de uma pesquisa linear inexacta (testar sempre α = 1, inicialmente). Depois, fazer:
xk+1= xk+ αkdNewt,k
5. Se kdNewt,kk ≤ ϵ1e kfkk ≤ ϵ2, terminar. Caso contrário voltar ao passo2com a estimativa actualizada xk+1.
Devido às suas múltiplas vantagens, o método de Newton anterior é muito usado para resolver sistemas de equações diferenciais. Este pode ser aplicado como método numérico dentro de outro método numérico (por exemplo, em optimização, ou na resolução de equações diferenciais); daí ser importante tentar preservar a sua eficiência numérica.
Apesar das vantagens anteriores, a aplicação do método de Newton anterior (puro) nem sempre é possível, ou conveniente. No entanto, dadas as vantagens anteriores, é possível considerar diversas modificações no algoritmo base para ultrapassar este problema:
Aproximação de Jk por diferenças finitas: Esta modificação é usada quando as derivadas de f (x) não podem ser calculadas facilmente. Por exemplo f (x) pode corresponder a um programa de simulação tipo caixa negra, que não é possível alterar, nem conhecer. Outras vezes as derivadas de f (x) podem ser calculadas, mas o esforço é demasiado grande.
Neste caso as derivadas necessárias são aproximadas por diferenças finitas f0(xk) = f(xk+ ϵ) − f (xk)
ϵ (3.7)
com ϵ pré-especificado. A fórmula anterior produz uma aproximação de 1a ¯õrdem.
Podem ser usadas outras fórmulas de aproximação, com erros e esforços requeri- dos distintos. Mais detalhes sobre estes métodos estão disponíveis emOliveira
(2006).
• O número de avaliações da função objectivo cresce substancialmente neste caso. Por exemplo, quando (3.7) é usada, são necessárias n + 1 avaliações da função f (x) ∈ Rn(verificar).
• O parâmetro ϵ deve ser escolhido criteriosamente para minimizar os erros resultantes da aplicação da equação (3.7), e sobretudo para evitar a sua aplicação catastróficaOliveira(2006).
• Como resultado da observação anterior, as propriedades de convergência do método base podem ser perdidas, neste caso, no todo ou em parte.
Substituição de tangentes por secantes: Método descrito emOliveira(2006). Necessário obedecer sempre à equação das secantes:
Bk(xk−xk−1) | {z } sk = (f (xk) − f (xk−1)) | {z } yk
Esta equação tem a mesma estrutura que a equação (3.3), usada como base no método de Newton; apenas a estrutura é diferente (secantes agora):
Quando x ∈ Rna matriz Bknão está definida unicamente.
Método de Broyden (actualização mínima — cauteloso): Bk = Bk−1+(yk
−Bk−1sk)skT skTsk
Mais detalhes e exemplo de aplicação emOliveira(2006).
Para além destas modificações no método de Newton, baseado na estratégia (3.6), é possível usar uma metodologia de solução diferente.
Métodos de regiões de confiança Nesta classe de métodos, ao contrário de (3.6), é usada uma estratégia distinta:
1. Em função do sucesso conseguido nas últimas iterações (nos métodos anteriores seria o α...), propor (i.e., fixar) um passo expectável: δk →raio de confiançaactual, a considerar nesta iteração. Deste modo, força-se a que:
kxk+1−xkk2≤δ
2. Determinar a melhor solução do problema (direcção) dentro da região de confiança actual.
3. Com base no progresso obtido na última iteração (esperado versus real), actualizar o raio de confiança.
A versão deste método para resolução de sistemas de equações não-lineares é aplicada como:
minx kf (x)k2 s.a khk2≤δ
A aplicação destes métodos resulta, geralmente, em problemas de optimização com restrições de estrutura especial, que podem ser tratadas facilmente. Estes métodos consideram explicitamente que os modelos aproximados de f (x) (por exemplo a aproximação linear no método de Newton) apenas são válidos numa vizinhança do ponto actual. Consequentemente, se a solução apontada por estes modelos aproximados estiver fora do raio de confiança actual, estas soluções devem ser evitadas.
Detalhes adicionais sobre estas matérias podem ser encontradas emDennis Jr. e Schnabel(1983);Nocedal e Wright(2006).
Exemplos de aplicação
Alguns exemplos simples são apresentados emOliveira(2006). Outros exemplos (TPCs anteriores):
1. Determinação da temperatura de flash de uma mistura com 3 hidrocarbone- tos. Considerar P = 1 atm, modelos de propriedades físicas ideais, equação de Antoine para a pressão de vapor. Admitir que a fracção vaporizada (molar) é 1/2.
2. Escolher, a partir da literatura, uma sistema binário com um azeótropo homogéneo (por exemplo, álcool + água, hidrocarboneto + álcool). Usando
o modelo NRTL, desenhar os diagramas de equilíbrio y − x e T − x − y, e comparar estas previsões com os dados experimentais. Este modelo de equilíbrio pode ser descrito como:
lnγi = Li Mi + X j xjGij Mj (τij − Lj Mj) Li = X k xkτkiGki, Mi = X k xkGki Gij = exp(−αijτij) τij =(дij −дii) RT = ∆дij RT , i , j, e τij = 0, i = j
Considerar a fase de vapor ideal, e usar o modelo NRTL para determinar os coeficientes de actividade γi,Lda fase líquida. Usar a equação de An- toine para a pressão de vapor dos compostos puros. A equação base para descrever o equilíbrio L-V será:
yiP = γi,LxiPisat(T )
EmFloudas et al.(1999), são referenciados métodos disponíveis para detec- tar a presença de azeótropos nas simulações de equilíbrio de fases.Sandler
(2006) fornece uma descrição adicional deste tipo de modelos, e apresenta muitos exemplos de aplicação (equilíbrios L-V, e L-L), alguns contendo dados experimentais que podem ser usados para comparação com as previ- sões do modelo.Oliveira(2013) apresenta exemplos de regressão de dados de equilíbrio L-L descritos por este modelo, e discute aspectos práticos de implementação.
Conceitos-chave a reter
1. A solução de sistemas de equações NL é uma tarefa muito comum na área de EPS, correspondendo à manipulação de modelos com nGDL = 0. 2. Em geral este problema pode ou não ter soluções. Daí serem preferidos
métodos de aplicação simples, que possam produzir respostas completas (quantas soluções podemos garantir, e onde).
3. Para problemas de pequena dimensão, é possível a aplicação de métodos gráficos.
4. Para problemas com poucos graus de liberdade, a aplicação do método das substituições sucessivas pode ser tornada semelhante ao uso dos métodos gráficos anteriores (Exemplo3.3).
5. Em sistemas com estrutura especial de interligação (por exemplo diagramas de fabrico, ou outros esquemas de organização), a aplicação de métodos de substituições sucessivas pode ser vantajosa, dado que apenas são con- siderados modelos das unidades (ou blocos) individualmente. Assim, o tamanho (número de variáveis e equações) considerados de cada vez é mais reduzido (estratégia sequencial-modular).
6. A aplicação dos métodos de substituições sucessivas não está no entanto limitada ao caso anterior. Ela é geral, desde que seja possível “inventar” uma fórmula iterativa correspondente xk+1= д(xk), para a solução de um sistema f (x) = 0.
7. A aplicação do método das substituições sucessivas pode ou não convergir. Isto depende da estrutura e propriedades de д( · ), sendo difícil em geral de garantir (excepto em casos especiais).
limitações anteriores. Esta classe de métodos traz uma série de vantagens face às alternativas anteriores, mas requer a utilização de derivadas do modelo, ou a sua aproximação.
9. A convergência local do método de Newton é quadrática, sendo bastante rápida na proximidade da solução.
10. Os métodos de Newton podem ser modificados de forma a assegurarem propriedades de convergência global. Esta extensão é efectuada con- siderando a analogia com a resolução de um problema de optimização equivalente, e impondo propriedades de descida no algoritmo resultante (Capítulo4).
Mesmo assim, devem ser aplicados vários cuidados especiais (práticos) na formulação destes problemas, para garantir que os métodos numéricos usados consigam efectivamente convergir para uma solução do problema (Secção4.3).
11. Tal como o método das substituições sucessivas, a aplicação de métodos de Newton é geral, para qualquer problema do tipo considerado. Em particular, no Exemplo3.3, referente à simulação de um diagrama de fabrico, o método de Newton pode ser aplicado de 2 formas distintas:
• Ao problema como um todo, considerando f (n,u) = 0 (estratégia de solução simultânea).
• Ao problema reduzido, resultante da aplicação da estratégia sequencial- modular.
12. A estratégia de resolução seguida depende da ferramenta utilizada. Por exemplo o sistemaASPEN Oneé conhecido por utilizar tipicamente a es- tratégia sequencial-modular; no entanto, outros simuladores de processos químicos já recorrem com maior frequência a estratégias simultâneas, po- dendo ser mais rápidos devido a este facto.
Os modelos formulados em linguagens de modelação como oGAMSou o AMPLsão tipicamente considerados como modelos globais, que podem ser resolvidos em simultâneo. No entanto, alguns solvers podem decompor estes problemas em blocos (de forma transparente para o utilizador), e trabalhar num espaço de variáveis de decisão de dimensão mais reduzida.