iom3

Texto

(1)Introdução à Otimização Matemática. III. Otimização com Restrições. III.1. Introdução. Nesta seção serão abordados os problemas de otimização não linear (função objetivo e/ou restrições não lineares) com a seguinte forma geral: min f ( x ) s.a. h ( x ) = 0  g (x) ≤ 0   x∈Ω. Restrições de igualdade Restrições de desigualdade. (III.1). Observações: 1.. Um ponto x ∈ Ω que satisfaça a todas as restrições funcionais ( h ( x ) = 0 e g ( x ) ≤ 0 ) é denominado. ponto factível. 2.. O conjunto das restrições de igualdade h ( x ) = 0 define uma hipersuperfície S.. 3.. No espaço das soluções viáveis, uma restrição de desigualdade i pode estar ativa, quando gi ( x ) = 0 ,. ou inativa, quando gi ( x ) < 0 . Se fosse possível conhecer a priori quais restrições estão ativas na solução de (III.1), a solução seria o ponto de mínimo local do problema definido ignorando as restrições inativas e considerando todas as restrições ativas como restrições de igualdade. Isto motiva o estudo em separado dos problemas que possuem apenas restrições de igualdade. Os métodos empregados na solução de (III.1) se dividem em duas famílias:. •. Pontos factíveis (por exemplo: gradiente projetado e gradiente reduzido). •. Pontos infactíveis (por exemplo: penalidades e métodos duais). ( ) restrições se os vetores gradiente ∇h ( x ) , ∇h ( x ) , ⋯, ∇h ( x ) são linearmente independentes (LI).. Definição (Ponto Regular): Um ponto x∗ satisfazendo h x∗ = 0 é dito ser um ponto regular das ∗. 1. ∗. 2. ∗. n. Propriedade: O plano tangente à superfície em um ponto regular x∗ é dado por:. {. ( ). }. M = y : ∇h x ∗ y = 0. ( ). ∇h x ∗. ( ). ∇h x. ∗. Plano tangente x∗ Plano tangente. x∗ S. h ( x) = 0. h ( x) = 0. S. Figura III.1 – Ilustração de um ponto regular x∗ . Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 1 de 30.

(2) Introdução à Otimização Matemática. Plano tangente. ( ) ∗. ∇h2 x. h ( x) = 0 x. ( ). ∇h1 x ∗. ∗. h2 ( x ) = 0 S h1 (x ) = 0. Figura III.1 (continuação) – Ilustração de um ponto regular x∗ .. III.2. Condições necessárias de 1a ordem (restrições de igualdade). Seja x∗ um ponto regular das restrições h ( x ) = 0 e um extremo local (mínimo ou máximo) de f ( x ) sujeito a estas restrições. Então, todo y ∈ ℝ n tal que. ( ). ∇h x∗ y = 0. (y pertence ao plano tangente). deve também satisfazer. ( ). ∇f x∗ y = 0. (gradiente perpendicular ao plano tangente). ( ). Assim, o gradiente da função objetivo ∇f x∗. é ortogonal ao plano tangente à superfície definida pelas. restrições h ( x ) = 0 , ou seja, pode ser representado por uma combinação linear do gradiente de h ( x ) ,. ( ). calculado em x∗ , ∇h x∗ .. Teorema: Seja x∗ um ponto extremo de f ( x ) sujeito as restrições h ( x ) = 0 . Suponha que x∗ é um ponto regular destas restrições. Então existe λ ∈ ℝ m tal que. ( ). ( ). ( ). ∇f x∗ + λ T ∇h x∗ = 0. ( ). Combinação linear: −∇f x∗ = λ T ∇h x∗. As condições necessárias de 1ª ordem são dadas por:. ( ). ( ). ∇f x∗ + λ T ∇h x∗ = 0. ( ). h x∗ = 0. (n equações para n variáveis) (m equações para m restrições). e originam um total de n + m equações (geralmente não lineares) em n + m variáveis que constituem x∗ e λ.. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 2 de 30.

(3) Introdução à Otimização Matemática. Definição (Lagrangeano): O Lagrangeano associado a um problema com restrições de igualdade é dado por: Dimensão: [1 × 1] = [1 × 1] + [1 × m][m × 1]. l ( x, λ ) = f ( x ) + λ T h ( x ). sendo λ o vetor dos multiplicadores de Lagrange cujos componentes são associados a cada uma das restrições do problema. Utilizando-se esta definição é possível escrever as condições necessárias de 1ª ordem de forma mais compacta:. ( ). ( ). ∇ xl ( x, λ ) = 0. (ou seja, ∇ x f x∗ + λ T ∇ x h x∗ = 0 ). ∇λ l ( x, λ ) = 0. (ou seja, h x∗ = 0 ). ( ). III.2.1 Dimensões dos vetores e matrizes Com relação às dimensões dos vetores e matrizes envolvidos nos cálculos anteriores, considerar o exemplo no qual se tem três variáveis (n=3) e duas restrições de igualdade (m=2). Neste caso, o problema de otimização é dado por:. min f ( x ) s.a. h x = 0  1( )  h2 ( x ) = 0   x = [ x1 x2. x3 ]. a função Lagrangeana associada é dada por:.  h (x)  l ( x, λ ) = l ( x1 , x2 , x3 , λ1 , λ2 ) = f ( x ) + [ λ1 λ2 ]  1   h2 ( x )  l ( x, λ ) = f ( x ) + λ1h1 ( x ) + λ2 h2 ( x ). sendo o gradiente, com relação à x, calculado como segue:. ∇x l ( x, λ ) = ∇ x  f ( x ) + λ1h1 ( x ) + λ2 h2 ( x )   ∂f ( x ) ∂h ( x ) ∂h ( x ) ∇ x l ( x, λ ) =  + λ1 1 + λ2 2 ∂ x ∂ x ∂x1 1 1   ∂f ( x ) =   ∂x1. ∂f ( x ) ∂x2. ∇ x l ( x, λ ) = ∇ x f ( x ) + [ λ1. = ∇ x f ( x ) + [ λ1. ∂f ( x ) ∂h ( x ) ∂h ( x ) + λ1 1 + λ2 2 ∂x2 ∂x2 ∂x2 ∂f ( x )   ∂h1 ( x ) ∂h ( x ) + λ2 2  + λ1 ∂x3   ∂x1 ∂x1.  ∂h1 ( x )  ∂x1 λ2 ]   ∂h2 ( x )   ∂x1 ∇ h ( x )  λ2 ]  x 1  ∇ x h2 ( x ) . ∇ x l ( x, λ ) = ∇ x f ( x ) + λ T ∇ x h ( x ). ∂h1 ( x ) ∂x2 ∂h2 ( x ) ∂x2. ∂f ( x ) ∂h ( x ) ∂h ( x )  + λ1 1 + λ2 2 = ∂x3 ∂x3 ∂x3 . λ1. ∂h1 ( x ) ∂h ( x ) + λ2 2 ∂x2 ∂x2. λ1. ∂h1 ( x ) ∂h ( x )  + λ2 2  ∂x3 ∂x3 . ∂h1 ( x )   ∂x3  = ∂h2 ( x )   ∂x3 . Dimensões: [1 × n ] = [1 × n] + [1 × m][m × n ]. Observar que a expressão em destaque corresponde ao termo igualado á zero nas condições necessárias de 1a ordem. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 3 de 30.

(4) Introdução à Otimização Matemática. Exemplo III.1: Considere o problema de otimização min x1 x2 + x2 x3 + x1 x3  s.a. x1 + x2 + x3 = 3 Na forma padrão, tem-se: min  s.a.. x1 x2 + x2 x3 + x1 x3 x1 + x2 + x3 − 3 = 0. O Lagrangeano deste problema é dado por l ( x, λ ) = l ( x1 , x2 , x3 , λ ) = x1 x2 + x2 x3 + x1 x3 + λ ( x1 + x2 + x3 − 3) Aplicando as condições necessárias de 1ª ordem, tem-se:. ∂ l ( x1 , x2 , x3 , λ ) = 0 ∂x1 ∂ l ( x1 , x2 , x3 , λ ) = 0 ∂x2 ∂ l (x1 , x2 , x3 , λ ) = 0 ∂x3 ∂ l (x1 , x2 , x3 , λ ) = 0 ∂λ Neste caso, tem-se um sistema de equações lineares (4 equações e 4 variáveis): x2 + x3 + λ = 0 x1 + x3 + λ = 0 x2 + x1 + λ = 0 x1 + x2 + x3 − 3 = 0 cuja solução é: x1 = 1 x2 = 1 x3 = 1. com f ( x ) = 3. λ = −2 Exemplo III.2: Considere o problema de otimização min 400 x12 + 800 x22 + 200 x1 x2 + 1600 x32 + 400 x2 x3  s.a. 10 x1 + 10 x2 + 15 x3 = 12  x1 + x2 + x3 = 1 . (risco) (meta de ganho ) (capital investido). Na forma padrão, tem-se: min 400 x12 + 800 x22 + 200 x1 x2 + 1600 x32 + 400 x2 x3  s.a. 10 x1 + 10 x2 + 15 x3 − 12 = 0  x1 + x2 + x3 − 1 = 0 . Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 4 de 30.

(5) Introdução à Otimização Matemática. O Lagrangeano deste problema é dado por h ( x , x , x ,λ ,λ ) f ( x1 , x2 , x3 , λ1 , λ2 ) + [ λ1 λ2 ]  1 1 2 3 1 2  =  h2 ( x1 , x2 , x3 , λ1 , λ2 )  2 2 = 400 x1 + 800 x2 + 200 x1 x2 + 1600 x32 + 400 x2 x3 + +λ1 (10 x1 + 10 x2 + 15 x3 − 12 ) + λ2 ( x1 + x2 + x3 − 1). l ( x, λ ) = l ( x1 , x2 , x3 , λ1 , λ2 ) =. Aplicando as condições necessárias de 1ª ordem, tem-se: ∂ l ( x1 , x2 , x3 , λ1 , λ2 ) = 0 ∂x1 ∂ l ( x1 , x2 , x3 , λ1 , λ2 ) = 0 ∂x2 ∂ l (x1 , x2 , x3 , λ1 , λ2 ) = 0 ∂x3 ∂ l ( x1 , x2 , x3 , λ1 , λ2 ) = 0 ∂λ1 ∂ l ( x1 , x2 , x3 , λ1 , λ2 ) = 0 ∂λ2 Neste caso, tem-se um sistema de equações lineares (5 equações e 5 variáveis):. 800 x1 + 200 x2 + 10λ1 + λ2 = 0 1600 x2 + 200 x1 + 400 x3 + 10λ1 + λ2 = 0 3200 x3 + 400 x2 + 15λ1 + λ2 = 0 10 x1 + 10 x2 + 15 x3 − 12 = 0 x1 + x2 + x3 − 1 = 0 cuja solução é: x1 = 0,5 x2 = 0,1 x3 = 0,4. λ1 = −180 λ2 = 1380. ( ). com f x∗ = 390. λ1 e λ2 são os multiplicadores de Lagrange associados a cada uma das restrições do problema. Tais multiplicadores podem ser utilizados para quantificar a variação que ocorreria na função objetivo caso o limite da restrição fosse alterado. Por exemplo, para uma variação de +0,1 na primeira restrição, espera-se uma alteração de 0,1×180=18 no valor ótimo da função objetivo (que passaria de 390 para 408). De fato, quando se realiza a alteração deste limite, o novo problema de otimização a ser resolvido é. min 400 x12 + 800 x22 + 200 x1 x2 + 1600 x32 + 400 x2 x3  s.a. 10 x1 + 10 x2 + 15 x3 = 12,1  x1 + x2 + x3 = 1 . (risco) (meta de ganho ALTERADA) (capital investido). Que origina o seguinte sistema de equações. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 5 de 30.

(6) Introdução à Otimização Matemática. 800 x1 + 200 x2 + 10λ1 + λ2 = 0 1600 x2 + 200 x1 + 400 x3 + 10λ1 + λ2 = 0 3200 x3 + 400 x2 + 15λ1 + λ2 = 0 10 x1 + 10 x2 + 15 x3 − 12,1 = 0 x1 + x2 + x3 − 1 = 0 Cuja solução é x1 = 0,49 x2 = 0,09 x3 = 0,42. ( ). com f x∗ = 408,7. λ1 = −194 λ2 = 1530. Observa-se que o valor da função objetivo (408,7) é bastante próximo do valor estimado com o uso do multiplicador de Lagrange (408). Ainda para este problema, é possível estimar qual o acréscimo de capital é necessário para possibilitar obter o mesmo lucro de 12, mas com um risco ainda menor, por exemplo, de 385. Neste caso, a variação na função objetivo seria de –5 e se desejaria determinar a variação no limite da segunda restrição 5/1380≅0,0036. De fato, quando se realiza a alteração deste limite, o novo problema de otimização a ser resolvido é dado por. min 400 x12 + 800 x22 + 200 x1 x2 + 1600 x32 + 400 x2 x3  s.a. 10 x1 + 10 x2 + 15 x3 = 12  x1 + x2 + x3 = 1,0036 . (risco) (meta de ganho ) (capital investido ALTERADO). Que origina o seguinte sistema de equações 800 x1 + 200 x2 + 10λ1 + λ2 = 0 1600 x2 + 200 x1 + 400 x3 + 10λ1 + λ2 = 0. 800 x1 + 200 x2 + 10λ1 + λ2 = 200 x1 + 1600 x2 + 400 x3 + 10λ1 + λ2 =. 0 0. + 3200 x3 + 15λ1 + λ2 = + 15 x3 =. 0 12. 3200 x3 + 400 x2 + 15λ1 + λ2 = 0 10 x1 + 10 x2 + 15 x3 − 12 = 0 x1 + x2 + x3 − 1,0036 = 0. 10 x1. 400 x2 + 10 x2. x1. + x2. + x3. = 1,0036. Cuja solução é x1 = 0,5061 x2 = 0,1047 x3 = 0,3928. λ1 = −174,6 λ2 = 1320,2. ( ). Com f x∗ ≈ 385,1. Observa-se que o valor da função objetivo (385,1) é bastante próximo do valor estimado com o uso do multiplicador de Lagrange (385).. III.2.2 Interpretação do multiplicador de Lagrange O valor ótimo dos multiplicadores de Lagrange λ*i tem uma interpretação muito importante, pois estes descrevem o quanto o valor da função objetivo se altera quando o lado direito de uma restrição é modificado. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 6 de 30.

(7) Introdução à Otimização Matemática. Em problemas não lineares, os multiplicadores de Lagrange são associados com uma solução particular e correspondem a custos incrementais ou marginais, ou seja, custos associados a pequenas variações nas restrições. Em outras palavras, quando o lado direito da restrição i é incrementado de ∆, o valor ótimo da função objetivo aumenta de aproximadamente − λ*i ∆ .. III.3. Condições de 2a ordem (restrições de igualdade). III.3.1 Condições necessárias de 2a ordem. ( ). Suponha que x∗ ∈ ℝ n é um mínimo local de f satisfazendo h x∗ = 0 e x∗ é um ponto regular destas restrições. Então existe um λ ∈ ℝ m tal que. ( ). ( ). Dimensão: [1 × n ] + [1 × m][m × n ] = [1 × n]. ∇f x∗ + λ T ∇h x∗ = 0. {. ( ). }. Sendo M = y : ∇h x∗ y = 0 o plano tangente, então a matriz. ( ) ( ). ( ). L x∗ = F x∗ + λ T H x∗. (Hessiana do Lagrangeano). {. ( ). }. ( ). é semidefinida positiva em M = y : ∇h x∗ y = 0 , isto é, ∀y ≠ 0 ∈ M , y T L x∗ y ≥ 0 .. III.3.2 Condições suficientes de 2a ordem. ( ). Suponha que exista um ponto x∗ ∈ ℝ n satisfazendo h x∗ = 0 e um λ ∈ ℝ m tal que. ( ). ( ). Dimensão: [1 × n ] + [1 × m][m × n ] = [1 × n]. ∇f x∗ + λ T ∇h x∗ = 0. ( ) ( ). ( ). suponha também que a matriz L x∗ = F x∗ + λ T H x∗ (Hessiana do Lagrangeano) é definida positiva no. {. ( ). }. ( ). plano tangente M = y : ∇h x∗ y = 0 , isto é, ∀y ≠ 0 ∈ M , y T L x∗ y > 0 . Então x∗ é um ponto de mínimo local estrito de f .. III.3.2.1 Dimensões dos vetores e matrizes Com relação às dimensões dos vetores e matrizes envolvidos nos cálculos anteriores, considerar o mesmo exemplo utilizado anteriormente no qual se tem três variáveis (n=3) e duas restrições de igualdade (m=2). Neste caso, o problema de otimização é dado por:. min f ( x ) s.a. h x = 0  1( )  h2 ( x ) = 0   x = [ x1 x2. x3 ]. a função Lagrangeana associada é dada por:. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 7 de 30.

(8) Introdução à Otimização Matemática.  h (x)  l ( x, λ ) = l ( x1 , x2 , x3 , λ1 , λ2 ) = f ( x ) + [ λ1 λ2 ]  1   h2 ( x )  l ( x, λ ) = f ( x ) + λ1h1 ( x ) + λ2 h2 ( x ) sendo a matriz Hessiana, com relação à x , calculada como segue:. L ( x, λ ).  ∂2 f ( x ) ∂ 2 h1 ( x ) ∂ 2 h2 ( x ) + λ1 + λ2  2 2 ∂x1 ∂x12  ∂x1 2 2  ∂2 f ( x ) ∂ h1 ( x ) ∂ h2 ( x ) =  + λ1 + λ2 ∂ ∂ ∂ ∂ ∂x2 ∂x1 x x x x  2 1 2 1  ∂2 f ( x ) ∂ 2 h1 ( x ) ∂ 2 h2 ( x )  + λ1 + λ2 ∂x3∂x1 ∂x3∂x1  ∂x3∂x1  ∂2 f ( x )  2  ∂x1  ∂2 f ( x ) =   ∂x2 ∂x1  ∂2 f ( x )   ∂x3∂x1. L ( x, λ ). ∂2 f ( x) ∂x1∂x2 ∂2 f ( x) ∂x22 2 ∂ f (x) ∂x3∂x2. ∂2 f ( x) ∂x1∂x2 ∂2 f ( x) ∂x22 2 ∂ f (x) ∂x3∂x2. + λ1 + λ1 + λ1. ∂ 2 h1 ( x ) ∂x1∂x2 ∂ 2 h1 ( x ) ∂x22 2 ∂ h1 ( x ) ∂x3∂x2. + λ2 + λ2 + λ2. ∂ 2 f ( x )   ∂ 2 h1 ( x ) ∂ 2 h2 ( x ) + λ2   λ1 2 ∂x1∂x3   ∂x1 ∂x12 2 2 2   ∂ h1 ( x ) ∂ h2 ( x ) ∂ f (x) + λ2  +  λ1 ∂x2 ∂x3   ∂x2 ∂x1 ∂x2 ∂x1 ∂ 2 f ( x )   ∂ 2 h1 ( x ) ∂ 2 h2 ( x )   λ1 + λ2 ∂x3∂x1 ∂x32   ∂x3∂x1.  ∂ 2 h1 ( x )  ∂ 2 h2 ( x ) ∂ 2 h1 ( x ) ∂ 2 h1 ( x )     2 2 ∂x1∂x2 ∂x1∂x3   ∂x1  ∂x1 2 2 2  ∂ 2 h1 ( x )   ∂ h1 ( x ) ∂ h1 ( x ) ∂ h2 ( x ) = F ( x ) + λ1   + λ2  2 ∂ x ∂ x ∂ x ∂ x ∂ x  2 1  ∂x2 ∂x1 2 3  2 2 2  ∂2h ( x )   ∂2h ( x) ∂ x ∂ x h h 1( ) 1( )  1   2 ∂x3∂x2 ∂x32   ∂x3∂x1  ∂x3∂x1 = F ( x ) + λ1H1 ( x ) + λ2 H 2 ( x ) = F ( x ) + [ λ1 λ2 ] H ( x ). L ( x, λ ) = F ( x ) + λ T H ( x ). ∂ 2 h2 ( x ). ∂2 f ( x). ∂ 2 h2 ( x )   ∂x1∂x3 ∂x1∂x3 ∂x1∂x3  ∂ 2 h2 ( x )  ∂2 f ( x) ∂ 2 h1 ( x ) + λ1 + λ2 = ∂x2 ∂x3 ∂x2 ∂x3 ∂x2 ∂x3  ∂2 f ( x) ∂ 2 h1 ( x ) ∂ 2 h2 ( x )   + λ1 + λ2 2 2 ∂x3 ∂x3 ∂x32 . ∂x1∂x2 ∂ 2 h2 ( x ) ∂x22 ∂ h2 ( x ) 2. ∂x3∂x2. λ1 λ1 λ1. ∂ 2 h1 ( x ) ∂x1∂x2 ∂ 2 h1 ( x ) ∂x22 2 ∂ h1 ( x ) ∂x3∂x2. + λ2 + λ2 + λ2. ∂ 2 h2 ( x ) ∂x1∂x2 ∂ 2 h2 ( x ) ∂x22 ∂ h2 ( x ) 2. ∂x3∂x2. + λ1. ∂ 2 h2 ( x ) ∂x1∂x2 ∂ 2 h2 ( x ) ∂x22 ∂ h2 ( x ) 2. ∂x3∂x2. ∂ 2 h1 ( x ). + λ2. ∂ 2 h2 ( x )   ∂x1∂x3 ∂x1∂x3  ∂2h ( x) ∂ 2 h2 ( x )  + λ2 λ1 1  ∂x2 ∂x3 ∂x2 ∂x3  ∂2h ( x) ∂ 2 h2 ( x )   λ1 1 2 + λ2 ∂x3 ∂x32 . λ1. ∂ 2 h1 ( x ). + λ2. ∂ 2 h2 ( x )   ∂x1∂x3  ∂ 2 h2 ( x )   ∂x2 ∂x3  2 ∂ h2 ( x )   ∂x32 . Dimensões: [n × n] = [n × n] + [n × n ]. Exemplo III.3: Considere o problema de otimização min  s.a.. x1 x2 + x2 x3 + x1 x3 x1 + x2 + x3 = 3. Cuja forma padrão é. min  s.a.. x1 x2 + x2 x3 + x1 x3 x1 + x2 + x3 − 3 = 0. Conforme mostrado no Exemplo III.1, o Lagrangeano deste problema é dado por l ( x, λ ) = l ( x1 , x2 , x3 , λ ) = x1 x2 + x2 x3 + x1 x3 + λ ( x1 + x2 + x3 − 3). e a solução obtida aplicando-se as condições de primeira ordem foi x1 = 1, x2 = 1, x3 = 1, λ = −2 , com f (x) = 3 .. ( ). A partir do Lagrangeano, pode-se escrever a matriz L x∗. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 8 de 30.

(9) Introdução à Otimização Matemática. ( ). L x∗. ( ). L x. ∗.  ∂ 2l ( x1 , x2 , x3 , λ )  ∂x12  2  ∂ l ( x1 , x2 , x3 , λ ) = ∂x2 ∂x1   ∂ 2l ( x , x , x , λ ) 1 2 3  ∂x3∂x1 . ∂ 2 l ( x1 , x2 , x3 , λ ). ∂ 2l ( x1 , x2 , x3 , λ )   ∂x1∂x3  ∂ 2l ( x1 , x2 , x3 , λ )   ∂x2 ∂x3  2 ∂ l ( x1 , x2 , x3 , λ )   ∂x32 . ∂x1∂x2 ∂ l ( x1 , x2 , x3 , λ ) 2. ∂x22 ∂ 2 l ( x1 , x2 , x3 , λ ) ∂x3∂x2. 0 1 1  = 1 0 1  1 1 0   . Que não é nem positiva nem negativa definida, pois,. ( ). 0 1 1   y1  y3 ] 1 0 1   y2  = y1 ( y2 + y3 ) + y2 ( y1 + y3 ) + y3 ( y1 + y2 ) 1 1 0   y    3 = 2 ( y1 y2 + y1 y3 + y2 y3 ). y T L x∗ y =. [ y1. y2. que pode assumir qualquer valor positivo, negativo ou nulo, dependendo dos valores de y1 , y2 e y3 .. {. }. ( ). A expressão do plano tangente M = y : ∇h x∗ y = 0 é dada por:  ∂h ( x1 , x2 , x3 ) ∇h x∗ = ∇h ( x1 , x2 , x3 ) =  ∂x1 . ( ). ( ). ∇h x∗ y = 0. ⇒. [1.  y1  1 1]  y2  = 0 y   3. ∂h ( x1 , x2 , x3 ) ∂x2. ∂h ( x1 , x2 , x3 )   = [1 1 1] ∂x3 . y : y1 + y2 + y3 = 0. ⇒. M = {y : y1 + y2 + y3 = 0} Aplicando as condições de 2ª ordem, tem-se:. ( ). y T L x∗ y = [ y1. y2.  0 1 1   y1  y3 ] 1 0 1   y2  = y1 ( y2 + y3 ) + y2 ( y1 + y3 ) + y3 ( y1 + y2 ) 1 1 0   y    3. Substituindo a expressão do plano tangente, tem-se y 2 + y3 = − y1 y1 + y3 = − y 2 y1 + y 2 = − y3. daí. ( ). (. y T L x∗ y = y1 ( − y1 ) + y2 ( − y2 ) + y3 ( − y3 ) = − y12 + y22 + y32. ). ( ). Portanto, L x∗ é definida negativa no plano tangente e o ponto obtido pela aplicação das condições de 1a ordem é um máximo local. Neste caso, observar que o problema de otimização é ilimitado, pois a função objetivo pode assumir valores negativos infinitamente pequenos. Por exemplo, considerar os seguintes casos particulares:. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 9 de 30.

(10) Introdução à Otimização Matemática. •. Se x1 = x2 = 0. •. Se x1 = −1,. •. Se x1 = −α , x2 = −α e pequeno quanto desejado.. III.4. x3 = 3. e. x2 = −1. ⇒ x3 = 5. e. f (x) = 0 f ( x ) = −9. ⇒. x3 = 3 + 2α , com α > 0. ⇒. f ( x ) = −3α 2 − 6α que pode ser tão. Restrições de desigualdade. Considere o seguinte problema com restrições de igualdade e de desigualdade min f ( x ) s.a. h ( x ) = 0  g (x) ≤ 0   x∈Ω de modo que g é uma função p-dimensional e que f , h, g ∈ C1 .. III.4.1 Condições necessárias de 1a ordem. ( ). ( ). Definição (Ponto Regular): Seja x* um ponto que satisfaz as restrições h x∗ = 0 , g x∗ ≤ 0 e seja J o conjunto dos índices das restrições ativas. ( ). ( g ( x ) = 0, j ∈ J ) . Diz-se que x ∗. j. *. é um ponto regular das. ( ). restrições se os vetores gradiente ∇hi x∗ , ∇g j x∗ , 1 ≤ i ≤ m, j ∈ J são linearmente independentes (LI).. Teorema (Condições de Karush-Kuhn-Tucker, KKT): Seja x* um mínimo local para o problema  min f ( x )  s.a. h ( x ) = 0  g (x) ≤ 0  e suponha x* é um ponto regular então existe um vetor λ ∈ ℝ m e um vetor µ ≥ 0 , µ ∈ ℝ p tal que. ( ). ( ). ( ). ∇f x∗ + λ T ∇h x∗ + µ T ∇g x∗ = 0. ( ). µ T g x∗ = 0 ≤0 ≤0 ≥0 ∗ T Observar que como µ ≥ 0 e g x ≤ 0 , a expressão µ g x∗ = 0 implica afirmar que o multiplicador µ j. ( ). ( ). ( ). será diferente de zero somente quando a restrição estiver ativa, ou seja, quando g j x∗ = 0 . Além disto, o. ( ). fato da soma dos termos µ j g j x∗ ser nula obriga que cada um dos termos seja nulo, pois todos os produtos possuem o mesmo sinal, ou seja:. µ j g j ( x∗ ) = 0. ∀j = 1,⋯ , p. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 10 de 30.

(11) Introdução à Otimização Matemática. III.4.1.1 Dimensões dos vetores e matrizes Com relação às dimensões dos vetores e matrizes envolvidos nos cálculos anteriores, considerar o exemplo no qual se tem três variáveis (n=3), duas restrições de igualdade (m=2) e uma restrição de desigualdade (p=1). Neste caso, o problema de otimização é dado por: min f ( x ) s.a. h x = 0 1( )  h  2 (x) = 0  g (x) ≤ 0  x = [ x1 x2 . x3 ]. a função Lagrangeana associada é dada por:.  h (x)  l ( x, λ , µ ) = l ( x1 , x2 , x3 , λ1 , λ2 , µ ) = f ( x ) + [ λ1 λ2 ]  1  + [ µ ]  g ( x )   h2 ( x )  l ( x, λ , µ ) = f ( x ) + λ1h1 ( x ) + λ2 h2 ( x ) + µ g ( x ). sendo o gradiente, com relação à x, calculado como segue:. ∇ x l ( x, λ , µ ) = ∇ x  f ( x ) + λ1h1 ( x ) + λ2 h2 ( x ) + µ g ( x )   ∂f ( x ) ∂h ( x ) ∂h ( x ) ∂g ( x ) ∇ x l ( x, λ , µ ) =  + λ1 1 + λ2 2 +µ ∂ x ∂ x ∂ x ∂x1 1 1 1 . ∂f ( x ) ∂x2. + λ1. ∂h1 ( x ).  ∂f ( x ) ∂f ( x ) ∂f ( x )   ∂h1 ( x ) ∂h ( x ) =  + λ2 2  + λ1 ∂ x ∂ x ∂ x ∂ x ∂x1 1 2 3  1   ∂g ( x ) ∂g ( x )   ∂g ( x ) + µ µ µ  ∂x2 ∂x3   ∂x1. ∇ x l ( x, λ , µ ) = ∇ x f ( x ) + [ λ1. = ∇ x f ( x ) + [ λ1. ∂x2. λ1. + λ2. ∂h2 ( x ). ∂h1 ( x ) ∂x2. ∂x2 + λ2. +µ. ∂g ( x ). ∂f ( x ). ∂x2. ∂x3. ∂h2 ( x ) ∂x2. λ1. ∂h1 ( x ) ∂x3.  ∂h1 ( x ) ∂h1 ( x ) ∂h1 ( x )     ∂g ( x ) ∂x1 ∂x2 ∂x3   λ2 ] + [µ ]  h x h x h x ∂ ∂ ∂  2( ) 2( ) 2 ( )  ∂x1   ∂x2 ∂x3   ∂x1 ∇ h ( x )  λ2 ]  x 1  + [ µ ] ∇  x g ( x )  ∇ x h2 ( x ) . + λ1. + λ2. ∂h1 ( x ) ∂x3. + λ2. ∂h2 ( x ) ∂x3. +µ. ∂g ( x )  = ∂x3 . ∂h2 ( x )  + ∂x3 . ∂g ( x ) ∂x2. ∂g ( x )  = ∂x3 . ∇ x l ( x, λ , µ ) = ∇ x f ( x ) + λ T ∇ x h ( x ) + µ T ∇ x g ( x ) Dimensões: [1 × n] = [1 × n] + [1 × m][m × n] + [1 × p ][ p × n] Observar que a expressão em destaque corresponde ao termo igualado a zero nas condições de Karush-KuhnTucker.. Exemplo III.4: Considere o problema de otimização min 2 x12 + 2 x1 x2 + x22 − 10 x1 − 10 x2  2 2 s.a. x1 + x2 ≤ 5  3 x1 + x2 ≤ 6  Cuja forma padrão é min 2 x12 + 2 x1 x2 + x22 − 10 x1 − 10 x2  2 2 s.a. x1 + x2 − 5 ≤ 0  3 x1 + x2 − 6 ≤ 0  Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 11 de 30.

(12) Introdução à Otimização Matemática. Aplicando-se as condições necessárias de 1a ordem. ( ). ( ). ( ). ( ). Sem restrições de igualdade. ∇f x∗ + λ T ∇h x∗ + µ T ∇g x∗ = 0. ( ). ∇ f x∗ + µ T ∇ g x∗ = 0. ⇒. ( ). µ T g x∗ = 0 µ≥0. ( ). ( ). ∇f x∗ + µ T ∇g x∗ = 0. ∇ x f ( x ) ∇ x f ( x )  + [ µ1 2  1 . ⇒. ∇ x1 g1 ( x ) ∇ x2 g1 ( x )   = [ 0 0] ∇ x1 g 2 ( x ) ∇ x2 g 2 ( x ) . µ2 ] . ∇ x1 f ( x ) + µ1∇ x1 g1 ( x ) + µ2 ∇ x1 g 2 ( x ) = 0. ⇒. 4 x1 + 2 x2 − 10 + 2 µ1 x1 + 3µ 2 = 0. ∇ x2 f ( x ) + µ1∇ x2 g1 ( x ) + µ 2∇ x2 g 2 ( x ) = 0. ⇒. 2 x1 + 2 x2 − 10 + 2 µ1 x2 + µ 2 = 0. µT g ( x ) = 0. ⇒. . . [ µ1 µ2 ] 3xx1 ++ xx2 −− 56 = 0  1 2  2. 2. ⇒. (. ). µ1 x12 + x22 − 5 = 0 µ 2 (3 x1 + x2 − 6 ) = 0. Para obter-se a solução, é necessário definir as várias combinações de restrições ativas e testar o sinal dos multiplicadores de Lagrange µ . Neste problema pode-se tentar fazer nenhuma, uma ou ambas as restrições ativas (4 possibilidades). Considerando ambas as restrições relaxadas (inativas), tem-se µ1 = µ 2 = 0 , o que implica as seguintes equações 4 x1 + 2 x2 − 10 = 0 2 x1 + 2 x2 − 10 = 0 Cuja solução é x1 = 0 x2 = 5 Isto implica x12 + x22 − 5 = 0 2 + 5 2 − 5 = 20 ≤/ 0 , logo a primeira restrição NÃO está sendo respeitada, como suposto inicialmente ( µ1 = 0 ). Assim, conclui-se que esta solução NÃO satisfaz as condições necessárias de 1a ordem. Por outro lado, considerando a primeira restrição ativa e a segunda inativa, tem-se µ1 > 0 e µ 2 = 0 , conduzindo às seguintes equações 4 x1 + 2 x2 − 10 + 2 µ1 x1 = 0 2 x1 + 2 x2 − 10 + 2 µ1 x2 = 0 x12 + x22 − 5 = 0 Cuja solução é x1 = 1 x2 = 2. µ1 = 1 Isto implica 3x1 + x2 − 6 = 3 × 1 + 2 − 6 = −1 < 0 , logo a segunda restrição está atendida com folga, como suposto inicialmente. Assim, como µ1 = 1 > 0 , conclui-se que esta solução satisfaz as condições necessárias de 1a ordem. A análise do gráfico das curvas de nível da função objetivo e das restrições do problema, mostrado na Figura III.2, indica que o ponto x1 = 1 e x2 = 2 corresponde ao mínimo da função, pois se encontra entre o limite da restrição (circunferência azul) que tangencia uma das curvas de nível da função, estando a outra restrição Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 12 de 30.

(13) Introdução à Otimização Matemática. (reta vermelha) com folga nesta condição. Observar que, neste caso, a visualização é possível; em espaços com dimensões maiores não. Assim, a definição de um método analítico para comprovar a otimalidade (condições suficientes) é indispensável, sendo desenvolvida a seguir. 5 4 3 2. x2. 1 0 -1 -2 -3 -4 -5 -5. -4. -3. -2. -1. 0 x1. 1. 2. 3. 4. 5. Figura III.2 – Curvas de nível da função objetivo e restrições do Exemplo III.4. III.4.2 Condições de 2a ordem Sejam f , g, h ∈ C 2 . As condições suficientes para que um ponto regular x* seja um mínimo estrito para o problema  min f ( x )  s.a. h ( x ) = 0  g (x) ≤ 0  são que existam λ ∈ ℝ m e µ ∈ ℝ p tal que. µ≥0. ( ). µ T g x∗ = 0. ( ). ( ). ( ). ∇f x∗ + λ T ∇h x∗ + µ T ∇g x∗ = 0. Dimensões: [1 × n] + [1 × m][m × n] + [1 × p ][ p × n] = [1 × n]. e a matriz Hessiana. ( ). ( ). ( ). ( ). L x∗ = F x ∗ + λ T H x∗ + µ T G x ∗. Dimensões: [n × n] = [n × n] + [n × n] + [n × n]. seja definida positiva no subespaço (plano tangente às restrições ativas do problema). {. ( ). ( ). M ′ = y : ∇h x∗ y = 0, ∇g j x∗ y = 0, para todo j ∈ J. }. onde. {. ( ). }. J = j : g j x∗ = 0, µ j > 0. Otimização com Restrições – Sérgio Haffner. (conjunto das restrições ativas). Versão 16/5/2011. Página 13 de 30.

(14) Introdução à Otimização Matemática. III.4.2.1 Dimensões dos vetores e matrizes Com relação às dimensões dos vetores e matrizes envolvidos nos cálculos anteriores, considerar o mesmo exemplo utilizado anteriormente no qual se tem três variáveis (n=3), duas restrições de igualdade (m=2) e uma restrição de desigualdade (p=1). Neste caso, o problema de otimização é dado por: min f ( x ) s.a. h x = 0 1( )  h  2 (x) = 0  g (x) ≤ 0  x = [ x1 x2 . x3 ]. a função Lagrangeana associada é dada por:.  h (x)  l ( x, λ , µ ) = l ( x1 , x2 , x3 , λ1 , λ2 , µ ) = f ( x ) + [ λ1 λ2 ]  1  + [ µ ]  g ( x )   h2 ( x )  l ( x, λ , µ ) = f ( x ) + λ1h1 ( x ) + λ2 h2 ( x ) + µ g ( x ) sendo a matriz Hessiana, com relação à x, calculada como segue:. L ( x, λ , µ ).  ∂2 f (x) ∂ 2 h1 ( x ) ∂ 2 h2 ( x ) ∂2 g ( x) + λ1 + λ2 +µ  2 2 2 ∂ x ∂ x ∂ x ∂x12 1 1 1  2 2 2  ∂2 f (x) ∂ h1 ( x ) ∂ h2 ( x ) ∂ g (x) =  + λ1 + λ2 +µ ∂x2 ∂x1 ∂x2 ∂x1 ∂x2 ∂x1  ∂x2 ∂x1  ∂2 f (x) ∂ 2 h1 ( x ) ∂ 2 h2 ( x ) ∂2 g ( x)  + λ1 + λ2 +µ ∂x3∂x1 ∂x3∂x1 ∂x3∂x1  ∂x3∂x1  ∂2 f (x)  2  ∂x1  ∂2 f (x) =   ∂x2 ∂x1  ∂2 f (x)   ∂x3∂x1. L ( x, λ , µ ). ∂2 f (x) ∂x1∂x2 ∂2 f (x) ∂x22 ∂ f (x) 2. ∂x3∂x2. ∂2 f ( x) ∂x1∂x2 ∂2 f ( x) ∂x22 ∂ f (x) 2. ∂x3 ∂x2. ∂ 2 f ( x )   ∂ 2 h1 ( x ) ∂ 2 h2 ( x ) + λ2   λ1 ∂x1∂x3   ∂x12 ∂x12 ∂ 2 f ( x )   ∂ 2 h1 ( x ) ∂ 2 h2 ( x ) + λ2  +  λ1 ∂x2 ∂x3   ∂x2 ∂x1 ∂x2 ∂x1 2 2 ∂ f ( x )   ∂ h1 ( x ) ∂ 2 h2 ( x )   + λ λ 1 2 ∂x3∂x1 ∂x32   ∂x3 ∂x1.  ∂ 2 h1 ( x )  2  ∂x1 2  ∂ h (x) = F ( x ) + λ1  1  ∂x2 ∂x1  ∂2h ( x)  1  ∂x3∂x1. ∂ 2 h1 ( x ) ∂x1∂x2 ∂ 2 h1 ( x ) ∂x22 ∂ h1 ( x ) 2. ∂x3∂x2. + λ1 + λ1 + λ1. λ1 λ1 λ1. ∂ 2 h1 ( x ) ∂x1∂x2 ∂ 2 h1 ( x ) ∂x22 ∂ h1 ( x ) 2. ∂x3∂x2 ∂ 2 h1 ( x ) ∂x1∂x2 ∂ 2 h1 ( x ) ∂x22 ∂ h1 ( x ) 2. ∂x3∂x2. + λ2 + λ2 + λ2. + λ2 + λ2 + λ2.  ∂ 2 h2 ( x ) ∂ 2 h1 ( x )    2 ∂x1∂x3   ∂x1 2 2  ∂ h2 ( x ) ∂ h1 ( x )   + λ2  ∂x2 ∂x3   ∂x2 ∂x1  ∂2h ( x ) ∂ 2 h1 ( x )  2   ∂x32   ∂x3∂x1. ∂ 2 h2 ( x ) ∂x1∂x2 ∂ 2 h2 ( x ) ∂x22 ∂ h2 ( x ) 2. ∂x3∂x2 ∂ 2 h2 ( x ) ∂x1∂x2 ∂ 2 h2 ( x ) ∂x22 ∂ h2 ( x ) 2. ∂x3∂x2. +µ +µ +µ. ∂2 g (x). ∂2 f (x). ∂ 2 h1 ( x ) ∂ 2 h2 ( x ) ∂2 g ( x)  + λ1 + λ2 +µ  ∂x1∂x3 ∂x1∂x3 ∂x1∂x3 ∂x1∂x3  2 2 2 2 ∂ f (x) ∂ h1 ( x ) ∂ h2 ( x ) ∂ g (x)  + λ1 + λ2 +µ = ∂x2 ∂x3 ∂x2 ∂x3 ∂x2 ∂x3 ∂x2 ∂x3  2 2 2 2 ∂ f (x) ∂ h1 ( x ) ∂ h2 ( x ) ∂ g (x)   + λ2 +µ + λ1 2 2 2 ∂x3 ∂x3 ∂x32  ∂x3. ∂x1∂x2 ∂2 g (x) ∂x22 ∂2 g (x) ∂x3 ∂x2. ∂ 2 h2 ( x )   ∂ 2 g ( x )  µ ∂x1∂x3   ∂x12 2 ∂ h2 ( x )   ∂ 2 g ( x ) + λ2 λ1  + µ ∂x2 ∂x3 ∂x2 ∂x3   ∂x2 ∂x1 2 2 ∂ h (x) ∂ h2 ( x )   ∂ 2 g ( x )  µ λ1 1 2 + λ2 ∂x3 ∂x32   ∂x3 ∂x1. λ1. ∂ 2 h2 ( x ) ∂x1∂x2 ∂ 2 h2 ( x ) ∂x22 ∂ h2 ( x ) 2. ∂x3∂x2. ∂ 2 h1 ( x ) ∂x1∂x3 ∂ 2 h1 ( x ). + λ2.  ∂2 g ( x) ∂ 2 h2 ( x )    2 ∂x1∂x3   ∂x1 2 2  ∂ g (x) ∂ h2 ( x )  +µ ∂x2 ∂x3   ∂x2 ∂x1  ∂2 g ( x) ∂ 2 h2 ( x )    ∂x32   ∂x3∂x1. µ µ µ. ∂2 g ( x) ∂x1∂x2 ∂2 g ( x) ∂x22 ∂2 g ( x) ∂x3∂x2. ∂2 g ( x) ∂x1∂x2 ∂2 g ( x) ∂x22 ∂ g ( x) 2. ∂x3∂x2. ∂2 g ( x)   ∂x1∂x3  2 ∂ g (x)  µ  ∂x2 ∂x3  2 ∂ g (x)   µ ∂x32 . µ. ∂2 g ( x)   ∂x1∂x3  2 ∂ g ( x)   ∂x2 ∂x3  ∂2 g ( x)   ∂x32 . L ( x, λ , µ ) = F ( x ) + λ1H1 ( x ) + λ2 H 2 ( x ) + µ G ( x ) = F ( x ) + [ λ1 λ2 ] H ( x ) + [ µ ] G ( x ) L ( x, λ , µ ) = F ( x ) + λ T H ( x ) + µ T G ( x ). Dimensões: [n × n] = [n × n] + [n × n] + [n × n]. Exemplo III.5: Considere o problema de otimização min 2 x12 + 2 x1 x2 + x22 − 10 x1 − 10 x2  2 2 s.a. x1 + x2 ≤ 5  3x1 + x2 ≤ 6  Cuja forma padrão é. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 14 de 30.

(15) Introdução à Otimização Matemática. min 2 x12 + 2 x1 x2 + x22 − 10 x1 − 10 x2  2 2 s.a. x1 + x2 − 5 ≤ 0  3x1 + x2 − 6 ≤ 0  No Exemplo III.4 foram aplicadas as condições necessárias de 1a ordem, obtendo-se o seguinte resultado: x1 = 1 x2 = 2. µ1 = 1 Tem-se que. (. ). l ( x, λ , µ ) = l ( x1 , x2 , µ1 , µ 2 ) = 2 x12 + 2 x1 x2 + x22 − 10 x1 − 10 x2 + µ1 x12 + x22 − 5 + µ 2 ( 3 x1 + x2 − 6 ). ( ). resultando na seguinte matriz Hessiana L x∗. ( ). L x∗.  ∂ 2l ( x1 , x2 , µ1 , µ 2 )  ∂x12 = 2  ∂ l ( x1 , x2 , µ1 , µ 2 )  ∂x2 ∂x1 .  4 + 2µ1 L x∗ =   2. ( ). ( ). ∂ 2 l ( x1 , x2 , µ1 , µ 2 )   ∂x1∂x2  ∂ 2 l ( x1 , x2 , µ1 , µ 2 )   ∂x22 . 2  6 2 = 2 + 2 µ1   2 4 .  6 2   y1  = y2 ]   2 4   y2  = 6 y12 + 4 y22 + 4 y1 y2. y T L x∗ y =. [ y1. Pela análise do polinômio não fica claro que a matriz seja positiva ou negativa definida. Entretanto, como ambos os autovalores da matriz são positivos ( [ 2,7639 7, 2361] ), a mesma é definida positiva.. {. ( ). }. ( ). A expressão do plano tangente M ′ = y : ∇h x∗ y = 0, ∇g j x∗ y = 0, para todo j ∈ J é dada por:. ( ). ∇g j x∗. ( ). = ∇g1 ( x1 , x2 ) =.  ∂g ( x , x ) =  1 1 2 ∂x1  = [ 2 4]. ∇g j x∗ y = 0. ⇒. ∂g1 ( x1 , x2 )   = [ 2 x1 ∂x2 . y  4]  1  = 0  y2  −y ⇒ y2 = 1. [2. {. M = y : y1 + 2 y2 = 0. y : 2 y1 + 4 y2 = 0. ⇒. 2. 2 x2 ] =. ⇒. y : y1 + 2 y2 = 0. }. Aplicando as condições de 2ª ordem, tem-se:. ( ). y T L x∗ y = 6 y12 + 4 = 5 y12. ( ). − y1 2 2. + 4 y1. ( ) = 6y − y1 2. 2 1. + y12 − 2 y12 =. ( ). Portanto, L x∗ é definida positiva no plano tangente às restrições ativas e o ponto obtido pela aplicação das condições de 1a ordem é um mínimo local.. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 15 de 30.

(16) Introdução à Otimização Matemática. Exemplo III.6: Considere o problema de otimização max x 3 − 3 x  s.a. x ≤ 2 Cuja forma padrão é min − x 3 + 3 x  s.a. x − 2 ≤ 0 Tem-se que l ( x, µ ) = − x 3 + 3 x + µ ( x − 2 ) Condições de 1a ordem. ( ) ( ) µ g(x ) = 0. ( ). ∇f x∗ + λ T ∇h x∗ + µ T ∇g x∗ = 0. ( ). Sem restrições de igualdade. ( ). ∇ f x∗ + µ T ∇ g x∗ = 0. ⇒. ∗. T. µ≥0. ( ). ( ). ( ). ∇f x∗ + λ T ∇h x∗ + µ T ∇g x∗ = 0 ∇ x f ( x ) + µ∇ x g ( x ) = 0. ( ). µ T g x∗ = 0 Se µ = 0. ⇒. − 3x 2 + 3 + µ = 0 x≤2. ⇒. [ µ ]  g ( x ) = 0. ⇒. ∇ x f ( x )  + [ µ ] ∇  x g ( x )  = [ 0]. ⇒. µ (x − 2) = 0. ⇒. µ ≥0 − 3x 2 + 3 + 0 = 0 ⇒. x2 = 1. ⇒. x = ±1 (ambos viáveis, x ≤ 2 ). f (− 1) = −(− 1) + 3(− 1) = −2 3. f (1) = −(1) + 3(1) = 2 3. Se x = 2. ⇒. − 3(2 ) + 3 + µ = 0 ⇒ 2. µ = 9 (viável pois µ ≥ 0 ). f (2) = −(2) + 3(2) = −2 3. Assim, têm-se duas soluções: x = −1 e x = 2 . O gráfico da função objetivo − x 3 + 3 x e da restrição, mostrado na Figura III.3, a ser considerada ilustra o significado dos valores obtidos anteriormente para a variável x: caso a restrição não esteja ativa ( µ = 0 ), são obtidos os pontos para os quais a função objetivo é estacionária (derivada nula); quando a restrição está ativa, obtém-se um ponto no qual a função é decrescente mas está limitada pela restrição. 20 15 10. f(x). 5. Derivada nula. 0. Derivada nula. -5. Restrição ativa. -10 -15 -20 -3. -2. -1. 0. 1. 2. 3. x. Figura III.3 – Função objetivo e restrição do Exemplo III.6. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 16 de 30.

(17) Introdução à Otimização Matemática. ( ). Para este problema, a matriz Hessiana do Lagrangeano, L x∗ , é dada por:. ( ). L x. ∗.  ∂ 2 l ( x, µ )  =  2  ∂x . ( ). L(x = −1, µ = 0 ) = [− 6(− 1)] = [6]. L x∗ = [ −6x ]. L(x = 1, µ = 0 ) = [− 6(1)] = [− 6] L(x = 2, µ = 9 ) = [− 6(2 )] = [− 12]. ( ). y T L x∗ y =. [ y ][ L11 ][ y ] =. = L11 y 2. ( ). [ y ][ 6][ y ] = 6 y 2. (Definida positiva). ( ). [ y ][ −6][ y ] = −6 y 2. (Definida negativa). ( ). [ y ][ −12][ y ] = −12 y 2. (Definida negativa). x = −1, µ = 0. y T L x∗ y =. x = 1, µ = 0. y T L x∗ y =. x = 2, µ = 9. y T L x∗ y =. Desta forma, o ponto x = −1 é um mínimo local e o ponto x = 1 é um máximo local. A análise do ponto x = 2 , requer a determinação do plano tangente às restrições ativas:. {. ( ). ( ). M ′ = y : ∇h x∗ y = 0, ∇g j x∗ y = 0, para todo j ∈ J. ( ). ∇g j x∗. ( ). } é dada por:. = ∇g ( x ) =.  ∂g ( x )  =   = [1]  ∂x . ∇g j x∗ y = 0. ⇒. [1][ y ] = 0. ⇒. y: y =0. M = {y : y = 0} Aplicando as condições de 2ª ordem, tem-se:. ( ). y T L x∗ y = −12 y 2. ( ). Portanto, L x∗. = −12 × 02 = 0 é semi-definida positiva no plano tangente às restrições ativas e o ponto obtido pela. aplicação das condições de 1a ordem é um mínimo local.. Exercício III.1: Utilizando as condições de 1a e 2a ordem, determinar a solução dos seguintes problemas de otimização: max x1 x2 + x2 x3 + x1 x3  s.a. x + x + x ≤ 3  1 2 3  x ≥ 0 1   x2 ≥ 1,2. Otimização com Restrições – Sérgio Haffner. min (x1 − 2 )2 + 2(x2 − 1)2  x1 + 4 x2 ≤ 3  s.a.  x1 ≥ x2 . Versão 16/5/2011. Página 17 de 30.

(18) Introdução à Otimização Matemática. III.4.3 Resumo das condições de 1ª e 2ª ordem As condições de 1ª e 2ª ordem para problemas irrestritos e com restrições podem ser resumidas, conforme mostrado na Tabela III.1. Tabela III.1 – Condições de 1ª e 2ª ordem para problemas irrestritos e restritos. Irrestrito. Restrições de igualdade. min. Condições. ∇ x f x∗ = 0. min f ( x ) s.a. h ( x ) = 0 g (x) ≤ 0. min f ( x ) s.a. h ( x ) = 0. f (x). Problema. ( ). (. Restrições de igualdade e desigualdade. ). (. ∇ x , λ ℓ x∗ , λ ∗ = 0. ). ∇ x , λ ℓ x∗ , λ ∗ , µ ∗ = 0. ( ). µ T g x∗ = 0. de 1ª ordem ∀y ≠ 0,. ( ). ∀y ≠ 0, y ∈ M , y T L x∗ y > 0. y T L x∗ y > 0. ( ). ∗. y F x y>0 T. µ≥0 ∀y ≠ 0, y ∈ M ′,. {. ( ). }. M = y : ∇ x h x∗ y = 0. Condições de 2ª ordem. ( ). ( ). ( ).  y : ∇ x h x∗ y = 0, ∇ x g j x∗ y = 0,  M′=    para todo j ∈ J . {. }. ( ). J = j : g j x∗ = 0, µ j > 0 L (x) = F (x) + λ H (x) T. III.5. L ( x ) = F ( x ) + λ H ( x ) + µT G ( x ) T. Métodos primais. III.5.1 Gradiente projetado Neste método a direção de descida corresponde à direção oposta ao gradiente que é projetado para o interior da região viável por intermédio de uma matriz de projeção P . Seja o seguinte problema de otimização com restrições lineares.  min f ( x )  T s.a. ai x ≤ bi  aiT x = bi . i ∈ I1 i ∈ I2. Restrições ATIVAS. De forma simplificada, um passo do algoritmo segue os seguintes passos: 1.. Fazer k = 0 e obter um x 0 factível (se necessário fazer uma Fase I).. 2.. Determinar o conjunto das restrições ativas e formar a matriz Aq (linhas das restrições ativas) e W ( x k ) (conjunto das restrições ativas).. 3.. Calcular. (. Pk = I − A Tq A q A Tq. ). −1. Aq. Matriz de projeção do gradiente. d k = − Pk ∇f ( x k ) Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 18 de 30.

(19) Introdução à Otimização Matemática. 4.. Se d k ≠ 0 , calcular. α1 = max {α : x k + α d k é factível}. α 2 = arg {min f ( x k + α d k ) , 0 ≤ α ≤ α1} fazer x k +1 = x k + α 2d k , k = k + 1 e retornar para o Passo 2. 5.. (. Se d k = 0 , calcular λ = − A q A Tq a). ). −1. A q ∇f ( x k ). Se λ j ≥ 0 para todo j correspondente as restrições ativas de desigualdade, parar: x k satisfaz as condições de KKT;. b). Caso contrário, retirar a linha de Aq que corresponde à desigualdade com a componente mais negativa de λ , retire o índice de W ( x k ) e volte para o Passo 3.. Exemplo III.7: Considere o problema de otimização min x12 + x22 + x32 + x42 − 2 x1 − 3 x4  s.a. 2 x1 + x2 + x3 + 4 x4 = 7  x1 + x2 + 2 x3 + x4 = 6   xi ≥ 0, i = 1,2,3,4  Dado um ponto factível x Tk = ( 2, 2,1,0 ) , para o qual f ( x k ) = 22 + 22 + 12 + 02 − 2 × 2 − 3 × 0 = 5 , deseja-se determinar a direção do gradiente projetado. No formato padrão, a matriz dos coeficientes deste problema corresponde a. min  s.a.        . x12 + x22 + x32 + x42 − 2 x1 − 3x4 2 x1 + x2 + x3 + 4 x4 = 7 x1 + x2 + 2 x3 + x4 = 6 − x1 ≤ 0 − x2 ≤ 0 − x3 ≤ 0 − x4 ≤ 0. 2 1 1 4 1 1 2 1    −1 0 0 0  A=   0 −1 0 0   0 0 −1 0     0 0 0 −1. As restrições ativas são as duas restrições de igualdade e a desigualdade x4 ≥ 0 . Assim W ( x 0 ) = {1, 2,6}. 2 1 1 4  A q =  1 1 2 1   0 0 0 −1 2 2 1 1 4   1 Portanto A q A Tq = 1 1 2 1  ⋅  1  0 0 0 −1  4 Cuja inversa é dada por  6 −5 19  −1 1 T Aq Aq =  −5 6 −14  11 19 −14 73 . (. 1 0  22 9 −4  1 0   =  9 7 −1 2 0   −4 −1 1  1 −1 . ). Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 19 de 30.

(20) Introdução à Otimização Matemática. Finalmente AT. P0 = I − A Tq. 1  1 −3 P0 =  11  1  0. (. −1 q I A q A Tq ) Aq ( 1 0 0 0   2 1 0   6 −5 19   2 1 1 4   0 1 0 0  1 1 0  −1 1 T     Aq Aq Aq = − ⋅  −5 6 −14  ⋅  1 1 2 1   0 0 1 0  1 2 0  11 19 −14 73   0 0 0 −1      0 0 0 1   4 1 −1 −3 1 0  9 −3 0  −3 1 0   0 0 0. ). O gradiente da função objetivo no ponto x 0 = [ 2 2 1 0] é T. ∇f ( x ) = [ 2 x1 − 2 2 x2. 2 x3. 2 x4 − 3]. T. ∇f ( x0 ) = [ 2 4 2 −3]. T. Logo, a direção do gradiente projetado é dada por P0 f ( x0 ) ∇  1 −3 1 0   2   8   −3 9 −3 0   4    1  −24   1     d 0 = −P0 ∇f ( x 0 ) = −   ⋅ =  11   1 −3 1 0   2  11  8         0 0 0 0   −3  0 . Dividindo-se d 0 por 8/11, tem-se 1  −3 d0 =   1   0. Observar que o movimento nesta direção não viola as restrições, para um α = 0,1 , tem-se: 2  1   2,1 0  2  −3 1,7  0  x1 = x0 + α d 0 =   + 0,1   =   ≥   1   1   1,1  0          0  0   0  0 . g1 ( x1 ). = 2 x1 + x2 + x3 + 4 x4 = 2 × 2,1 + 1,7 + 1,1 + 4 × 0 = 7. g 2 ( x1 ) = x1 + x2 + 2 x3 + x4 = 2,1 + 1,7 + 2 × 1,1 = 6. Observar, também, que o valor da função objetivo é menor que o do ponto anterior: f ( x1 ) = 2,12 + 1,7 2 + 1,12 + 02 − 2 × 2,1 − 3 × 0 = 4,31 A determinação do tamanho do passo para minimizar a função nesta direção envolve uma busca unidimensional com o seguinte limite. α1 = max {α : x0 + α d 0 é factível} 2 ≈ 0,67 3. sendo α1 limitado pelo limite da variável x2 :. α1 =. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 20 de 30.

(21) Introdução à Otimização Matemática. O valor do passo α 2 na direção de d 0 é determinado resolvendo a seguinte busca unidimensional. α 2 = arg {min f ( x0 + α d 0 ) , 0 ≤ α ≤ α1}. onde  2  1   2 +α   2  −3  2 − 3α   x0 + α d0 =   + α   =  α1 ≈ 0,6667 ⇒ 1   1   1+α        0 0  0  Substituindo a expressão de x 0 + α d 0 na função objetivo tem-se,. 0 ≤ α ≤ 0,6667. f ( x0 + α d 0 ) = ( 2 + α ) + ( 2 − 3α ) + (1 + α ) − 2 ( 2 + α ) = 11α 2 − 8α + 5 2. 2. 2. cujo valor de mínimo ocorre quando 22α − 8 = 0. ⇒. α = 8 / 22 ≈ 0,3636. que é menor que α1 . Assim, α 2 = 0,3636 e 2  1   2,3636   0  2  −3  0,9091  0  ≥  x1 = x 0 + α d 0 =   + 0,3636   =  1   1   1,3636   0          0  0   0  0 Observar, também, que o valor da função objetivo é menor que os obtidos anteriormente:. f ( x1 ) = 2,36362 + 0,90912 + 1,36362 + 02 − 2 × 2,3636 − 3 × 0 ≈ 3,5455 O processo de otimização segue para o Passo 2 do algoritmo, no qual não são observadas variações nas restrições ativas do problema. Assim, o conjunto das restrições ativas é mantido, juntamente com a matriz de projeção:  1 −3 1  1 −3 9 −3 P1 = P0 =  11  1 −3 1  0 0 0. W ( x1 ) = W ( x 0 ) = {1, 2,6}. 0 0  0  0. O gradiente da função objetivo no ponto x1T = [ 2,3636 0,9091 1,3636 0] é ∇f ( x1 ) = [ 2,7273 1,8182 2,7273 −3]. T. Logo, a direção do gradiente projetado é dada por. ( 1) P1  1 −3 1 0   2,7273  0         1  −3 9 −3 0   1,8182   0  d1 = −P1∇f ( x1 ) = −    ⋅ ≈  11   1 −3 1 0   2,7273  0         0 0 0 0   −3   0  Assim, segue-se para o Passo 5, com a determinação dos multiplicadores de Lagrange das restrições ativas ∇f ( x1 ) −1 A q A Tq ) Aq (  2,7273  6 −5 19   2 1 1 4    −0,9091 −1 1,8182   1    T  λ = − A q A q A q ∇f ( x1 ) = −  −5 6 −14  ⋅  1 1 2 1  ⋅ = −0,9091  2,7273  11 19 −14 73   0 0 0 −1    −7,5455  −3  ∇f x. (. ). Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 21 de 30.

(22) Introdução à Otimização Matemática. Observa-se que existe um elemento negativo correspondente a uma restrição de desigualdade relacionada com x4 ( x4 ≥ 0 ), indicando que a mesma pode ser relaxada. Após remover esta restrição do conjunto das ativas, tem-se W ( x1 ) = {1, 2} e. 2  2 1 1 4 1 A q A Tq =  ⋅ 1 1 2 1   1 4. 1 1   22 9  = 2   9 7   1. Cuja inversa é dada por. (A A ) q. T −1 q. =. 1  7 −9  73  −9 22 . Finalmente AT. P1 = I − A Tq. (. q I −1 A q A Tq ) Aq ( 1 0 0 0   2 1      −1 0 1 0 0 1 1 7 9 2 1 1 4 −   − ⋅ 1  A q A Tq A q =  ⋅    0 0 1 0  1 2  73  −9 22   1 1 2 1      0 0 0 1   4 1 . ).  59 −9 −13 −24    1 −9 62 −24 −5  P1 =  9  73  −13 −24 14   9 11   −24 −5 A nova direção do gradiente projetado (considerando ativas apenas as duas restrições de igualdade) é: ∇f ( x1 ) P1  59 −9 −13 −24   2,7273  −2, 4807        1 −9 62 −24 −5   1,8182   −0,5168  d1 = −P1∇f ( x1 ) = −  ⋅ = 9   2,7273  0,9303  73  −13 −24 14       9 11   −3   1,1370   −24 −5. Novamente, a determinação do tamanho do passo para minimizar a função nesta direção envolve uma busca unidimensional com o seguinte limite. α1 = max {α : x1 + α d1 é factível} sendo α1 limitado pelo limite da variável x1 :. α1 =. 2,3636 ≈ 0,9528 2, 4807. O valor do passo α 2 na direção de d1 é determinado resolvendo a seguinte busca unidimensional. α 2 = arg {min f ( x1 + α d1 ) , 0 ≤ α ≤ α1} onde  2,3636   −2, 4807   2,3636 − 2,4807α   0,9091      + α  −0,5168  =  0,9091 − 0,5168α  x1 + α d1 =  1,3636   0,9303   1,3636 + 0,9303α        1,1370  0   1,1370   . α1 =. 2,3636 ≈ 0,9528 2, 4807. ⇒. 0 ≤ α ≤ 0,9528. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 22 de 30.

(23) Introdução à Otimização Matemática. Substituindo a expressão de x1 + α d1 na função objetivo tem-se, f ( x1 + α d1 ) =. ( 2,3636 − 2, 4807α )2 + ( 0,9091 − 0,5168α )2 + (1,3636 + 0,9303α )2 + (1,1370α )2 −2 ( 2,3636 − 2, 4807α ) − 3 × 1,1370α. f ( x1 + α d1 ) = 8,5791α 2 − 8,5791α + 3,5455 cujo valor de mínimo ocorre quando 17,1582α − 8,5791 = 0. ⇒. α = 0,5. que é menor que α1 . Assim, α 2 = 0,5 e.  2,3636   −2, 4807   1,1233  0   0,9091        + 0,5  −0,5168  =  0,6507  ≥ 0  x 2 = x1 + α 2d1 =   1,3636   0,9303   1,8288  0           0   1,1370   0,5685  0  Observar, também, que o valor da função objetivo é menor que os obtidos anteriormente: f ( x 2 ) = 1,12332 + 0,6507 2 + 1,82882 + 0,56852 − 2 × 1,1233 − 3 × 0,5685 ≈ 1, 4007. O processo de otimização segue para o Passo 2 do algoritmo, no qual não são observadas variações nas restrições ativas do problema. Assim, o conjunto das restrições ativas é mantido, juntamente com a matriz de projeção:  59 −9 −13 −24    1  −9 62 −24 −5  P2 = P1 = 9  73  −13 −24 14   9 11   −24 −5. W ( x 2 ) = W ( x1 ) = {1, 2}. O gradiente da função objetivo no ponto x T2 = [1,1233 0,6507 1,8288 0,5685] é ∇f ( x 2 ) = [ 0, 2466 1,3014 3,6575 −1,8630] Logo, a direção do gradiente projetado é dada por ∇f ( x 2 ) P2  59 −9 −13 −24   0, 2466  0        1 −9 62 −24 −5   1,3014  0  d 2 = −P2∇f ( x 2 ) = −  ⋅ ≈ 9   3,6575  0  73  −13 −24 14       9 11   −1,8630  0   −24 −5 Como não existem restrições de desigualdade ativa, não é necessário determinar os multiplicadores de Lagrange, pois não existem restrições que possam ser relaxadas e a solução obtida é ótima. Apenas para informação, os multiplicadores de Lagrange das restrições ativas (de igualdade) são ( 2) Aq ( ) 0, 2466     −1 1  7 −9   2 1 1 4   1,3014   −1,0548 ⋅ ⋅ = λ = − A q A Tq A q ∇f ( x 2 ) = −      73  −9 22   1 1 2 1   3,6575   2,3562     −1,8630  ∇f x. A q A Tq. (. −1. ). A solução deste problema de otimização pode ser obtida utilizando a descrição GAMS, mostrada na Figura III.4.. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 23 de 30.

(24) Introdução à Otimização Matemática. Figura III.4 – Descrição GAMS para o Exemplo III.7. Caso a restrição de desigualdade na variável x4 ( x4 ≥ 0 ) não tivesse sido incluída na matriz Aq, no início do. processo (ou seja, a partir de x T0 = [ 2 2 1 0] ), a determinação do gradiente projetado seguiria os seguintes passos:.  2 1 1 4 Aq =   1 1 2 1 . 2   2 1 1 4  1 ⋅ A q A Tq =    1 1 2 1  1  4. Portanto. 1 1   22 9  = 2   9 7   1. Cuja inversa é dada por. (A A ) q. T −1 q. =. 1  7 −9  73  −9 22 . Finalmente AT. P0 = I − A Tq. (. q I −1 A q A Tq ) Aq ( 1 0 0 0   2 1      −1 0 1 0 0   1 1  1  7 −9   2 1 1 4  A q A Tq A q =  − ⋅ ⋅  0 0 1 0   1 2  73  −9 22   1 1 2 1      0 0 0 1   4 1 . ).  59 −9 −13 −24    1 −9 62 −24 −5  P0 =  9  73  −13 −24 14   9 11   −24 −5 O gradiente da função objetivo no ponto x T0 = [ 2 2 1 0] é. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 24 de 30.

(25) Introdução à Otimização Matemática. ∇f ( x ) = [ 2 x1 − 2 2 x2. 2 x4 − 3]. 2 x3. ∇f ( x0 ) = [ 2 4 2 −3] P0 f ( x0 ) ∇  59 −9 −13 −24   2   128   −9 62 −24 −5   4    1  1  197     d 0 = −P0∇f ( x 0 ) = − ⋅ = 9   2  73  −121 73  −13 −24 14       9 11   −3  −24 −5  −83 . Multiplicando-se d k por 73, tem-se  128   197   d0 =   −121    −83  Observar que o movimento nesta direção violará a restrição de desigualdade negligenciada, pois x4 = 0 e o respectivo componente na direção de descida d 0 é negativo (–83).. III.5.1.1 Restrições não-lineares Seja o problema do tipo. min f ( x )  s.a. h ( x ) = 0  g (x) ≤ 0  que envolve restrições não-lineares. O procedimento de solução através do método do gradiente projetado torna-se significativamente mais complexo e requer uma série de interpolações e soluções de equações nãolineares. Uma dificuldade está ilustrada na Figura III.5 a seguir. −∇f ( x k ). y′. y. Gradiente projetado xk. x k+ 1 Superfície das restrições. Figura III.5 – Restrições não-lineares. Após movimentar-se na direção contrária ao gradiente projetado do ponto x k para o ponto y , a tentativa de retornar para um ponto que satisfaça as restrições anteriores implicaria a violação de restrições que anteriormente estavam com folga. Nesta circunstância seria necessário obter uma interpolação que evitasse tal violação (na Figura seria o ponto y ′ ). A determinação deste ponto consiste de um processo complexo de tentativa-e-erro. O processo de determinação do conjunto das restrições ativas consiste em um problema nãolinear que precisa ser resolvido através de métodos iterativos. O cálculo da projeção é também mais difícil. Considerando agrupadas as restrições de desigualdade ativas com as restrições de igualdade h ( x ) = 0 , a matriz de projeção no ponto x k é dada por Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 25 de 30.

(26) Introdução à Otimização Matemática. (. Pk = I − ∇h ( x k ) ∇h ( x k ) ∇h ( x k ) T. ). T −1. ∇h ( x k ). que deve ser integralmente recalculada em cada passo. III.5.2 Gradiente reduzido Neste método as variáveis do problema são divididas em dois grupos: básicas e não-básicas (como na programação linear). Do ponto de vista teórico, o método comporta-se de modo bastante similar ao gradiente projetado. Seja o seguinte problema de otimização com restrições lineares min f ( x )  s.a. Ax = b  x≥0  onde x ∈ ℝ n , b ∈ ℝ m , A é uma matriz m × n e f ∈ C 2 . Observar que as restrições de desigualdade são representadas por igualdades, nas quais foram introduzidas variáveis de folga (por exemplo, uma restrição x1 − 5 x2 ≤ 4 seria substituída por x1 − 5 x2 − 4 + s = 0 , onde s ≥ 0 é a folga correspondente a esta restrição). Particionando-se a matriz A =  A I. A J  levando em conta as colunas relativas as variáveis básicas xI e. não-básicas xJ o problema pode ser rescrito: min f ( x I , x J )  I J s.a. A x I + A x J = b  xI ≥ 0 xJ ≥ 0 . (I, J ). tal que ∃. (A ) I. -1. Deste modo. xI = h ( xJ ) = ( AI ) b − ( AI ) A J xJ −1. −1. Para uma variação incremental ∆x I , tem-se. x I + ∆x I = ( A I ) b − ( A I ) −1. ∆x I = − ( A I ) A J ∆x J −1. −1. ⇒. xI − 1 −1 J I I −1 J A ( x J + ∆x J ) = ( A ) b − ( A ) A x J − ( A I ) A J ∆x J. ∂h ( x J ) ∂x J. = − ( AI ) AJ −1. A idéia por detrás do método do gradiente reduzido é encontrar a partição (I , J ) e olhar o problema original restrito como um problema irrestrito onde aparecem apenas as variáveis independentes x J juntamente com as restrições de canalização, isto é. ⌢  min f ( xJ )   s.a. x I ≥ 0  −1 −1 xI = h ( xJ ) = ( AI ) b − ( AI ) A J xJ ≥ 0 . (I, J ). tal que ∃. (A ) I. -1. ( x) π ⌢ ⌢ ∂h ( x J ) I −1 ∇f ( x J ) = ∇f ( h ( x J ) , x J ) = ∇ J f ( x ) + ∇ I f ( x ) = ∇J f ( x) − ∇I f ( x)( A ) AJ ∂x J. De forma simplificada, um passo do algoritmo segue os seguintes passos:. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 26 de 30.

(27) Introdução à Otimização Matemática. 1.. Fazer k = 0 , obter um x 0 factível (se necessário fazer uma Fase I) e determinar uma partição (I , J ) inicial.. 2.. Calcular o gradiente da função f : ∇f ( x k ) .. 3.. Calcular o gradiente reduzido, isto é, o gradiente em relação às variáveis independentes x J : ⌢ ∇f ( x J ) = ∇ J f ( x ) − π ( x ) A J. ( ). π ( x) = ∇I f ( x) AI. −1. ou seja, calcula-se ⌢ ∂f x j ∂f ( x ) ρj = = − π ( x ) A j , ∀j ∈ J ∂x j ∂x j. ( ). 4.. − ρ j Fazer, ∀j ∈ J , ∆x j =  0. 5.. Se ∆x J = 0 , parar a solução atual é ótima.. 6.. Calcular as variações unitárias das variáveis básicas. ( ). ∆x I = − A I. 7.. Calcular. −1. se x j > 0 ou se x j = 0 e ρ j < 0 se x j = 0 e ρ j ≥ 0. A J ∆x J. ∆x k = [ ∆x I. ∆x J ]. α1 = max {α : x I + α∆x I ≥ 0 ( é factível )} α 2 = max {α : x J + α∆x J ≥ 0 ( é factível )} α L = min{α1 , α 2 } α 3 = arg {min f ( x k + α∆x k ) , 0 ≤ α ≤ αL } fazer x k +1 = x k + α 3 ∆x k , k = k + 1 . 8.. Se α 3 < α1 então voltar para o Passo 2; Caso contrário, se α 3 = α1 então alterar a base, isto é, refazer a partição (I , J ). 9.. Retornar para o Passo 2.. Exemplo III.8: Considere o problema de otimização min x12 + x22 + x32 + x42 − 2 x1 − 3 x4  s.a. 2 x1 + x2 + x3 + 4 x4 = 7  x1 + x2 + 2 x3 + x4 = 6   xi ≥ 0, i = 1,2,3,4  Seja um ponto factível x k = ( 2, 2,1,0 ) , para o qual f ( x k ) = 5 . Pode-se selecionar qualquer par de variáveis positivas para serem variáveis básicas. O gradiente da função objetivo é dado por Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 27 de 30.

(28) Introdução à Otimização Matemática. ∇f ( x ) = [ 2 x1 − 2 2 x2. 2 x3. 2 x4 − 3]. Suponha que x I = { x1 , x2 } seja selecionado, então tem-se: ∇ I f ( x ) = [ 2 x1 − 2 2 x2 ]. ∇ I f ( x k ) = [ 2 4]. ∇ J f ( x ) = [ 2 x3. ∇ J f ( x k ) = [ 2 −3]. 2 x4 − 3]. (A ).  2 1 AI =   1 1. I −1.  1 −1 =  −1 2 . 1 4  AJ =   2 1 . ( ) = [ 2 4] ⋅  −11. π ( x) = ∇I f ( x) AI. −1. −1 = [ −2 6] 2 . e o gradiente reduzido é dado por ⌢ 1 4 ∇f ( x J ) = ∇ J f ( x ) − π ( x ) A J = [ 2 −3] − [ −2 6] ⋅  = [ −8 −1]  2 1 . ρ 3 = −8 Como. ρ 4 = −1. x3 > 0. ⇒. ∆x 3 = − ρ 3 = 8. x4 > 0. ⇒. ∆x 4 = − ρ 4 = 1. Ou seja, x3 e x4 devem ser aumentados na proporção de 8 para 1. Quando uma variação nesta proporção é realizada, as variáveis básicas variam da seguinte forma:. ( ). ∆x I = − A I. −1.  1 −1 ⋅ 1 4  ⋅ 8 =  5  A J ∆x J = −   −1 2   2 1  1  −22 . Assim, a direção de descida que respeita a manutenção das restrições é tal que ∆x k = [5 −22 8 1] Os limites da busca podem, então, ser determinados. α1 = max {α : x I + α∆x I ≥ 0 ( é factível )}   2 + α 5 ≥ 0 ⇒ ∀α   α1 = max α : 2 + α (− 22) ≥ 0 ⇒ α ≤ 2 ≈ 0,091  ≈ 0,091   . . 22.  . α 2 = max {α : x J + α∆x J ≥ 0 ( é factível )} . 1 + α 8 ≥ 0 ⇒ ∀α    → ∞ 0 + α1 ≥ 0 ⇒ ∀α  . α 2 = max α :  . α L = min{α1 , α 2 } = min{0,091; ∞} = 0,091 Para um passo α = 0,01 , tem-se:. x k +1 = x k + α∆x k = [ 2 2 1 0] + 0,01[5 −22 8 1] = [ 2,05 1,78 1,08 0,01] para o qual f ( x k +1 ) ≈ 4, 41 que é inferior ao valor anterior. Otimização com Restrições – Sérgio Haffner. Versão 16/5/2011. Página 28 de 30.