As técnicas SVM estão envolvidas com a otimização operacional. A otimização operacional é uma ciência que fornece instrumentos quantitativos no processo de decisão. É uma técnica importante para determinar a melhor utilização de recursos e otimizar processos, sendo bastante empregada nas indústrias. Entre o conjunto de métodos de otimização da pesquisa operacional encontram-se a programação linear e não-linear, que envolve a programação quadrática convexa, Teoria de Lagrange e Dualidade. Existem dois tipos de otimização:
Otimização Não Restrita - A otimização não restrita engloba os problemas em que
33
Otimização Restrita - A otimização restrita abrange todo o tipo de problemas em
que as variáveis podem assumir apenas alguns valores condicionados pelas restrições. Existem dois tipos de restrições que podem ser de igualdade e
desigualdade. As restrições de igualdade detalham normalmente a operação
realizada pelo sistema. As restrições de desigualdade restringem as variáveis segundo limites inferior e/ou superior (Santos, 2002).
Programação Linear
Consoante algumas restrições lineares de igualdade ou de desigualdade, as situações reais podem ser descritas por uma função objetivo. Essa função objetivo deve ser maximizada ou minimizada para satisfazer essas restrições. Constitui-se assim um problema da Programação Linear (Ales, 2008). A forma padrão é representada por:
Minimizar 𝑓(𝑥)
x ∈ D
Na qual 𝑓(𝑥) é uma função linear e D é o conjunto das restrições também lineares. As condições de Karush-Kuhn-Tucker (KKT) são as condições de otimização de um Problema Linear. Tratando-se de um problema linear, as condições de primeira ordem que permitem a convexidade bastam para garantir a existência de um ótimo global.
Programação não Linear
Quando a função objetivo e/ou as funções de restrição são não-lineares. Uma generalização do problema tem a seguinte forma:
Minimizar 𝑓(𝑥)
x ∈ D
Em que 𝑓(𝑥) pode ser uma função não linear e D o conjunto das restrições. Esse problema possui uma solução global garantida pelo teorema a seguir:
Teorema de Weierstrass - Sejam D ∈ ℝ𝒏 um conjunto compacto não vazio e 𝒇: 𝑫 → ℝ uma função contínua. Então o problema de minimizar a função 𝒇(𝒙)com x ∈ D possui
solução global. Um problema não linear pode ser resolvido através de vários métodos, como por exemplo, Multiplicadores de Lagrange, Método de Newton, Método do Gradiente, entre outros. As caraterísticas de cada método diferem entre si e possuem diferentes tipos de convergência.
Programação Quadrática
Situações gerais de programação quadrática possuem uma função objetivo quadrática e estão sujeitos as restrições lineares ou quadráticas. Neste caso, a forma da função objetivo é:
𝑓(𝑥) = 𝑘𝑇𝑤 +1
2𝑥𝑇 𝑄𝑤
34
Para algum vetor k, w é a variável desconhecida, T é o expoente e Q é uma matriz simétrica.
Programação Quadrática Convexa
Um dos tipos mais específicos de problemas da programação quadrática trata situações quadráticas convexas, como é o exemplo das técnicas de SVM. O principal teorema da programação convexa é: “Um qualquer mínimo local de um problema de programação convexa
é um mínimo global.”
A programação quadrática convexa divide-se, ainda, em dois tipos dependendo se o tipo de problema é primal ou dual. Para efetuar a pesquisa de máximos e mínimos condicionados, como nos problemas quadráticos convexos e demais problemas de otimização, é necessário utilizar o método de Lagrange. Esse método é usado para solucionar o treino de SVM.
Condições de Kuhn-Tucker (KKT)
As condições de kuhn-Tucker têm como objetivo reconhecer quando foi atingida a solução ótima para o problema. A função objetivo na maioria dos casos é não linear e sujeita as restrições. Como tal, não é suficiente analisar a derivada. As condições para a otimização são:
A função objetivo deve ser convexa para a minimização ou côncava para a maximização.
As restrições do problema devem delimitar um conjunto convexo.
Teoria de Lagrange
A teoria de Lagrange tem como objetivo caraterizar a solução de um problema de otimização quando normalmente não existem restrições de desigualdade. Este método foi desenvolvido por Lagrange em 1797 e é uma generalização do teorema de Fermat de 1692. Em 1951, Kuhn e Tucker adaptaram o método para permitir restrições de desigualdade.
Exemplificação do Teorema de Fermat
Uma condição necessária para 𝑥𝑖 ser um mínimo de 𝑓(𝑥), 𝑓 ∈ 𝐶1, é que a derivada da
função seja nula nesse ponto. Como tal,
𝜕𝑓(𝑥𝑖)
𝜕𝑥
= 0
Caso existam e sejam contínuas 𝜕1𝑓 e 𝜕2𝑓, considera-se uma função 𝑓 pertencente a
uma classe 𝐶1 . Ou seja, se uma função é convexa e de classe 𝐶1 basta encontrar o ponto
𝑥𝑖 que satisfaça a condição acima, isto é, com derivada igual à zero, e este ponto será o resultado da minimização da função. Em problemas com restrições, é preciso definir a função de Lagrange, a qual engloba informações sobre as restrições e a própria função objetivo. O conceito da função de Lagrange define-se como a função objetivo somada
35
com a combinação linear das restrições, onde os coeficientes da combinação linear são chamados de Multiplicadores de Lagrange (Santos, 2002). Dado um problema de otimização com função objetivo 𝑓(𝑥) e restrições de igualdade ℎ𝑖(𝑥) = 0, i = 1, …, m, a
função de Lagrange é definida como:
𝐿(𝑥, 𝛼) = 𝑓(𝑥) + ∑ 𝛼𝑖ℎ𝑖(𝑥)
𝑚
𝑖=0
Em que os coeficientes 𝛼𝑖 são os Multiplicadores de Lagrange. A partir dessa
definição é possível apresentar o teorema de Lagrange.
Teorema de Lagrange:
Uma condição necessária para um ponto 𝑥𝑖 ser um mínimo de 𝑓(𝑥) sujeito à
restrições ℎ𝑖(𝑥) = 0, 𝑖 = 1, … , 𝑚, com 𝑓 ∈ 𝐶1, é:
𝜕𝐿(𝑥
𝑖, 𝛼
𝑖)
𝜕𝑥
= 0
𝜕𝐿(𝑥
𝑖, 𝛼
𝑖)
𝜕𝛼
= 0
para qualquer valor 𝛼𝑖. Essas condições são suficientes para afirmar que um
determinado ponto é mínimo de 𝑓(𝑥) desde que a função 𝐿(𝑥, 𝛼𝑖) seja uma função
convexa de 𝑥. Verificando-se essas duas condições nos sistemas solucionados a partir delas, é alcançada a solução global. Os dois teoremas descritos até o momento, abrem caminho para o caso mais geral, o Teorema Kuhn-Tucker, no qual o problema de otimização contém tanto restrições de igualdade quanto de desigualdade (Santos, 2002).
Dualidade
A teoria de dualidade baseia-se na associação de um problema original (primal) com um outro problema, denominado dual, que sob certas condições é equivalente ao primal e que, por vezes é mais fácil de ser resolvido. As relações de dualidade são muito úteis na teoria e nas técnicas computacionais.
A dualidade mais forte é obtida em problemas primais de minimização em que a função é convexa, o que se torna mais conveniente obter a função de Lagrange. Dado um problema de otimização Primal (P) é possível encontrar um problema Dual (D) relacionado e do mesmo tipo que P, e em que os Multiplicadores de Lagrange de P são parte da solução de D, e os Multiplicadores de Lagrange de D estão contidos na solução de P. Então concluindo, se 𝑦𝑖 é a
solução do problema D, a solução do problema P pode ser determinada a partir de 𝑦𝑖 (Santos,
36