A pesquisa Operacional e os Recursos Renováveis 4 a 7 de novembro de 2003, Natal-RN
O MÉTODO DE PONTOS INTERIORES PRIMAL-DUAL BARREIRA
LOGARÍTMICA APLICADO AO PROBLEMA DE REGRESSÃO PELA
NORMA LP
Aurelio Ribeiro Leite de Oliveira
Instituto de Matemática, Estatística e de Ciência da Computação, UNICAMP, Praça Sérgio Buarque de Holanda, 651, 13081-970, Campinas, SP
E-mail:
aurelio@ime.unicamp.br
,Daniela Renata Cantane
Instituto de Ciências Matemáticas e de Computação, USP, Av. Trabalhador São Carlense, 400, 13566-590, São Carlos, SP
E-mail:
dcantane@icmc.usp.br
.Resumo
Os métodos de pontos interiores primais-duais são desenvolvidos para o problema de regressão pela norma 74 rétrutuararmatricial4 rsultaint é exploradra bjetivando urme
de perturbações são necessárias para obter um método primal-dual eficiente [22, 23]. De forma análoga, desenvolve-se uma das variantes mais importantes do método primal-dual, o método preditor-corretor [12].
A etapa seguinte desta abordagem consiste na exploração eficiente da estrutura matricial do problema. É sempre importante lembrar que a resolução de um sistema linear, em geral simétrico, consiste no passo mais caro, em termos computacionais, de cada iteração dos métodos de pontos interiores. Desta forma, a exploração da estrutura matricial pode levar a métodos de pontos interiores mais eficientes que os métodos genéricos aplicados a um problema particular. É possível também que as idéias desenvolvidas em [15, 16] para os problemas de regressão e
possam ser adaptadas a este problema devido à semelhança das estruturas matriciais com o problema .
O método IRLS iteratively reweighted least-squares [13] foi por muito tempo a única alternativa prática para a resolução deste problema. Mais recentemente este método foi aperfeiçoado, no que diz respeito a robustez, através da inclusão de uma busca linear [9]. No mesmo trabalho, foi também proposto um novo método que apresenta características similares aos métodos de pontos interiores. Este método apresentou resultados computacionais superiores ao IRLS.
Ambos métodos apresentados em [9] têm uma importante desvantagem: a busca linear é computacionalmente cara. Isto nos leva a acreditar que os métodos de pontos interiores aplicados a este problema podem obter resultados computacionais superiores, repetindo o desempenho obtido na minimização pelas normas e em [15, 16], respectivamente.
2. O Problema de Regressão pela Norma
O problema de regressão
(1)
onde , e , tem inúmeras aplicações em diversas áreas de ciências e
engenharias. As normas mais utilizadas são as norma 1, 2 e . A norma-2 é muito popular entre outros motivos por permitir uma solução direta. Por sua vez a norma-1 permite diminuir o efeito de pontos discrepantes enquanto que a norma- garante proteção contra o pior caso. Os dois últimos problemas podem ser formulados por programação linear e os métodos de pontos interiores aplicados a estes problemas permitem a exploração da estrutura matricial do problema de forma bastante eficiente [15, 16].
O problema é teoricamente interessante pois é uma extensão de um problema de
minimização diferenciável por partes quando , de um problema de minimização
diferenciável de 1ª ordem (mas não diferenciável de 2ª ordem) quando e até um problema diferenciável de 2ªordem quando .
O objetivo deste trabalho consiste na aplicação de métodos de pontos interiores ao problema de regressão
(2)
onde .
Este problema pode combinar as propriedades de regressão das normas 1 e 2 de forma apropriada para cada aplicação.
(3) pois sempre uma solução ótima tal que ou .
Com este modelo não é necessário trabalhar com valores absolutos e, portanto, temos uma função cuja primeira derivada é definida para qualquer ponto. Além disso, quando temos exatamente o modelo de regressão resultando em um problema de otimização linear.
2.1 Método GNCS
Vamos agora apresentar o resumo do método desenvolvido em [9] para o problema de regressão pela norma . O método é referido como GNCS, é um método de Newton globalizado que usa as condições de folgas complementares para o problema da norma . O conteúdo e as notações desta seção estão de acordo com o artigo [9].
Dado o ponto inicial com e .
Passo 1: Calcule
onde , , e
Sejam , .
Defina ;
Passo 2: Calcule a direção por
Atualize :
Passo 3: Calcule
Use o procedimento de busca linear descrito a seguir.
Atualize , .
Vá para o passo 1.
2.1.1 Procedimento de Busca Linear
Descreveremos agora o procedimento de busca linear utilizado pelo método GNCS. Dados , , , , , (p.ex. ) e definido por
Passo 1: Seja com . Se
onde é satisfeito com , seja e defina e retorna; caso contrário, continua;
Passo 2: Se (4) não é satisfeito com , continua para o próximo passo. Caso contrário, estabeleça
onde , retorna;
Passo 3: Seja
2.1.2 Critério de Convergência
O critério de convergência utilizado é dado por:
3. Métodos de Pontos Interiores Aplicados ao Problema de Regressão pela Norma
O problema (3) também pode ser escrito como
(5)
A função objetivo é denotada em termos de e por , o gradiente é
denotado por
onde é uma matriz diagonal denotada por .
Utilizando o Método Primal-Dual Barreira Logarítmica [3, 6, 10], temos
onde é o parâmetro barreira . A Lagrangiana é dada por
Aplicando as condições de otimalidade [2, 3],obtemos
onde e são matrizes diagonais cujos elementos diagonais são e respectivamente.
Utilizando o Método de Newton [3, 10, 23], chegamos a
onde
Resolvendo (7), obtemos as direções . Assim, temos o sistema
Através de eliminação de variáveis o sistema (8) se reduz a
onde (7) , 0 0 0 0 0 0 4 3 2 1 2 2 = + − + − − − r r r r dv du dy dx V G G I G U G I I I A At µ µ (8) ) ( ) ( . 4 2 3 2 2 1 = + + + − = + + + = − + = − − r dv V G Gdu dy r Gdv du U G dy r dv du Adx r dy At µ µ { (6) 0 0 0 0 1 1 ) , , , ( = − − + − − − + = ∇ − − y V g y U g b v u Ax y A L t v u y x J µ µ
Agora, vamos calcular o passo , onde e permaneçam estritamente positivas [23]:
Conhecendo as direções e os passos, todas as variáveis do problema podem ser atualizadas por
A atualização do parâmetro barreira é dada por
Apresentamos agora o resumo do método de pontos interiores para o problema .
Dados e tal que , e
Para faça
Até convergir.
O critério de convergência é baseado nas condições de otimalidade (6):
3.2 Pontos Iniciais
Os pontos iniciais são calculados baseados nas idéias desenvolvidas em [5]:
De fato, em [5] e não são definidos. Foi proposto em [16] esta escolha para eles de modo que satisfaça a relação . Assim, se é , ambos e são da mesma ordem de
. Lembramos que, por definição, . Estabelecemos .
3.3 Algumas Considerações
Na maioria dos métodos de pontos interiores o passo mais caro em termos computacionais é a solução do sistema linear com uma matriz do tipo , onde é uma matriz diagonal.
O sistema linear obtido em nosso trabalho é simétrico e definido negativo e assim pode ser resolvido pela decomposição de Cholesky. Obtemos, então, um sistema muito menor que o sistema original [7] e da mesma dimensão dos sistemas resolvidos pelo método do Y. Li [9].
4. Resultados Computacionais
Aproximamos , calculado em , por um polinômio de grau : tal que
as normas são minimizadas. As duas funções testes utilizadas são as mesmas funções utilizadas em [9] e são dadas por
O método de pontos interiores primal-dual barreira logarítmica, referido como MPINLp e o método de convergência GNCS foram implementados em Matlab 5.3, com o sistema operacional Windows Mileniun, processador Intel Celeron 600MHz.
< < + = + = contrário. caso , 0 , 2 , 0 1 , 0 se , 5 ) ( , 1 ) ( 2 1 z e z f z z f z
Primeiramente, utilizando a função , obtemos
A tabela a seguir mostra os resultados obtidos pelos programas métodos de pontos interiores e GNCS respectivamente. P It Flops It Flops 1 10 12760 13 14798 1,01 5 6840 16 18423 1,1 12 15128 56 64303 1,2 15 18680 73 83802 1,3 4 5656 56 64303 1,4 6 8023 32 36775 1,5 5 6839 25 28746 1,6 5 6839 19 21864 1,7 4 5655 17 19570 1,8 4 5655 11 12688 1,9 4 5655 8 9247 Tabela 1: MPINLp e GNCS Agora, utilizando a função , obtemos
A tabela a seguir mostra os resultados obtidos pelos programas métodos de pontos interiores e GNCS respectivamente.
P It Flops It Flops 1 3 4472 2 2357 1,01 20 24600 2 2365 1,1 11 13944 3 3512 1,2 3 4472 3 3512 1,3 4 5656 42 49029 1,4 9 11576 7 8100 1,5 7 9208 7 8100 1,6 4 5655 21 24158 1,7 4 5655 17 19570 1,8 4 5655 15 17276 1,9 3 4471 1 1218 Tabela 2: MPINLp e GNCS 5. Conclusões
Comparando os dois métodos podemos verificar que, tanto em relação as iterações quanto em relação ao número de flops, nossos resultados apresentaram-se melhor que os resultados do método GNCS para a função .
Como os critérios de convergência utilizados em cada método são distintos, os valores da função objetivo possuem uma diferença e desta forma não podemos tirar conclusões definitivas dos resultados obtidos. Como esta é uma implementação preliminar, esperamos conseguir um melhor desempenho para o nosso método de pontos interiores.
Faremos uma maior exploração da estrutura matricial do nosso método obtendo assim uma implementação mais eficiente. Realizaremos também extensivos testes computacionais com exemplos grandes (caso no qual os métodos de pontos interiores obtêm melhores resultados) comparando as duas abordagens.
Agradecimentos
Este trabalho tem apoio parcial da FAPESP (Fundação de Amparo à Pesquisa do Estado de São Paulo) e CNPq (Conselho Nacional Brasileiro de Desenvolvimento Científico e Tecnológico).
Referências
[1] I. ADLER, M. G. C. RESENDE, G. VEIGA, AND N. KARMARKAR An Implementation
of Karmarkar’s Algorithm for Linear Programming, Mathematical Programming, 44
(1989), pp. 297-335.
[2] M. S. BAZARAA Linear programming and network flows, 2nd ed., John Wiley & Sons, 1990.
[3] M. S. BAZARAA, H. D. SHERALI AND C. M. SHETTY Nonlinear Programming:
Theory and Algorithms, John Wiley & Sons, 1979.
SIAM J. Optimization, 10 (2000), pp.852-877.
[5] T. F. COLEMAN and Y. LI, A globally and quadratically convergent affine scaling method
for linear problems, Math. Programming, 56 (1992), pp. 189-222.
[6] A. S. El-BAKRY and R. A. TAPIA AND T. TSUCHIYA AND Y. ZHANG On the
Formulation and the Theory of the Newton Interior-Point Method for Nonlinear Programming, Journal of Optimization Theory and Applications, 89 (1996), pp. 507-541.
[7] J. GONDZIO, Multiple centrality corrections in a primal-dual method for linear
programming, Computational Optimization and Applications, 6 (1996), pp. 137-156.
[8] J. L. KENNINGTON AND R. V. HELGASON, Algorithms for Network Programming, Wiley, New York, 1980.
[9] Y. LI, A globally convergent method for problems, SIAM J. Optimization, 3 (1993), pp.
609-629.
[10] D. G. LUENBERGER, Linear and Nonlinear Programming, Second Edition, Addison-Wesley, 1989.
[11] I. J. LUSTIG, R.E. MARSTEN AND D. F. SHANNO, On implementing Mehrotra’s
predictor-corrector interior point method for linear programming, SIAM J. Optimization,
2 (1992), pp. 435-449.
[12] S. MEHROTRA, On the implementation of a Primal-Dual Interior Point Method, SIAM Journal on Optimization, 2 (1992), pp. 575-601.
[13] G. MERLE AND H. SPÄTH, Computational experience with discrete approximation, Computing, 12 (1974), pp. 315-321.
[14] A. R. L. OLIVEIRA AND C. LYRA, Implementação de um método de pontos interiores
para programação linear, Revista SBA: Controle & Automação, 3 (1991), pp. 370-382.
[15] , Interior point methods for the polynomial fitting problems, Trabalho submetido ao Internacional Transactions in Operational Research, (2002).
[16] A. R. L. OLIVEIRA, M. A. NASCIMENTO AND C. LYRA, Efficient implementation and
benchmark of interior point methods for the polynomial fitting problems, Statistics &
Data Analysis, 35 (2000), pp. 119-135.
[17] A. R. L. OLIVEIRA, L. NEPOMUCENO AND S. SOARES, Optimal active power
dispatch combining network flow and interior point approaches, IEEE Transactions on
Power Systems, (2003).
[18] , Short term hydroelectric sheduling combining network flow and interior point
approaches, Trabalho submetido à Electrical Power & Energy Systems, (2001).
[19] A. R. L. OLIVEIRA AND S. SOARES, Métodos de pontos interiores para problema de
fluxo de potência ótimo, Anais do XIII Congresso Brasileiro de Automática, em CD-ROM,
Florianópolis, SC, fica aceita para publicação pela revista Controle & Automação na condição de artigo convidado, (2000), pp. 790-795.
[20] M. G. C. RESENDE AND G. VEIGA, An efficient implementation of a network interior
point method, DIMACS Series in Discrete Mathematics and Theoretical Computer Science,
12 (1993), pp. 299-348.
[21] R. A. TAPIA AND YIN ZHANG, Superlinear and Quadratic Convergence of Primal-Dual
Interior Point Methods for Linear Programming Revisited, Journal of Optimization Theory
and Applications, 73 (1992), pp. 229-242.
[22] R. J. VANDERBEI, Linear Programming - Foundations and Extensions, Kluwer Academics Publishers, Boston, USA, 1996.
[23] S. J. WRIGHT, Primal-Dual Interior-Point Methods, SIAM Publications, SIAM Philadelphia, PA, USA, 1996.
