A.3 Caso da regress˜ ao linear geral
A.3.3 Qualifica¸c˜ ao das solu¸c˜ oes como minimizantes globais
Tendo agora em conta a discuss˜ao tida na sec¸c˜ao 2.3.3, podemos verificar que, em todos os casos, as solu¸c˜oes do sistema normal ´e sempre um ponto de estacionariedade que ´
e um minimizante global da fun¸c˜ao S definida em (1.21). Na verdade, a matriz Hessiana da fun¸c˜ao S ´e semidefinida positiva. Isso decorre de A = ZTZ definida por (A.6) ser semidefinida positiva. Resulta que a fun¸c˜ao S ´e sempre convexa. O conjunto dos seus minimizantes ´e convexo, logo conexo.
Ordens de Convergˆencia
No decorrer da nossa exposi¸c˜ao v´arias vezes referimos a ordem e raz˜ao de convergˆencia de uma sucess˜ao convergente. Por isso achamos necess´ario fazer uma breve abordagem sobre esses conceitos muito usados para classificar a eficiˆencia de algoritmos. Na literatura encontramos abordagens e nota¸c˜oes diferentes. N´os aqui basearemos essencialmente em [41, 11, 43, 29, 34].
Defini¸c˜ao B.1 Seja D um subconjunto de Rne {xk} uma sequˆencia de pontos pertencentes
a D. Diz-se que {xk} converge para um ponto x∗ e escreve-se
lim
k→∞x k= x∗
se para qualquer ε > 0, existir um ´ındice m tal que
kxk− x∗k ≤ ε, ∀ k ≥ m.
Estando estabelecida a convergˆencia de um dado algoritmo, coloca-se a quest˜ao do de- sempenho desse algoritmo. Em princ´ıpio, seria prefer´ıvel um algoritmo cuja implementa¸c˜ao exige um menor n´umero de itera¸c˜oes para obter o ´otimo x∗, de acordo com um certo crit´erio de paragem estabelecido. Infelizmente esse crit´erio n˜ao permite comparar globalmente al- goritmos, uma vez que o n´umero de itera¸c˜oes depende do tipo de fun¸c˜oes em causa, da escolha da aproxima¸c˜ao inicial e do custo computacional de cada itera¸c˜ao para algoritmos diferenciados. Mesmo assim, ´e necess´ario estabelecer crit´erios de compara¸c˜ao de algoritmos com algum significado universal. Para isso devemos analisar a ordem de convergˆencia, isto ´
e, se xk → x∗, estamos interessados em saber o qu˜ao “r´apido” isso acontece.
Consideremos o espa¸co Rn, onde k.k representa a norma Euclidiana.
Defini¸c˜ao B.2 Seja xk uma sequˆencia em Rn que converge para x∗. Dizemos que a con-
vergˆencia ´e linear se existe uma constante real r ∈]0, 1[ tal que kxk+1− x∗k
kxk− x∗k ≤ r, para todo k suficientemente grande. (B.1)
Quando a convergˆencia ´e linear, o erro absoluto relativamente a x∗decresce a cada itera¸c˜ao, no m´ınimo, por um fator constante. Havendo convergˆencia linear diz-se que a ordem de convergˆencia ´e um.
Defini¸c˜ao B.3 A convergˆencia de uma sequˆencia {xk} ´e dita superlinear se lim
k→∞
kxk+1− x∗k
kxk− x∗k = 0. (B.2)
Defini¸c˜ao B.4 A convergˆencia ´e chamada quadr´atica se existe um real positivo M tal que kxk+1− x∗k
kxk− x∗k2 ≤ M, para todo k suficientemente grande. (B.3)
De forma an´aloga definem-se ordens de convergˆencia trˆes, quatro, etc, mas essas ordens de convergˆencia raramente s˜ao utilizadas em otimiza¸c˜ao.
De um modo geral, diz-se que que a ordem de convergˆencia ´e p (com p ≥ 1) se existe uma constante positiva M tal que
kxk+1− x∗k
kxk− x∗kp ≤ M, para todo k suficientemente grande. (B.4)
Por vezes usa-se a designa¸c˜ao q-ordem de convergˆencia (q-linear, q-superlinear e q-quadr´atica) para indicar que o tipo de convergˆencia ´e definido por quociente entre erros consecutivos.
Toda sequˆencia que converge quadraticamente tamb´em converge superlinearmente, e por sua vez, a convergˆencia superlinear implica a convergˆencia linear.
Exemplo B.1 Cada uma das sequˆencias seguintes xk converge para x∗ dado.
xk = 1 k −→ x ∗ = 0 xk = 1 + 10−k −→ x∗ = 1 xk = 1 + 1 2 2k −→ x∗ = 1 ( xk+1 = 15ln(xk+ 1) x0 = 1 −→ x ∗ = 0
(a) Prove que a sequˆencia xk = k1 n˜ao converge para zero q-linearmente. (b) Indique a ordem de convergˆencia para as outras sequˆencias.
Resolu¸c˜ao: (a) kxk+1k kxkk = k k + 1 −→ 1. Logo, a sequˆencia n˜ao converge para zero q-linearmente.
(b) kxk+1− 1k kxk− 1k = 10−k−1 10−k = 10 −1.
A sequˆencia converge q-linearmente para 1, com raz˜ao de convergˆencia r = 10−1. kxk+1− 1k kxk− 1k2 = 1 2 2k+1 h 1 2 2ki2 = 1,
logo a sequˆencia converge q-quadraticamente para 1. kxk+1k kxkk = 1 5ln(x k+ 1) xk −→ 1 5, visto que x k → 0.
A sequencia converge para zero q-linearmente, com raz˜ao de convergˆencia 15.
Alguns autores definem outro tipo de convergˆencia caracterizada pelo prefixo “r” (raiz). ´E uma forma mais fraca de convergˆencia que ´e usada para caraterizar taxas de convergˆencia de algoritmos quando a convergˆencia ´e n˜ao mon´otona.
Defini¸c˜ao B.5 Dada uma sucess˜ao em Rnque converge para x∗, diz-se que a convergˆencia
´
e r-quadr´atica se existir uma sucess˜ao de n´umeros reais {αk} que converge q-quadraticamente
para zero, tal que para todo k
kxk− x∗k ≤ α k.
[1] Ben-Israel A. On iterative methods for solving nonlinear least squares problems over convex sets. Israel Journal of Mathematics, 5(4):211–224, 1967.
[2] Horn R. A. and Johnson C. R. Matrix Analysis. Cambrigde University Press, U.K., 1st edition, 1985.
[3] A. Antoniou and W. Lu. Practical Optimization, Algorithms and Engineering Appli- cations. Springer, New York, 2007.
[4] A. C. Barbero, J. L. H. Pagoaga, and J. R. T. S´anchez. C´alculo Num´erico, Teor´ıa y Problemas. Editorial de la Universidad Polit´ecnica de Valencia, Valencia, 2nd edition, 2004.
[5] P. T. Boggs and J. E. Rogers. Orthogonal distance regression. Technical report, Applied and Computational Mathematics Division, U.S Department of Commerce, National Institute of Standards and Technology, Gaithersburg, 1990.
[6] S. C. Chapra and R. P. Canale. M´etodos Num´ericos para Engenharia. McGraw-Hill, Av. Brigadeiro Faria Lima, S˜ao Paulo, 5th edition, 2008.
[7] Jukiˇc D., Sabo K., and Scitovski R. A review of existence criteria for parameter estimation of the Michaelis-Menten regression model. Annals of university of Ferrara, 53:281–291, 2007.
[8] Jukiˇc D. and Scitovski R. Existence of optimal solution for exponential model by least squares. Journal of Computational and Applied Mathematics, 78:317–328, 1997. [9] Jukiˇc D. and Scitovski R. Solution of the least-squares problem for logistic function.
Journal of Computational and Applied Mathematics, 156:159–177, 2003.
[10] Jukiˇc D. and Scitovski R. Least squares fitting gaussian type curve. Applied Mathe- matics and Computation, 167:286–298, 2005.
[11] J. E. Dennis and R. B. Schnabel. Numerical Methods for Unconstrained Optimization and Nonlinear Equations. SIAM, New York, 1996.
[13] Demidenko E. Criteria for global minimum of sum of squares in nonlinear regression. Computational Statistics and Data Analysis, 51:1739–1753, 2006.
[14] Dubeau E. and Youness M. I. R. Existence of optimal weighted least squares estimate for three-parametric exponential model. Communications in Statistics - Theory and Methods, 37(9):1383–1398, 2008.
[15] Gill P. E. and Murray W. Algorithms for the nonlinear least-squares problem. SIAM Journal of Numerical Analysis, 15(5):977–992, 1978.
[16] J. S. Esteves. Apontamentos de Otimiza¸c˜ao Num´erica. Universidade de Aveiro, 2012. Notas de aula.
[17] E. M. Fernandes. Computa¸c˜ao Num´erica. Universidade do Minho, Braga, 2nd edition, 1997.
[18] Ramsin H and Wedin P. A comparison of some algorithms for the nonlinear least squares problem. BIT Numerical Mathematics, 17(1):72–90, 1977.
[19] G. Iezzi and S. Hazzan. Fundamentos de Matem´atica Elementar. Atual Edi¸c˜ao, S˜ao Paulo–Brasil, 2nd edition, 1977.
[20] Herskovits J., Veranise D., Soares C. M. M., and Ara´ujo A. Interior point algorithms for nonlinear constrained least squares problems. Inverse Problems in Science and Engineering, 12(2):211–223, 2004.
[21] A. Jalid. Nouvelle m´ethode d’estimation des param`etres de surface et incertitudes associ´ees. In 19ˆeme Congr´es Fran¸cais de M´ecanique, Douai, France, 2009.
[22] Madsen K., Nielsen H. B., and Tingleff O. Methods for non-linear least squares pro- blems. Informatics and Mathematical Modeling, Technical University of Denmark, Matematiktorvet, Lyngby, Denmark, 2004.
[23] C. T. Kelley. Iterative methods for optimization: Matlab codes. http://www4.ncsu. edu/~ctk/matlab_darts.htm, 1999. [Acedido a 17 de Maio de 2013].
[24] P. Lancaster and M. Tismenetsky. The Theory of Matrices. Academic Press, San Diego CA, USA, 2nd edition, 1984.
[25] D. G. Luenberger and Y. Ye. Nonlinear Programming. Dept. of Management Science and Engineering, Stanford University, Stanford, CA, USA, 3rd edition, 2008.
[26] Nesam M. and Bartels R. H. Constrained nonlinear least squares: An exact penalty approach with projected structured quasi-newton updates. ACM Transactions on Mathematical Software, 15(3):220–242, 1989.
[27] H. J. Mart´ınez and I. Rivas. El Problema de M´ınimos Cuadrados no Lineales: Metodos de Solucion. Universidad de los Andes, Colombia, 2005.
[28] F. M. Mello and R. C. Guimar˜aes. Optimiza¸c˜ao Num´erica com Aplica¸c˜oes na Mo- dela¸c˜ao Hidrol´ogica. Edi¸c˜oes S´ılabo, Lisboa, 2008.
[29] J. Nocedal and S. J. Wright. Numerical Optimization. Springer, New York, 2nd edition, 1999.
[30] Guller O. Foundations of Optimization. Graduate Texts in Mathematics 258. Springer, New York, 2010.
[31] H. Pina. M´etodos Num´ericos. Escolar Editora, Rua do Vale Formoso, 37, Lisboa, 2nd edition, 2010.
[32] A. Quarteroni, R. Sacco, and F. Saleri. Numerical Mathematics. Springer, New York, 2nd edition, 2006.
[33] S. S. Rao. Engineering Optimization, Theory and Practice. John Wiley & Sons, Hoboken, United States of America, 4th edition, 2009.
[34] A. A. Ribeiro and E. W. Karas. Um curso de Otimiza¸c˜ao. Universidade de Curitiba, Curitiba, Brasil, 2001.
[35] R. Rodrigues and A. Pereira. Apontamentos de An´alise Num´erica. Universidade de Aveiro, Aveiro, 2010. Notas de aula.
[36] A. C. Santo. Modela¸c˜ao e Estima¸c˜ao de Parˆametros. Universidade do Minho, Braga, 2001.
[37] F. M. C. Santos. Fundamentos de An´alise Num´erica. Edi¸c˜oes S´ılabo, R. Cidade de Manchester, 2, Lisboa, 1st edition, 2002.
[38] S. Shan. A Levenberg-Marquardt method for large-scale bound-constrained nonlinear least-squares. Master thesis in computer science, The University of British Columbia, Vancouver, 2008.
[39] Soares, J. L. C. M´etodos de Newton para Optimiza¸c˜ao com Restri¸c˜oes Simples. De- partamento de Matem´atica, Faculdade de Ciˆencias e Tecnologia da Universidade de Coimbra, 1993. Provas de Aptid˜ao Cient´ıfica.
[40] Carlos Sousa. Apontamentos de Complementos de Matem´atica. Universidade do Al- garve, Escola Superior de Tecnologia, 2007. Notas de aula.
[41] T. Tchemisova. Otimiza¸c˜ao em Redes e N˜ao Linear. Universidade de Aveiro, 2008. Notas de aula.
[42] J. Tvrdik and I. Kriv. Nonlinear Regression (14 difficult models). University of Ostrava, Ostrava, Czech Republic, 2000.
[43] L. N. Vicente. Apontamentos de Matem´atica Num´erica II. Departamento de Ma- tem´atica, Faculdade de Ciˆencias e Tecnologia da Universidade de Coimbra, 2006. Notas de aula.
[44] Marquardt D. W. An algorithm for least-squares estimation of nonlinear parameters. SIAM Journal, 11(2):431–414, 1963.
[45] Yuan Y. Recent advances in numerical methods for nonlinear equations and nonlinear least squares. Numerical algebra, control and optimization, 1(1):15–34, 2011.