Math-Net.Ru
All Russian mathematical portal
O. P. Burdakov, Some globally convergent modifications of Newton’s method for solving systems of nonlinear equations, Dokl. Akad. Nauk SSSR , 1980, Volume 254, Number 3, 521–523
Use of the all-Russian mathematical portal Math-Net.Ru implies that you have read and agreed to these terms of use
http://www.mathnet.ru/eng/agreement Download details:
IP: 139.59.245.186
November 6, 2022, 11:04:17
Д о к л а д ы А к а д е м и и н а у к С С С Р
1980. Том 254, № 3
УДК 519.6 М А Т Е М А Т И К А
О.П. БУРДАКОВ
НЕКОТОРЫЕ Г Л О Б А Л Ь Н О СХОДЯЩИЕСЯ МОДИФИКАЦИИ МЕТОДА НЬЮТОНА
Д Л Я РЕШЕНИЯ СИСТЕМ НЕЛИНЕЙНЫХ УРАВНЕНИЙ
(Представлено академиком А А. Дородницыныму25 IV 1980)
Рассмотрим задачу поиска решения системы п уравнений сп неизвестными (1) / ( * ) = о.
П р е д п о л о ж е н и е 1. Отображение / : Rn -+Rn непрерывно дифференци
руемо в Rn и якобиан f(x) удовлетворяет неравенству
« [ / ' ( л ; ) ] -1 II < m, VxGRn.
Здесь и далее II -II обозначает как норму в Rn, так и согласованную с ней нор
му линейных операторов: Rn-+Rn.
Если выполнено предположение 1, то по теореме Адамара решение х* систе
мы ( 1 ) существует и единственно. Кроме этого, множество
£(х)=\у\ \\f(y)\\ < I I / ( J C ) I I , yGRn\ односвязно, замкнуто и ограничено для любых xGRn
П р е д п о л о ж е н и е 2. Существует окрестность S решения х* такая, что VxGS якобиан / ' (х) удовлетворяет условию Липшица
\\f\x)- / • ' ( * . ) 1 < L\\x-xJ\.
Рассмотрим следующую модификацию метода Ньютона:
( 2 ) xk + 1 = хк+акрк, Р* = - [ 4 Т 7 * .
Здесь и ниже индексы величин / и / ' указывают на соответствующий индекс их аргумента. Известно ( * ) , что если выполнено предположение 1, то обычный метод Ньютона (ак = 1) локально сходится к решению х# со сверхлйнейной скоростью, т.е. существует последовательность чисел ск -* 0, ск > 0 такая, что Wxk+i — xj<
*< ск II хк — х+ I I2- Если дополнительно выполнено предположение 2, т-о метод Ньютона локально сходится с квадратичной скоростью, т.е. существует постоянная с > 0, для которой II хк+1 - х „ II < с II хк - х * I I. В приводимой ниже теореме утверждается, что следующие способы выбора длины шага ак обеспечивают глобальную сходи
мость к х* модифицированного метода Ньютона ( 2 ) , сохраняя, вблизи от JC* такую же скорость сходимости, как и у обычного метода Ньютона.
Пусть заданы числа г > 0, е £ ( 0 , min {1, г ! ) , Л G ( 0 , 1 ) .
С п о с о б 1. В качестве ак взять \ \ где i есть наименьшее целое, удовлет
воряющее неравенству
(3) l / ( rk + Х ' р * ) Г < ( 1 - е Л ' ) 1 / * Г .
С п о с о б 2. Найти целое / > 0, как и в способе 1. Величину ак выбрать из условия
о < / < / . 521 и::.нтр I
С п о с о б 3. Величину ак выбрать из условия af c = argminll/(*f c + X'pi t)ll)
I
где / принимает всевозможные целые значения.
С п о с о б 4. Найти ак из условия ак = arg min \\f(xk + арк) II.
В способах 1 и 2 имеется в виду, что число i находится дроблением а = 1 до тех пор, пока не выполнится неравенство (3). Способам 1-4 отвечают модифика
ции метода Ньютона под соответствующими номерами. В них используется извест
ное (*) свойство ньютоновского направления, состоящее в том, что для любой нормы II -II в Rn величина Wf(xk + арк) II убывает при достаточно малых а > 0.
Для того чтобы препятствовать расходимости метода Ньютона (ак = 1) при плохом начальном приближении дс0, многие авторы (см., например, (2~5) ) предла
гали либо дробить а = 1, пока не станет I I Д+ 112 < lfkИ2, что, вообщетоворя, не га
рантирует глобальной сходимости, либо минимизировать по а норму II f(xk + otpk) II2. Здесь II -И2 означает /2-норму. В некоторых из этих работ имеется доказательство убывания Wf(xk + арк) 111, но ни в одной из них нет полного исследования сходи
мости предлагаемых там модификаций метода Ньютона. В (* ,7) предлагается исполь
зовать различные методы одномерного поиска вдоль ньютоновского направления, связанные с уменьшением II f(xk + арк)Ц. В работе (6) доказано, что модифика
ция 4 метода Ньютона при /2-норме сходится глобально и что скорость сходимости сверхлинейная. Ниже, в теореме, квадратичная скорость сходимости вытекает из более слабых предположений.
Частный случай способа 1 рассматривался в работах: (8) для решения си
стем равенств и неравенств (использованы /2-норма и г = 2 ) ; (9) для поиска седло- вых точек (/2-норма, г = 1); (1 0) для решения систем равенств и неравенств
(/^ -норма, г = 1). Для решения систем уравнений-в С1 1,1 2) величина а* выбира
ется аналогично соответственно способам 1 и 2 (12 -норма) > но эти модификации более трудоемки, чем модификации 1 и 2 метода Ньютона. Предлагаемые в (8~1 2)
методы обладают общим свойством глобальной сходимости к решению указанных задач, причем для достаточно больших к длина шага ак = 1. В работе автора (1 3) доказано, что модификация 1 и 4 метода Ньютона (норма II «II произвольна) глобаль
но сходятся к решению х, системы ( 1 ) , при этом скорость сходимости квадратич
ная. Там, кроме предположения 1,. требовалось выполнение условия Липшица для / ' ( * ) во всем Rn. Упомянутые свойства модификаций 1 и 4 можно получить прг более слабых предположениях. Модификации 2 и 3 ранее не рассматривались. Имеет место следующий результат.
Т е о р е м а. Пусть выполнено предположение 1; тогда модификации 1—4 метода Ньютона (2) сходятся к решению х+ системы (1) глобально. При этом вбли
зи решения в модификациях 1-3 величина шага ak - 1, в модификации 4 величина ak -* 1 при к ->°°. Скорость сходимости последовательности хк -+х> сверхлинейная, и если дополнительно выполнено предположение 2, то квадратичная.
Норма II / ( х ) II, вообще говоря, не дифференцируема по х9 однако оказыва
ется, что функций II/(* + otp) II аргумента а, где р = - [/'(*)] ~lf(x) » дифференци
руема в точке а = 0. Более того, ее производная II f(x + ар)\\'а=0 = Ух GRn.
Это свойство метода Ньютона существенно используется в доказательствах теоре
мы и дает возможность говорить о том, что способ 1 является обобщением извест
ного в безусловной минимизации правила Армийо (7,1 4) на случай, вообще говоря, не дифференцируемых по х функций II f(x) IIг, но дифференцируемых вдоль направ
ления движения.
522
Основные результаты настоящей работы останутся в силе, если ослабить пред
положение 1, заменив его на
П р е д п о л о ж е н и е 3. Существует открытая область Ф С Rn такая, что отображение / : S)CRn -+Rn непрерьюно Дифференцируемо в Ю. Существует точка z G Ю такая, что множество
JC(z)= W ll/(x)ll < I I х Е Ю \
односвязно, компактно и его выпуклая оболочка принадлежите. Якобиан не вы
рожден в JC(z).
В этом случае можно показать, что, во-первых, в £(z) существует и единст
венно решение х„ системы (1); во-вторых, если в способах 1-4 дополнительно потребовать, чтобы пробные точки хк + арк Е Ю (при малых а это будет всегда), то останутся в силе утверждения теоремы, в которой глобальную сходимость сле
дует заменить на сходимость из любой точки х0 Е J C ( Z ) . Если в предположении 3 множество £(z) не односвязно, то его односвязные компоненты задают области притяжения модифицированного метода Ньютона.
В заключение отметим, что среди способов 1-4 нельзя выделить один, ко
торый во всех случаях был бы предпочтительнее остальных. На практике может быть полезным способ 5, являющийся сочетанием способов 1 и 3. В нем сначала проверяется неравенство (3) при а = 1. Если оно выполнено, то полагают ак = 1, а если нет, то продолжается поиск по способу 3. Для способа 5 выполняются все утверждения теоремы, относящиеся к способу 1.
Московский физико-технический институт - Поступило Долгопрудный Московской обл. 29 IV 19S0
ЛИТЕРАТУРА
1 Дж. Ортега, В. Рейнболдт, Итерационные методы решения нелинейных систем урав
нений со многими неизвестными, М., "Мир", 1975. 2 AM. Gleyzal, Q u a r t J. Appl. Math., v. 17, 95 (1959). 3 C.B. Haselgrove, Comput. J., v. 4, № 3, 255 (1961). 4 B.K. Исаев, B.B. Сонин, Журн.
вычисл. матем. и матем. физ., т. 3, № 6, 1114 (1963). 5 ВМ. Лебедев, В сб.: Математические методы в динамике космических аппаратов, в. 5, М., 1963. 6 ВМ. Купцов, Е.Г. Шуршкова, В сб.: Вычислительные методы и программирование, э- 14, 1970. 7 Э. Полак, Численные ме
тоды оптимизации, М., "Мир", 1974. 8 Е. Polak, I. Teodoru, In: Nonlinear Programming 2, N.Y., 1975. 9 ЮМ. Данилин, ВМ. Панин, Кибернетика, № 3, 119 ( 1 9 7 4 ) . 1 0 БМ. Пшеничный, Матем. заметки, т. 8, № 5, 635 ( 1 9 7 0 ) . 1 1 ВМ. Панин, В сб.: Теория оптимальных решений, Киев, 1976. 1 2 / . Stoer, Einfuhrung in die numerische mathematik, Berlin, 1976. 1 3 ОМ.Бур- даков, В сб.: Исследование операций, в. 7, М„ 1979. 1 4 L. Armijo, Pacific J. Math., v. 1 6 , 1 (1966).
УДК519.95 М А Т Е М А Т И К А
M. ГЕССЕЛЬ (ГДР), В.Г. СРАГОВИЧ
АДАПТИВНОЕ УПРАВЛЕНИЕ МАРКОВСКИМИ ЦЕПЯМИ С ДОХОДАМИ (Представлено академиком А А. Дородницыным 1IV 1980)
Управляемая марковская цепь (S, , Y) представляет собой совокуп
ность множеств состояний S = {$г,..., sm\ и управлений Y= {уи... ,ук\ и систему из к стохастических матриц = \ру(у) II, где pif(y) = P{st^ sj) - управ
ляемые переходные вероятности. Обычно задают еще начальное состояние s0 или начальное распределение вероятностей р = (ри ..., рк). Мы будем рассматривать 523
