Math-Net.Ru
Общероссийский математический портал
В. М. Тихомиров, Теория экстремума и экстремаль- ные задачи классического анализа, Итоги науки и техн. Сер. Соврем. мат. и ее прил. Темат. обз., 1999, том 65, 188–258
Использование Общероссийского математического портала Math- Net.Ru подразумевает, что вы прочитали и согласны с пользователь- ским соглашением
http://www.mathnet.ru/rus/agreement Параметры загрузки:
IP: 139.59.245.186
6 ноября 2022 г., 01:45:13
УДК 517.972.8
V . Т Е О Р И Я Э К С Т Р Е М У М А И Э К С Т Р Е М А Л Ь Н Ы Е З А Д А Ч И
К Л А С С И Ч Е С К О Г О А Н А Л И З А В. М. Тихомиров
С О Д Е Р Ж А Н И Е
§ 0. Введение 189
§ 1. Принцип Лагранжа для необходимых условий экстремума 198 1.1. Формулировка принципа Лагранжа для гладко
выпуклых задач. 199 1.2. Доказательство принципа Лагранжа для гладко
выпуклых задач 200 1.3. Следствия принципа Лагранжа 205
§ 2. Возмущения экстремальных задач. Существование.
Алгоритмы 212 2.1. Возмущения экстремальных задач 212
2.2. Расширение экстремальных задач и существование
решений 214 2.3. Алгоритмы оптимизации 219
2.4. Применение общих концепций к отдельным классам
экстремальных задач 223
§ 3. Приложения общей теории к решению конкретных задач 225
3.1. Общие решения . . . 228 3.2. Частные решения 239 3.3. Некоторые экстремальные задачи теории приближений248
§ 4. Заключительные замечания 253
Литература 256
Работа выполнена при финансовой поддержке Российского фонда фунда
ментальных исследований (проект № 96-01-00325), INTAS-OPEN 97-1050 и программы поддержки научных школ РФ (проект № 96-15-96072).,
В статье обсуждаются основные принципы, на которых бази
руются теоремы о необходимых и достаточных условиях экстре
мума, о существовании решений и алгоритмах их нахождения, а также о двойственности в выпуклом анализе. Даются прило
жения этих принципов к решению серии экстремальных задач классического анализа. ^
§ 0. Введение
Формализация экстремальных задач. Вследствие того, что экстремальные задачи (как правило) изначально описываются на языке той области науки, в которой они возникли, необходим перевод такого описания на язык математического анализа. Он называется формализацией задачи.
Формализовать экстремальную задачу — это значит описать минимизируемый функционал /о : J -> 1, R = 1 U ±оо, (в частности, его область определения X) и ограничение С С X.
Ограничения обычно задаются системой равенств, неравенств и включений.
Мы далее употребляем такую запись формализованной проб
лемы:
/о(х) —> min(max), х Е С. (Р) Точки х Е С называют допустимыми. Допустимая точка х
называется абсолютным минимумом (максимумом) задачи (Р), если /о (х) ^ /о (ж) (/о (х) ^ /о(#)) РЛ% всех х Е С. Абсолютный минимум (максимум) в проблеме (Р) мы называем еще решени
ем проблемы или глобальным минимумом (максимумом). Конеч
ной целью является нахождение глобального экстремума (мини
мума или максимума) в задаче (Р), но сначала (как правило) ищутся локальные экстремумы, определение которых требует, чтобы X = (X, т) было топологическим пространством (г — со
вокупность открытых множеств в X). Пусть (Х,т) — тополо
гическое пространство. Допустимая точка х называется локаль
ным минимумом (максимумом) в (Р), если существует окрест
ность U Е т такая, что х есть решение задачи fo(x) -> mm, х Е СC\U. Изменив (если это нужно) знак функционала, можно сменить задачу на отыскание максимума на задачу минимиза
ции, и мы зачастую так ж будем поступать.
Основные темы и принципы общей теории экстремума. По поводу каждой экстремальной задачи можно поставить такие вопросы:
1) Каковы необходимые условия экстремума в задаче?
2) Каковы достаточные условия экстремума и как описыва
ется эволюция решения при возмущении задачи?
^ Считаю своим долгом выразить благодарность Георгию Георгиевичу Магарил-Ильяеву, с которым я много обсуждал проблематику этой рабо
ты, и он много способствовал ее улучшению.
3) Существует ли решение задачи?
4) Возможно ли найти решение явно и, если это затрудни
тельно, то как найти его численно?
Теория экстремума подразделяется в соответствии с этими вопросами на следующие четыре основных раздела: необходи
мые условия; возмущения экстремальных задач и достаточные условия; расширения экстремальных задач и существование ре
шений; алгоритмы отыскания решений. Естественен также раз
дел, посвященный решению конкретных задач.
В каждом из перечисленных разделов можно выделить од
ну или несколько важнейших общих идей (принципов), которые являются стержневыми в соответствующей части теории. Сфор
мулируем их.
Сначала одно важное замечание. В этой статье будут рас
сматриваться экстремальные задачи, в которых сосуществуют две структуры - гладкая и выпуклая. К таковым относится до
статочно широкий круг задач: гладкие задачи с ограничениями типа равенств и неравенств, задачи выпуклого программиро
вания, классического вариационного исчисления, оптимального управления, ляпуновские задачи, задачи с распределенными па
раметрами и многие другие (но далеко не все; эта тема обсуж
дается в последнем разделе статьи).
Одной из фундаментальных идей, которые дают возмож
ность проявиться выпуклости в задачах вариационного исчисле
ния и оптимального управления, является следующая: интегри
рование порождает выпуклость. Формой проявления этой идеи служит, например, теорема Ляпунова о векторных мерах.
А теперь сформулируем основные тезисы, касающиеся тех четырех тем, о которых было сказано.
Тезис первый. Необходимые условия экстремума в зада- чах, где сосуществуют гладкая и выпуклая структуры, соот
ветствуют одному общему принципу — принципу Лагранжа снятия ограничений.
Принцип Лагранжа состоит в снятии (элиминировании) ограничений с помощью функции Лагранжа: условия экстрему
ма в задаче с ограничениями совпадают с условиями экстре
мума функции Лагранжа в задаче без ограничений.
Тезис второй. Одной из центральных идей теории экстре
мума является мысль, выраженная Гамильтоном: следует рас
сматривать не одну задачу, а семейство задач, включающее данную. При этом, если необходимые условия обладают опреде
ленной невырожденностью (в случае выпуклых задач, к приме
ру, если множитель Лагранжа при функционале не равен нулю), то принцип Лагранжа об элиминировании ограничений может быть доведен до логического конца: можно так ("слегка") воз
мутить функцию Лагранжа, что она сама будет иметь мини
мум в задаче без ограничений (в выпуклом случае и возмущать
не нужно).
Тезис т р е т и й . Основным принципом доказательства те
орем существования решения экстремальных задач является принцип компактности {согласно которому полунепрерывная снизу функция на компакте достигает своего минимума); при этом большинство естественным образом поставленных за
дач имеет решение, возможно, в некоем естественном оке об
общенном толковании этого понятия.
Вторая часть фразы — это (в несколько усиленной форме) мысль, выраженная Гильбертом при формулировке двадцатой из его знаменитых проблем.
Тезис ч е т в е р т ы й . Алгоритмы нахождения решений конеч
номерных экстремальных задач основываются на идеях целесо
образного спуска, а также методах отсечения и штрафа. Бес
конечномерные задачи редуцируются к последовательности ко
нечномерных методами разумной дискретизации.
При решении конкретных задач оказываются весьма сущест
венными соображения инвариантности, двойственности, интег
рируемости и очистки.
Классы экстремальных задач. В этой работе будут исследо
ваться следующие совокупности экстремальных задач:
1) Задачи математического программирования. Они форма
лизуются так:
/о(а?) -> min, f{(x) < 0, 1 < t < m, F(x) = 0 , x € A. (Pi) Здесь X — линейное (векторное) пространство, faiX-tR — функционалы на X, F : X -» У — отображение в другое вектор
ное пространство У", А — некоторое подмножество X. Это — та общая задача математического программирования, которая будет нами рассматриваться. Если X и Y — нормированные пространства, /.-. и F дифференцируемы, а ограничение х € А отсутствует, то задачу (Pi) мы называем гладкой задачей с ограничениями типа равенств и неравенств. Если X и Y — векторные пространства, fi — выпуклые функции, F — аффин
ное отображение, а А — выпуклое множество, то задачу (Pi) мы называем задачей выпуклого программирования или просто выпуклой задачей. Если в выпуклой задаче X и Y — линейные пространства (обычно конечномерные), функции fi линейны, а множество А - конус (обычно полиэдральный), то задачу ( Д ) называют задачей линейного программирования. Если функци
онал квадратичен, а ограничения линейны, то (Pi) называют задачей квадратичного программирования.
2) Задачи вариационного исчисления и оптимального управ-
ления. Мы будем изучать, в основном, задачи такою рода:
Во (0 -> min;
Bi{0 ^ 0 , г = 1 , . . . , m', В»(0 = 0, * = m' + 1 , . . . , m, (P2)
£(*) - ^(t, «(*), u(0) = 0 Vt E Д, и E U,
где £ = (х(-)М'),*оЛ) E Б = РС1(АЛп) х PC(A,W) х R2
(PC — пространство кусочно-непрерывных, a PC1 — кусочно- непрерывно дифференцируемых функций), А — заданный ко-
h
нечный отрезок, t0> к Е A, U Е Кг, —Ш = j U{t,x{t), u(t)) dt +
to
fc(*o,«(*o),*b«(*i)), * = 0, 1»'< • • >m-
Функционалы типа / L(t,x(t),u(t))dt называют интеграль
ными, a l(tQix(to))ti,x(ti)) — терминальными.
Переменные х E Rn называют фазовыми, переменные и Е Rr — управлениями, функционал В{ — функционалом Больца, функции Li — интегрантами, а ^ — терминантами. Усло
вие х = (р называется дифференциальной связью. Все функции (L{Ji,(f) мы предполагаем, по крайней мере, непрерывными.
Если ограничение на управление типа включений u(t) E U отсутствует, то задачу ( Д ) называют задачей Лагранжа клас
сического вариационного исчисления (в понтрягинской форме);
если это ограничение присутствует — задачей оптимального управления в понтрягинской форме. Часто встречаются также задачи с фазовыми ограничениями типа равенств g(t, x(t)) = 0 или неравенств G(t,x(t)) < 0, где g ш G — непрерывные вектор- функции. Возможны и смешанные ограничения g(t, x(t),u(t)) = 0 и (?(t,a;(t),a(t))<0.
Если минимизируется функционал Больца при дифференци
альной связи х = и, то задачу (Яг) называют задачей Больца.
Задачу rh
J(x(*)) = / L(t,x(t),x(t))dt -ч min, x(tQ) = ж0, x{t{) = хг,
J to
называют простейшей задачей классического вариационного исчисления, задачу Jo(x(-)) -* min, Ji(x(-)) = a*, 1 ^ i ^ m, где Jj — функционалы, как в простейшей задаче, — изопери- метрической задачей. Задачу
/ L(t,x(t), x{t),... , xW(t))dt -+ min
t0
с некоторыми граничными условиями (такие задачи легко запи
сываются в виде (Р2)) называют задачей со старшими произ
водными. Если интегранты не зависят от фазовых координат, задача с фиксированным временем, терминанты выпуклы по х и дифференциальная связь Отсутствует, задача (Р2) называет
ся ляпуновской (этот класс задач будет рассмотрен в несколько расширенной форме).
О базе теории. Базой теории экстремума являются линей
ный и выпуклый анализ, аппаратом — дифференциальное и вы
пуклое исчисление. В дифференциальном исчислении важней
шую роль играет теорема об обратном Отображении; фундамен
том выпуклого анализа являются теоремы Отделимости.
Теорема об обратной функции. Пусть X и Y — нормиро
ванные пространства, V — окрестность точки х и F : V —> Y.
Отображение F называют дифференцируемым по Фреше в точ
ке ж, если существует линейный непрерывный оператор Ff(x) : X -> Y такой, что F(x + х) - F(x) = F'(x)x + г (ж), где
||г(ж)||у = о(||х||х), и строго дифференцируемым, если для вся
кого е > 0 существует S > 0 такое, что если \\xi — х\\х < <-*>
г = 1,2, то ||F(x2) - F{xx) - F'(x)(x2 ~ хг)\\у ^ е\\х2 - хг\\х. Оператор F'(x) называется производной {Фреше) отображения F в точке х.
Пусть U — топологическое пространство, (ж, и) G l x W , UQ
— окрестность точки XBXTS.F:UQXU-^Y — отображе
ние такое, что F(x,2) = 0. Мы скажем, что это отображение строго дифференцируемо по х в точке х равномерно по „, если отображение х \~± F(x,u) дифференцируемо по Фреше в ж и для любого е > О найдутся 5 > 0 и окрестность WQ С U такие, что из \\х{ — х\\х < 5, и е Wo, следует
\\F(x2,u) - F(xuu) - Ffx(x,u){x2 - хг)\\у < е\\х2 - хг\\х. Теорема (параметрическая теорема об Обратном отображе
нии). Пусть X uY — банаховы пространства, U — топологи
ческое пространство} F строго дифференцируемо по Фреше по х в точке х равномерно по и и регулярно (т.е. F'(x, u)X = У).
Тогда существует окрестность V точки (ж, 0, и) Е X х Y х Ы, отображение <р : V —> X и число С > 0 такие, что
F(x + <p(x,y,u),y)^y) \\<p(z;y,u)\\x<C\\y-F(x,u)\\Y. (1)
Доказательство. Обозначим F'Jx^) через Л. По лемме о правом обратном (являющейся линейным вариантом теоремы об обратной функции, см. [9]) существует Оператор R : Y -» X такой, что Л о Ry = у и ЦДу||хл< С\\у\\у Vy. Без ограничения общности, можно считать, что х = 0 и С = 1 (иначе заменим
|| - ||у на С"11| • ||у). ДЛЯ 0 < в < 1 найдем <5>Ои окрестность WQ СЫ такие, что
\\F(z2,u) - F{xuu) - Л(х2 - XI)\\Y < Ф2 - «1 \\х
\Ы\Х<6,
ueWo.
WОбозначим М(х) = х + R(y - F(x,u)), \\x\\x < S, и £ WQ}
||у||у < (1 — 6)8. Тогда, как нетрудно показать, последователь
ность хк = MOcjb-i), к Е N, ||x0|U < *i B с и лУ (*) определена для всех к Е N и фундаментальна и, следовательно, сходится к элементу </?(хо-2/-*0 - ^ и ПРИ э т о м удовлетворяются соотноше
ния (1). • Следствие (теорема Люстерника). Пусть X и Y — бана
ховы пространства, G : X -> У. - отображение, строго диф
ференцируемое и регулярное в точке х {т.е. G'(x)X = Y) и равное в этой точке нулю. Тогда любой элемент ядра опе
ратора G!{x) является касательным вектором к многообра
зию NG(%) : = {х I G{x) = 0} {т.е. существует отображение г : [-1,1] -> X такое, что G{x + tx + r{t)) = 0 Vi E [-1,1], r{t) = o{t).
Действительно, надо положить U = {0}, -F(x,0) = G{x) и r(t) = </>(£ + t e , 0,0).
Теорему отделимости мы сформулируем в следующем пунк
те.
Основные теоремы выпуклого анализа. Пусть X — локаль
но выпуклое постранство, X* — сопряженное пространство к X, (х*,х) означает действие линейного функционала х* на элемент х. В выпуклом анализе имеются два важнейших понятия — со
пряженная функция и субдифференциал. Сопряженной функци
ей к функции / (не обязательно выпуклой) называется функция (определенная на X*):
f*(x*) = sup{(x*, х) - f{x) \хеХ}.
Функция (определенная на X)
/**(х) = sup{<x*,x) - / V ) I х* £ X*}
называется второй сопряженной к / . Из определений следует неравенство Юнга: (ж*,ж) < /(х) + }*{х ) .
Субдифференциалом <9/(х0) функции f в точке хо называется следующее множество в X*:
df{xQ) = {х* Е X* | f{x) - /(х0) > (х*, х - хо)}.
Субдифференциал — это понятие, родственное понятию произ
водной: если / дифференцируема в точке XQ (даже по Гато), то df{x0) = {/'(х0)}. Но, вообще говоря, субдифференциал может быть и пустым множеством. Доказывается, что если / непре
рывна в точке х, то df{x) — непустой компакт (в слабой то
пологии X*, которую обозначают <т(Х*,Х); слабая топология в
X обозначается <т(Х,Х*)). Пусть А - подмножество X. Функ
ция sA(x ) :— sup(x*,x) называется опорной функцией множес- хел
тва А.
Выпуклая функция, надграфик которой — конус, называется сублинейной; если р сублинейна, др(0) обозначаем просто др.
Основные теоремы выпуклого анализа базируются на следу
ющем результате.
Т е о р е м а (отделимости). Пусть X — локально выпуклое пространство, А — выпуклое замкнутое подмножество X и
%о — точка, не принадлежащая А. Тогда она строго отделима от А, т.е. существует элемент х$ из сопряженного простран
ства X* такой, что
sup(x*0,x) < (яо,-о).
х€А
Доказательство этой теоремы общеизвестно.
Приведем теперь важнейшие теоремы выпуклого анализа.
Т е о р е м а (Фенхеля—Моро). Для того чтобы имело место равенство /** = / , необходимо и достаточно, чтобы / : X -»
E U { + o o } была выпукла и замкнута.
(Функция / : X —>» Ш U {+сю} называется замкнутой, если e p i / := {(ж,а) € X х R \ a ^ /(ж)} — замкнутое множество в ХхШ.)
На этой теореме основывается теория двойственности выпук
лых функций.
Д о к а з а т е л ь с т в о . Необходимость. Если / = /**, то из опре
делений следует, что e p i / есть пересечение надграфиков аффин
ных функций {(ж*,-) - /*(#*) I я* - Х*}> т е- выпуклое и замк
нутое множество.
Достаточность. Если / = +оо, то равенство / = /** сле
дует из определений. Пусть / выпукла, замкнута и существует точка жо, где /(хо) < со. Строго отделим точку (жо,/(жо) - 1) от e p i / , т. е. найдем (XQ,/3O) такие, что
(а?5, ж) + оД) < (ж$, я?о> + А)(/(яо) - 1) = со V(x, a) e epi/.
Отсюда следует, что /?о < 0 и можно считать, что /?0 = - 1 - Мы построили аффинную функцию во(-) = (жо, •) -• со, график которой расположен под графиком функции / .
Допустим, что в некоторой точке х\ выполнено неравен
ство f(xi) > /**(&i) (неравенство /**(ж) --$ /(ж) следует из определений). Если f(xi) < со, то отделяем точку (жь/**(ж1.)) от e p i / , как это было проделано выше, аффинной функцией аг(-) = (ж?,-) -си т.е. получаем, что (х\,х) -сг < /(ж) Vx, т.е.
fl\k) < * и <*!,*!>-<- > Г ( ж О , т.е..(xj,xi> > / * ( ж П + / * * Ы , что противоречит неравенству Юнга. Если же /(жх) = оо, то
снова отделяем точку (a?i,/**(-!)) от e p i / . Если отделение про
исходит с помощью аффинной функции, то приходим, как толь
ко что это произошло, к противоречию с неравенством Юнга.
Если же отделение происходит с помощью функционала х\ та
кого, что (х1,хг) > с и {х\,х) > с V(a?,a) 6 e p i / ^ т о построим семейство аффинных функций ам(-) = а0(-) + M(#i-") ~ с)- При достаточно большом /х эта аффинная функция (которая всегда лежит под графиком / ) будет превосходить в точке х\ число f (х\) и это приведет к противоречию с неравенством Юнга.
D
Таким образом, эта теорема утверждает, что выпуклая за
мкнутая функция, определяемая, с одной стороны, своим над- графиком, является, с другой стороны, и верхней гранью семей
ства непрерывных (в топологии <т(Х,Х*)) аффинных функций х -> (х*,х) - /*(х*), х* е X*. В этом состоит факт двойствен
ности выпуклых функций.
Приведем теперь общую схему построения двойственной за
дачи к данной. Пусть X — нормированное пространство, X* — сопряженное к нему и / : X -» Е. Рассмотрим задачу
/(х) -> min, xeX. (V) Пусть, далее, 7 и У * — другая пара пространств и функция
F : X х У -> Ш такова, что F(x10) = /(ж) для всех х € X.
Каждому у £ Y сопоставим задачу:
F(x, у) -> min, xeX. (JPy)
Семейство таких задач называется возмущением задачи (V).
Двойственной задачей к (V) (относительно заданного возму
щения) называется задача
—F*(0,y*)^max, y* e у\ (р*)
где F* : X* х Y* —» R — сопряженная функция к F (относитель
но естественной двойственности между X х Y и X* х У*).
В основе этой схемы лежит все та же двойственность вы
пуклых функций. Действительно, если S(y) — значение задачи (Ту), то согласно предыдущему 5(0) ^ S**(0) = sup (-£*(у*))- По определению
5*(у*) = sup ((у*,у)2 - inf F f o y ) ) =
= sup ((x*,0)i + ( y * , y )2^ F ( x , y ) ) = F * ( 0 , y * ) ,
x£XtyeY
и тем самым очевидна связь задач (V) и (Р*) и понятно, что условия совпадения их значений могут быть получены из тео
ремы Фенхеля—Моро. Из приведенных рассуждений вытекает,
что чначини* ттжттттт штчт не превосходит значения ис
ходной.
Приводом ntw одно следствие из теоремы Фенхеля—Моро.
Следстмм» («I «уГщиффсрешдаале и опорной функции) Для того чтот имело место равенство (%А = А, необходимо и достаточно, чтоШ множество А было выпукло и замкнуто;
(км том чтоШ имело место равенство здр = р, необходимо и Достаточно, чтооы сублинейная функция р была замкнутой.
Теорема (Мщю 1»<жлфсллара). Пусть Л : А" -> I , * = 1,2, выпуклые собственные функции и существует такая точка, в которой оЬе функции конечны и хотя бы одна из них непре
рывна. IWth thtg всех х (' dom/i ndom/2 справедлива формула
"(Л * Л)(х) ««/|(«)+а/
а(«).
Докп'шт^льстио. II силу того очевидного факта, что (Д +
/2)Vi") /{(^;') * /аОп ')» * С X (где /'(х, •) ~- производная по напрашичшю функции / и точке х\ если / выпукла, /'(ж,-) суб- лиш'йна), достаточно доказать тшршу для сублинейных функ
ций р
х/jVi'K * 1,2. Мм ограничимся случаем, когда одна in них, сытей р
ичамкнута, а другая непрерывна (и тем самым такте чамкиута). В ш м случае ifa есть компакт, и поэтому множите» дщ I clp2 'тыкнуто (что нетрудное упражнение из топологии). Нам шшщоСщтся еще одно соотношение;
л(/и I Л
а) - лЛх +*Ла, (i)
исрнш* л л я люС»ых мможеств Л| и Лз из Х
1проверка которого ->л<*мснта|>на,
Применяя т**ш*рь ппжтпт* о субдифференциале и опорной функции и игиольчуя (i), будем иметь
*Нр\ * 7'а) iHdlpt h Alfa) '" cM{§pi + (fa) = #pi + ifa.
a
Тещптш (Л. Я. ЛуГишицкого А» А. Милютина). Пусть fa :
X > 31» i • 1/2* яьшукшде функцищ непрерывные в точке / г X ft /ff>) /;*(/}. 7W«to
"тнх(/ь/з)(ж) * т(ад(ж) U 0Д(*))-
Л<щ|Г11ПЧ*лыт»сь I! силу легко проверяемого равенства
(mm(fuh}f(^') - тазс(/((ж;-))/2(*;0)теорему
ДОСТАТОЧНО/кжачнть для сублинейных функций р< =
/,'{#; •)•* i • 1,2, Так ка* /
иi - 1/2, непрерывны в ж, то и
функции р^ i = 1,2, непрерывны. Тогда по теореме о компакт
ности субдифференциала, множества дрг} г = 1,2, компактны, а значит, и множество co(dfi(x) U #/2(ж)) компактно (это то
же простое утверждение из топологии). Нам еще понадобится следующее, просто проверяемое равенство
з (co(Ai U Л2)) = max(eAi, sA2), (ii) справедливое для любых А{ С -X", г = 1,2.
Применяя теперь теорему о субдифференциале и опорной функции и (ii), будем иметь
#max(pi,p2) = $max(s#pi,s#p2) =
= дз (co(dpi U <Эр2)) = co(dpi U др2).
О Теорема Дубовицкого—Милютина имеет следующее важное обобщение:
Теорема (В. Левина об очистке). Пусть Т — компакт, Ln
— n-мерное пространство, F : Т х Ln —У R, (£, х) -» F(t, x) — функция, полунепрерывная сверху по t при каждом фиксирован
ном х и выпуклая по х при каждом фиксированном t. Положим f(x) = max F(t, x). Тогда для любого у Е df(x) найдутся r € N ,
£6Ех
г ^ п + 1, {тг}£_1; ц Е Т, такие, что (A) / ( тьx ) = f(x), l ^ i ^ r ,
(B) ye co{t/i,... ,yr}, где од € dxF(rhx), 1 < г < г.
Этот результат относится к еще одному важному принципу
— "очистки". Весьма часто, и в случае конечно параметричес
кого семейства выпуклых функций это так (в этом и состоит те
орема об очистке), все множество может быть заменено на свою часть с сохранением какого-то важного свойства. Так и здесь:
можно выкинуть все точки множества Г, кроме п + 1 точки, и уже на семействе из п + 1 функции минимум их максимума совпадает с минимаксом по всему семейству.
§ 1. Принцип Л а г р а н ж а д л я необходимых условий экстремума
"Можно высказать следующий общий принцип.
Если ищется максимум или минимум некоторой функции при условии, что между этими переменны
ми имеется связь, задаваемая одним или нескольки
ми уравнениями, нужно прибавить к минимизируемой функции функции, задающие уравнения связи, умно
женные на неопределенные множители, и искать за
тем максимум или минимум построенной суммы, как если бы переменные были независимы. Полученные
уравнения, присоединенные к уравнениям связи, по
служат для определения всех неизвестных."
Лагранж Этот параграф посвящен обоснованию следующего тезиса:
необходимые условия экстремума в задачах, где воедино слиты гладкая и выпуклая структуры, соответствуют принципу Ла- гранжа снятия ограничений. (Изначальный вариант принципа Лагранжа выражен в приведенном нами эпиграфе.)
Мы докажем одну общую теорему, навеянную общим замыс
лом Лагранжа, которая в качестве следствий содержит необ
ходимые условия экстремума в математическом и выпуклом программировании, вариационном исчислении и оптимальном управлении, ляпуновских задачах и многих других. Но снача
ла мы (после формулировки теоремы) продемонстрируем, как эвристически пользоваться идеей Лагранжа, т.е. как автомати
чески писать правильные необходимые условия в разнообразных задачах на максимум и минимум.
1.1. Формулировка принципа Л а г р а н ж а для гладко в ы п у к л ы х задач. Пусть X и Y — нормированные простран
ства, К — некоторое множество. Рассмотрим задачу, в которой ограничения типа равенств параметризованы множеством U:
/о(а?) -» min, F{x, u) = 0, ueU. (P) Здесь /о : UQ -> К, F : UQ X U ~» У", Е7() — окрестность в X.
Скажем, что пара (£,2) доставляет сильный локальный ми
нимум в задаче (Р), если найдется число S > О такое, что для любой пары (х,и)7 для которой F(x,u) = 0, и Е U и ||ж—£||х < <-%
выполняется неравенство /о(х) ^ fo(x).
Функция
£((ж, и), А, А0) := Xofo(x) + (A,F(a?,ti)), А0 ^ О,
называется функцией Лагранжа задачи (Р). Число AQ И элемент А Е Y* — множители Лагранжа.
Отображение F в (Р) назовем гладко выпуклым в точке (ж, 2), если отображение х --> F(x,u) строго дифференцируемо в точке х для всех и € К} и для любых элементов х Е UQ, ~о,
„1 Е W и числа а Е [0,1] существует элемент иа = иа(Х)Щ, щ) такой, что F(xyua) = (1 — O)F(X,UQ) + аР(х,щ) (иначе говоря, F{x,U) выпукло Ух Е UQ). Элемент иа назовем а-миксом эле
ментов UQ И Щ В точке ж. Если F в (Р) гладко выпукло, назовем эту задачу гладко выпуклой.
Если Р£(ж,и)Х = У" назовем F регулярным отображением, а если подпространство F'x(x,u)X замкнуто в X и имеет конеч
ную коразмерность в Y (т.е. дополняемо до X конечномерным подпространством), отображение F назовем слабо регулярным в точке (ж, и).
Теорема 1 (принцип Лагранжа для гладко выпуклых за- j дач). Пусть в задаче (Р) X и Y — банаховы пространства, I U — некоторое множество, /о дифференцируема в точке х, | a F гладко выпукло и слабо регулярно в точке (ж,й). Тогда ( если точка (ж,п) доставляет сильный локальный минимум за
даче (Р), то для задачи (Р) в этой точке выполнен принцип
Лагранжа. Если F регулярно, то Ао Ф 0. j Расшифруем, что Означает выражение "для задачи ( Р ) в точ- J
ке (£, и) выполнен принцип Лагранжа". В задаче ( Р ) два аргу
мента — х и и. В соответствии с замыслом Лагранжа, составив , функцию Лагранжа, рассмотрим две подзадачи:
— гладкую задачу без ограничений £((ж,й), Л, Ао) —У min и j
— выпуклую задачу £((£,„), А, Ао) -> min, и G U <*» (А, у) ->
min, у - F(x}U).
Необходимое условие экстремума в первой задаче пишется j в соответствии с теоремой Ферма для гладких функций; оно | состоит в условии стационарности
£*((£, и), А, А0) = 0 & АоДО) + № , £ ) ) * А = 0. (1) Условие минимума во второй задаче запишем в виде тавто
логического принципа минимума
min£((x, „), А,Ао) = £((ж,2), А, Ао) ; (& <A,F(2,t>))^0 VveW).
Так что выражение "для задачи (Р) выполнен принцип Лагран
жа" означает, что имеют место условие стационарности (1) и \
принцип минимума (2). i 1.2. Доказательство принципа Л а г р а н ж а д л я г л а д к о
в ы п у к л ы х задач. В основе доказательства лежат два осново
полагающих факта классического и выпуклого анализа: теорема
об обратной функции (в форме теоремы Люстерника) и теорема ; отделимости, а также лемма о том, что аннулятор ядра сюръек-
тивного линейного оператора (действующего из одного банахова пространства на другое) совпадает с образом сопряженного опе
ратора.
Не ограничивая себя в общности, считаем, что /о (2) = 0.
Л е м м а (принцип Лагранжа для элементарной гладко вы
пуклой задачи). Пусть X и Y — банаховы пространства, А : X -> Y — линейный сюръективный непрерывный опера
тор, A CY — выпуклое множество, ж* Е У*. Для того чтобы элемент (0,0) € X х Y был решением задачи
(ж*, ж)—+ т ш , Лж + у = 0, у-ЕА, (РЭЛ) необходимо и достаточно, чтобы для этой задачи в точке
(0,0) был верен принцип Лагранжа C'XQ = 1, т.е. нашелся мно
житель Лагранжа А Е Y*, для которого были бы выполнены:
(i) условие стационарности ж* + Л*А = 0 и (ii) принцип минимума (А, у) > О Vj/ G А.
^Действительно, если (0,0) есть решение и х £ КегЛ, то (ж ,ж) — 0, откуда, в силу леммы о ядре регулярного опера
тора, получаем (i). Пусть теперь у е А и ху — такой элемент, что
Аху + у = 0. (it)
Тогда
(0,0)€absminPe„ (i) ,....
О ^ (х\Ху) Ш -(Л*А,-%> = -(А,Аху> (=> (А,у).
Лемма доказана. Переходим к доказательству теоремы.
1. Р е г у л я р н ы й случай. х)
Выбрав v Е К, строим отображение Ф^,-;^) : Щ хШ -+ ¥'•
Ф(ж, a; v) := (1 - a)F(x + ж, 2) + aF(x + ж, v). Это отображение, очевидно, строго дифференцируемо в точке (0,0) € X х R,
Ф'((0,0);?;)[ж,а] = Ax + aF(x,v) (Hi) и, следовательно, оно регулярно.
В силу условия регулярности отображения Л существует эле
мент x(v) такой, что
Ax(v)+F(x,v) = 0 . (iv) Это означает, что пара {x(v)r 1) G (КегФ'(0,0; v))1. Тогда по те
ореме Люстерника найдем отображения (rv(-),pv(-)) : [—1,1] —»
X хШ такие, что для xv(t) = x + tx(v) +rv(t) и av(t) =t + pv(t), rv(t) = o(t), pv(t) = o(t) (при малых положительных £) выпол
нено тождество (1 - av(t))F(xv(t),u) 4- av(t)F(xv(t),v) = 0. Из определения гладкой выпуклости, существует элемент иаьщ Е U (а^(£)-микс элементов и ж v) такой, что F(xv(t)}uav(t)) = 0 и, следовательно, (™у (£),-<*„(*)) — допустимый элемент в задаче ( Р ) . Вследствие того, что х — локальный минимум в задаче, получаем: fo(xv(t)) ^ /о(2), откуда
0<^/o(««(t))|feo = </o(2),»(t;)).
Таким образом, если Ах + у = 0, у Е F(x,U)} имеет место не
равенство (/'(ж), ж) ^ 0. Остается применить лемму, и это за
вершает доказательство принципа Лагранжа для регулярного гладко выпуклого случая.
^Хотя этот случай отличается от общего фактически лишь на одну импликацию, считаем целесообразным провести сначала доказательство в регулярном случае, где оно особенно прозрачно.
2. О б щ и й с л у ч а й . Пусть F слабо регулярно. Обозначим Y\ = 1 т Л , А = F(x,U), С = Yi + А. Из условия слабой ре
гулярности вытекает, что факторпространство У/Yi изоморфно конечномерному пространству Z. Пусть 7г : Y —> Z — канони
ческая проекция.
Надо разобрать два случая: 0 0 int 7гС, 0 € int тсС — вырож
денный и невырожденный. В вырожденном случае по теореме отделимости существует элемент z* Е Z*, z* ф О, такой, что
(**,*>> О УяЕтгС. (V) Положим Л := 7T*z* (тс* — оператор, сопряженный к тс). В силу
того, что 7Г — сюръективный оператор, А ф 0. Имеем:
, г тя (-v)
(A,Ax+.F(x,u)) = (ir*z*,Ax+F{x,u)) = (z*,w(Ax+F{x,u)) > 0, т.е. принцип Лагранжа в вырожденном случае доказан (с Ао = 0).
Осталось рассмотреть невырожденный случай. Коль скоро 0 G int7rC, существует натуральное число т , векторы {z.-.}^,
771
oli > 0 такие, что ]Г) сад = 0, ^ = 7r.F(x,Vi) и с о п е ^ } ^ =
га
Z. Тогда по определению ]С aiF(£,Vt) - Уъ т-е- существует
_ __ тп
элемент £ Е X такой, что Л^ + Yl &iF(x,Vi) = 0,
Далее поступаем подобно тому, как в регулярном случае.
Пусть у б А\ = F(xM) П Yi-
Выбрав элемент t;o G W такой, что F(x,i;o) = у, определяем отображение
/ m \ m
Ф(ж, ао, а; wo) := I 1 - ^ а* 1 F(x + ж, 2) + ] Г а ^ ( х -I- ж, г;^, V г=0 / г=0 х 6 1 , а = ( аь. . . , ат) .
Это отображение строго дифференцируемо как отображение из X х Rm + 1 в X и Ф'(0,0,... ,0;t;o)[«,ao,a] = Лх + £ a*F(£-Vi).
Кроме того, в силу выбора точек {z{} оно регулярно. Из опреде
ления элемента г;() следует, что существует элемент xVQ такой,
что Ахщ + F(X,VQ) = 0.
Тогда
Ф'(0,0,... ,0;v0)[a?llo+e?,l,eS] =
= Ахщ + F(x,v) + е Ш +^aiF{x,Vi)) = 0
и по теореме Люстерника найдутся г(-) : [—1,1] —> X, pi : [-1,1] —> R, 0 < i -^ m, такие, что r(£) = o(t), pi(t) = o(t) и
#(toVo + if + r(t),« + ppWie*ai + Pi(*)» • • • > ^m + Pm(t)) = 0 v t e [ - i , i ] .
Из условия выпуклости получаем, что найдется элемент u(t) Е Zi такой, что F(x + txVo + etf + r(£), _(i)) = 0, откуда (/o(x),xvo) ^ 0. Применим теперь лемму к пространствам X и Тх, оператору Л и множеству Ai = Yx n.F(2J-W). Тогда найдет
ся элемент у£ £ * ? такой, что /о(2) + Л*Лх = 0 и (yj,y) ^ 0 Vt/ E Ai. И вот наступила очередь последней импликации. Мы доказали, что гиперплоскость Гх = {у | (Ах,у) = 0} в простран
стве Y\ отделяет нуль от Ах- В силу условия конечной коразмер
ности проведем гиперплоскость Г = {у | (А,у)} = 0 в простран
стве У, содержащую Гх и отделяющую А = F(x,W) от нуля.
Тогда /<5(х) + Л*А = 0 и (A,F(£,u)) ^ 0 Vw б W. Теорема 1
доказана. D Э л е м е н т а р н ы е задачи. Принцип Лагранжа сводит вопрос
о необходимых условиях задач с ограничениями к необходимым условиям для более просто устроенных (элементарных) задач.
Сформулируем необходимые условия экстремума для четырех важнейших элементарных задач.
Элементарная гладкая задача — это задача без ограничений
f(x) -> min, (I) где функция / предполагается дифференцируемой. Согласно те
ореме Ферма, необходимым условием локального минимума в (I) является равенство
/ ' ( £ ) - 0 . (1) Аналогом теоремы Ферма для выпуклых функций является со
отношение
0 € 8f(x). (]/) Это необходимое и достаточное условие минимума / в точке х.
Элементарной задачей линейного программирования назовем следующую:
71
J2 Кщ -> min, щ £ 0, А = (Ах,... , Хп) Е Rn. (II)
г = 1
Необходимым и достаточным условием того, что вектор и = (их,... ^ип) > 0 является решением этой задачи, является вы
полнение условий неотрицательности и дополняющей нежест
кости:
Xi > 0, XiUi = 0, 1 ^ г ^ п. (2) Этот факт совершенно очевиден.
Элементарной задачей классического вариационного исчис
ления или задачей Больца называется задача (рассматриваемая обычно в пространстве Сг1([*о> *i]? H-t71):
В(х(-)) = [Щх(г),х{г))& + 1(х(го),х(Ь)) -»min, (III)
to
где to и t\ фиксированы, x(-) = (^i(•),... ,xn(-)) — п-мерная вектор-функция, L : V -> R (V — окрестность в Л х Г х Г )
— непрерывная по всем аргументам и непрерывно дифференци
руемая по (#, х) функция, I : W -4 Е (W — окрестность в Еп)
— непрерывно дифференцируемая функция. (L ж I — функции соответственно 2п+ 1 и 2п переменных.)
Необходимыми условиями слабого минимума в задаче Больца (т.е. локального минимума в пространстве Cx([to,ti],En)) функ
ции х являются: уравнение Эйлера
~Li(t) + Lx(t) = 0 (3)
и условие трансверсальности
L±(ti) = (~l)%(ti), « = 0,1, (30 где Li(t) = .£*(*,£(-),£(•)), Lx(t) = Lx(t,£(•),£(•))> a f^.) =
^(t.-)(2(*o),^(*i)).
Элементарной задачей оптимального управления или прос
тейшей ляпуновской задачей мы называем следующую задачу:
В(-и(.)) = / * fc(t, u(t))dt -^ min, u(t) G W, (IV)
-/to
где u(-) : [to,ti] ~> W — кусочно-непрерывная функция, /i(-,-) : R x Rr - + E — непрерывная функция, U — произвольное мно
жество в Rr, u(t) eU во всех точках непрерывности.
Легко понять, что кусочно-непрерывная вектор-функция й(-) доставляет абсолютный минимум в задаче (IV) тогда и толь
ко тогда, когда в любой точке непрерывности функции и(-) выполнено соотношение
mmh(t,u) = h(t,u(t)). (4) Соотношения типа (4) называют принципом минимума.
Применение принципа Лагранжа для гладко выпуклых за
дач к конкретным классам экстремальных проблем основывает
ся на некоторых фактах функционального .анализа. Сформули
руем три хорошо известные леммы, на которых, в основном, и базируются приложения общего принципа.
Т р и л е м м ы .
Л е м м а 1 (о нетривиальное™ аннулятора). Пусть X — нор
мированное пространство, XQ — замкнутое подпространст
во, не совпадающее с X. Тогда аннулятор XQ содержит нену
левой элемент.
Напомним, что аннулятор ом подпространства XQ С X на
зывается множество линейных непрерывных функционалов на X, аннулирующихся на Х0; аннулятор пространства XQ обозна
чается XQ~.
Л е м м а 2 (о замкнутости образа). Пусть X,Y,Z — банаховы пространства, A\X~¥Y,B:X-^Z — линейные непрерыв
ные операторы, подпространство Im А замкнуто в Y, подпро
странство J3(Ker А) замкнуто в Z. Тогда С = (Ах,Вх): X —>
Y х Z — линейный непрерывный оператор и подпространство Im(7 замкнуто в Y x Z.
Л е м м а 3 (о ядре регулярного оператора). Пусть X и Y
— банаховы пространства, А : X —> У — линейный непре
рывный сюръективный оператор. Тогда аннулятор ядра это
го оператора совпадает с образом сопряженного оператора:
(КегЛ)~-=1тЛ*.
Доказательства этих лемм см., например, в книгах [2], [9].
1.3. Следствия принципа Лагранжа.
З а д а ч и математического программирования. Приме
нение принципа Лагранжа для гладко выпуклых задач начнем с гладких задач математического программирования:
/о(ж) -> min, fi(x) < 0, 1 < i < m, F(x) = 0. (J\) Следствие 1 (принцип Лагранжа в математическом про
граммировании). Пусть в задаче (Р\) пространства X и Y банаховы,' UQ — окрестность точки В Е X, fc : UQ ~~> E, 0 --$ г ^ т, F ; UQ -~» Y. Тогда если fi и F строго дифференци
руемы, F (х)Х — замкнутое подпространство Y, а х достав
ляет локальный минимум задаче, то для нее выполнен принцип Лагранжа. Если неравенств нет и отображение F регулярно в точке х, то множитель XQ МОЖНО считать равным единице.
Фраза "выполнен принцип Лагранжа" в данном случае озна
чает, что существуют не равные одновременно нулю числа Ао,... , Ат и вектор А Е У*, которые удовлетворяют условиям неотрицательности (Аг* > 0, 0 < г ^ га), дополняющей нежест
кости (\ifi(x) = 0, 1 ^ г < га) и стационарности:
т
Сх(х, А, Ах,... , Ат, А0) = X. Ы'М + (F(2))*\ = 0. .
t=0