All Russian mathematical portal

Math-Net.Ru

All Russian mathematical portal

V. M. Tikhomirov, Extremum theory and extremal problems of classical analysis, Itogi Nauki i Tekhniki. Ser. Sovrem. Mat. Pril. Temat. Obz., 1999, Volume 65, 188–258

Use of the all-Russian mathematical portal Math-Net.Ru implies that you have read and agreed to these terms of use

http://www.mathnet.ru/eng/agreement Download details:

IP: 139.59.245.186

November 6, 2022, 01:42:31

УДК 517.972.8

V . Т Е О Р И Я Э К С Т Р Е М У М А И Э К С Т Р Е М А Л Ь Н Ы Е З А Д А Ч И

К Л А С С И Ч Е С К О Г О А Н А Л И З А В. М. Тихомиров

С О Д Е Р Ж А Н И Е

§ 0. Введение 189

§ 1. Принцип Лагранжа для необходимых условий экстремума 198 1.1. Формулировка принципа Лагранжа для гладко

выпуклых задач. 199 1.2. Доказательство принципа Лагранжа для гладко

выпуклых задач 200 1.3. Следствия принципа Лагранжа 205

§ 2. Возмущения экстремальных задач. Существование.

Алгоритмы 212 2.1. Возмущения экстремальных задач 212

2.2. Расширение экстремальных задач и существование

решений 214 2.3. Алгоритмы оптимизации 219

2.4. Применение общих концепций к отдельным классам

экстремальных задач 223

§ 3. Приложения общей теории к решению конкретных задач 225

3.1. Общие решения . . . 228 3.2. Частные решения 239 3.3. Некоторые экстремальные задачи теории приближений248

§ 4. Заключительные замечания 253

Литература 256

Работа выполнена при финансовой поддержке Российского фонда фунда­

ментальных исследований (проект № 96-01-00325), INTAS-OPEN 97-1050 и программы поддержки научных школ РФ (проект № 96-15-96072).,

В статье обсуждаются основные принципы, на которых бази­

руются теоремы о необходимых и достаточных условиях экстре­

мума, о существовании решений и алгоритмах их нахождения, а также о двойственности в выпуклом анализе. Даются прило­

жения этих принципов к решению серии экстремальных задач классического анализа. ^

§ 0. Введение

Формализация экстремальных задач. Вследствие того, что экстремальные задачи (как правило) изначально описываются на языке той области науки, в которой они возникли, необходим перевод такого описания на язык математического анализа. Он называется формализацией задачи.

Формализовать экстремальную задачу — это значит описать минимизируемый функционал /о : J -> 1, R = 1 U ±оо, (в частности, его область определения X) и ограничение С С X.

Ограничения обычно задаются системой равенств, неравенств и включений.

Мы далее употребляем такую запись формализованной проб­

лемы:

/о(х) —> min(max), х Е С. (Р) Точки х Е С называют допустимыми. Допустимая точка х

называется абсолютным минимумом (максимумом) задачи (Р), если /о (х) ^ /о (ж) (/о (х) ^ /о(#)) РЛ% всех х Е С. Абсолютный минимум (максимум) в проблеме (Р) мы называем еще решени­

ем проблемы или глобальным минимумом (максимумом). Конеч­

ной целью является нахождение глобального экстремума (мини­

мума или максимума) в задаче (Р), но сначала (как правило) ищутся локальные экстремумы, определение которых требует, чтобы X = (X, т) было топологическим пространством (г — со­

вокупность открытых множеств в X). Пусть (Х,т) — тополо­

гическое пространство. Допустимая точка х называется локаль­

ным минимумом (максимумом) в (Р), если существует окрест­

ность U Е т такая, что х есть решение задачи fo(x) -> mm, х Е СC\U. Изменив (если это нужно) знак функционала, можно сменить задачу на отыскание максимума на задачу минимиза­

ции, и мы зачастую так ж будем поступать.

Основные темы и принципы общей теории экстремума. По поводу каждой экстремальной задачи можно поставить такие вопросы:

1) Каковы необходимые условия экстремума в задаче?

2) Каковы достаточные условия экстремума и как описыва­

ется эволюция решения при возмущении задачи?

^ Считаю своим долгом выразить благодарность Георгию Георгиевичу Магарил-Ильяеву, с которым я много обсуждал проблематику этой рабо­

ты, и он много способствовал ее улучшению.

3) Существует ли решение задачи?

4) Возможно ли найти решение явно и, если это затрудни­

тельно, то как найти его численно?

Теория экстремума подразделяется в соответствии с этими вопросами на следующие четыре основных раздела: необходи­

мые условия; возмущения экстремальных задач и достаточные условия; расширения экстремальных задач и существование ре­

шений; алгоритмы отыскания решений. Естественен также раз­

дел, посвященный решению конкретных задач.

В каждом из перечисленных разделов можно выделить од­

ну или несколько важнейших общих идей (принципов), которые являются стержневыми в соответствующей части теории. Сфор­

мулируем их.

Сначала одно важное замечание. В этой статье будут рас­

сматриваться экстремальные задачи, в которых сосуществуют две структуры - гладкая и выпуклая. К таковым относится до­

статочно широкий круг задач: гладкие задачи с ограничениями типа равенств и неравенств, задачи выпуклого программиро­

вания, классического вариационного исчисления, оптимального управления, ляпуновские задачи, задачи с распределенными па­

раметрами и многие другие (но далеко не все; эта тема обсуж­

дается в последнем разделе статьи).

Одной из фундаментальных идей, которые дают возмож­

ность проявиться выпуклости в задачах вариационного исчисле­

ния и оптимального управления, является следующая: интегри­

рование порождает выпуклость. Формой проявления этой идеи служит, например, теорема Ляпунова о векторных мерах.

А теперь сформулируем основные тезисы, касающиеся тех четырех тем, о которых было сказано.

Тезис первый. Необходимые условия экстремума в зада- чах, где сосуществуют гладкая и выпуклая структуры, соот­

ветствуют одному общему принципу — принципу Лагранжа снятия ограничений.

Принцип Лагранжа состоит в снятии (элиминировании) ограничений с помощью функции Лагранжа: условия экстрему­

ма в задаче с ограничениями совпадают с условиями экстре­

мума функции Лагранжа в задаче без ограничений.

Тезис второй. Одной из центральных идей теории экстре­

мума является мысль, выраженная Гамильтоном: следует рас­

сматривать не одну задачу, а семейство задач, включающее данную. При этом, если необходимые условия обладают опреде­

ленной невырожденностью (в случае выпуклых задач, к приме­

ру, если множитель Лагранжа при функционале не равен нулю), то принцип Лагранжа об элиминировании ограничений может быть доведен до логического конца: можно так ("слегка") воз­

мутить функцию Лагранжа, что она сама будет иметь мини­

мум в задаче без ограничений (в выпуклом случае и возмущать

не нужно).

Тезис т р е т и й . Основным принципом доказательства те­

орем существования решения экстремальных задач является принцип компактности {согласно которому полунепрерывная снизу функция на компакте достигает своего минимума); при этом большинство естественным образом поставленных за­

дач имеет решение, возможно, в некоем естественном оке об­

общенном толковании этого понятия.

Вторая часть фразы — это (в несколько усиленной форме) мысль, выраженная Гильбертом при формулировке двадцатой из его знаменитых проблем.

Тезис ч е т в е р т ы й . Алгоритмы нахождения решений конеч­

номерных экстремальных задач основываются на идеях целесо­

образного спуска, а также методах отсечения и штрафа. Бес­

конечномерные задачи редуцируются к последовательности ко­

нечномерных методами разумной дискретизации.

При решении конкретных задач оказываются весьма сущест­

венными соображения инвариантности, двойственности, интег­

рируемости и очистки.

Классы экстремальных задач. В этой работе будут исследо­

ваться следующие совокупности экстремальных задач:

1) Задачи математического программирования. Они форма­

лизуются так:

/о(а?) -> min, f{(x) < 0, 1 < t < m, F(x) = 0 , x € A. (Pi) Здесь X — линейное (векторное) пространство, faiX-tR — функционалы на X, F : X -» У — отображение в другое вектор­

ное пространство У", А — некоторое подмножество X. Это — та общая задача математического программирования, которая будет нами рассматриваться. Если X и Y — нормированные пространства, /.-. и F дифференцируемы, а ограничение х € А отсутствует, то задачу (Pi) мы называем гладкой задачей с ограничениями типа равенств и неравенств. Если X и Y — векторные пространства, fi — выпуклые функции, F — аффин­

ное отображение, а А — выпуклое множество, то задачу (Pi) мы называем задачей выпуклого программирования или просто выпуклой задачей. Если в выпуклой задаче X и Y — линейные пространства (обычно конечномерные), функции fi линейны, а множество А - конус (обычно полиэдральный), то задачу ( Д ) называют задачей линейного программирования. Если функци­

онал квадратичен, а ограничения линейны, то (Pi) называют задачей квадратичного программирования.

2) Задачи вариационного исчисления и оптимального управ-

ления. Мы будем изучать, в основном, задачи такою рода:

Во (0 -> min;

Bi{0 ^ 0 , г = 1 , . . . , m', В»(0 = 0, * = m' + 1 , . . . , m, (P²)

£(*) - ^(t, «(*), u(0) = 0 Vt E Д, и E U,

где £ = (х(-)М'),*оЛ) E Б = РС1(АЛп) х PC(A,W) х R2

(PC — пространство кусочно-непрерывных, a PC1 — кусочно- непрерывно дифференцируемых функций), А — заданный ко-

h

нечный отрезок, t0> к Е A, U Е Кг, —Ш = j U{t,x{t), u(t)) dt +

to

fc(*o,«(*o),*b«(*i)), * = 0, 1»'< • • >m-

Функционалы типа / L(t,x(t),u(t))dt называют интеграль­

ными, a l(tQix(to))ti,x(ti)) — терминальными.

Переменные х E Rn называют фазовыми, переменные и Е Rr — управлениями, функционал В{ — функционалом Больца, функции Li — интегрантами, а ^ — терминантами. Усло­

вие х = (р называется дифференциальной связью. Все функции (L{Ji,(f) мы предполагаем, по крайней мере, непрерывными.

Если ограничение на управление типа включений u(t) E U отсутствует, то задачу ( Д ) называют задачей Лагранжа клас­

сического вариационного исчисления (в понтрягинской форме);

если это ограничение присутствует — задачей оптимального управления в понтрягинской форме. Часто встречаются также задачи с фазовыми ограничениями типа равенств g(t, x(t)) = 0 или неравенств G(t,x(t)) < 0, где g ш G — непрерывные вектор- функции. Возможны и смешанные ограничения g(t, x(t),u(t)) = 0 и (?(t,a;(t),a(t))<0.

Если минимизируется функционал Больца при дифференци­

альной связи х = и, то задачу (Яг) называют задачей Больца.

Задачу rh

J(x(*)) = / L(t,x(t),x(t))dt -ч min, x(tQ) = ж0, x{t{) = хг,

J to

называют простейшей задачей классического вариационного исчисления, задачу Jo(x(-)) -* min, Ji(x(-)) = a*, 1 ^ i ^ m, где Jj — функционалы, как в простейшей задаче, — изопери- метрической задачей. Задачу

/ L(t,x(t), x{t),... , xW(t))dt -+ min

t0

с некоторыми граничными условиями (такие задачи легко запи­

сываются в виде (Р2)) называют задачей со старшими произ­

водными. Если интегранты не зависят от фазовых координат, задача с фиксированным временем, терминанты выпуклы по х и дифференциальная связь Отсутствует, задача (Р2) называет­

ся ляпуновской (этот класс задач будет рассмотрен в несколько расширенной форме).

О базе теории. Базой теории экстремума являются линей­

ный и выпуклый анализ, аппаратом — дифференциальное и вы­

пуклое исчисление. В дифференциальном исчислении важней­

шую роль играет теорема об обратном Отображении; фундамен­

том выпуклого анализа являются теоремы Отделимости.

Теорема об обратной функции. Пусть X и Y — нормиро­

ванные пространства, V — окрестность точки х и F : V —> Y.

Отображение F называют дифференцируемым по Фреше в точ­

ке ж, если существует линейный непрерывный оператор Ff(x) : X -> Y такой, что F(x + х) - F(x) = F'(x)x + г (ж), где

||г(ж)||у = о(||х||х), и строго дифференцируемым, если для вся­

кого е > 0 существует S > 0 такое, что если \\xi — х\\х < <-*>

г = 1,2, то ||F(x2) - F{xx) - F'(x)(x2 ~ хг)\\у ^ е\\х2 - хг\\х. Оператор F'(x) называется производной {Фреше) отображения F в точке х.

Пусть U — топологическое пространство, (ж, и) G l x W , UQ

— окрестность точки XBXTS.F:UQXU-^Y — отображе­

ние такое, что F(x,2) = 0. Мы скажем, что это отображение строго дифференцируемо по х в точке х равномерно по „, если отображение х \~± F(x,u) дифференцируемо по Фреше в ж и для любого е > О найдутся 5 > 0 и окрестность WQ С U такие, что из \\х{ — х\\х < 5, и е Wo, следует

\\F(x2,u) - F(xuu) - Ffx(x,u){x2 - хг)\\у < е\\х2 - хг\\х. Теорема (параметрическая теорема об Обратном отображе­

нии). Пусть X uY — банаховы пространства, U — топологи­

ческое пространство} F строго дифференцируемо по Фреше по х в точке х равномерно по и и регулярно (т.е. F'(x, u)X = У).

Тогда существует окрестность V точки (ж, 0, и) Е X х Y х Ы, отображение <р : V —> X и число С > 0 такие, что

F(x + <p(x,y,u),y)^y) \\<p(z;y,u)\\x<C\\y-F(x,u)\\Y. (1)

Доказательство. Обозначим F'Jx^) через Л. По лемме о правом обратном (являющейся линейным вариантом теоремы об обратной функции, см. [9]) существует Оператор R : Y -» X такой, что Л о Ry = у и ЦДу||хл< С\\у\\у Vy. Без ограничения общности, можно считать, что х = 0 и С = 1 (иначе заменим

|| - ||у на С"¹1| • ||у). ДЛЯ 0 < в < 1 найдем <5>Ои окрестность WQ СЫ такие, что

\\F(z²,u) - F{x^uu) - Л(х² - XI)\\Y < Ф2 - «1 \\х

\Ы\Х<6,

ueWo.

Обозначим М(х) = х + R(y - F(x,u)), \\x\\^x < S, и £ W^Q}

||у||^у < (1 — 6)8. Тогда, как нетрудно показать, последователь­

ность х^к = MOcjb-i), к Е N, ||x⁰|U < *i ^{B с и л}У (*) определена для всех к Е N и фундаментальна и, следовательно, сходится к элементу </?(хо-2/-*0 - ^ ^{и П}Р^{И э т о м} удовлетворяются соотноше­

ния (1). • Следствие (теорема Люстерника). Пусть X и Y — бана­

ховы пространства, G : X -> У. - отображение, строго диф­

ференцируемое и регулярное в точке х {т.е. G'(x)X = Y) и равное в этой точке нулю. Тогда любой элемент ядра опе­

ратора G^!{x) является касательным вектором к многообра­

зию NG(%) ^{: =} {^х I G{x) = 0} {т.е. существует отображение г : [-1,1] -> X такое, что G{x + tx + r{t)) = 0 Vi E [-1,1], r{t) = o{t).

Действительно, надо положить U = {0}, -F(x,0) = G{x) и r(t) = </>(£ + t e , 0,0).

Теорему отделимости мы сформулируем в следующем пунк­

те.

Основные теоремы выпуклого анализа. Пусть X — локаль­

но выпуклое постранство, X* — сопряженное пространство к X, (х*,х) означает действие линейного функционала х* на элемент х. В выпуклом анализе имеются два важнейших понятия — со­

пряженная функция и субдифференциал. Сопряженной функци­

ей к функции / (не обязательно выпуклой) называется функция (определенная на X*):

f*(x*) = sup{(x*, х) - f{x) \хеХ}.

Функция (определенная на X)

/**(х) = sup{<x*,x) - / V ) I х* £ X*}

называется второй сопряженной к / . Из определений следует неравенство Юнга: (ж*,ж) < /(х) + }*{х ) .

Субдифференциалом <9/(х⁰) функции f в точке хо называется следующее множество в X*:

df{x^Q) = {х* Е X* | f{x) - /(х⁰) > (х*, х - хо)}.

Субдифференциал — это понятие, родственное понятию произ­

водной: если / дифференцируема в точке XQ (даже по Гато), то df{x⁰) = {/'(х⁰)}. Но, вообще говоря, субдифференциал может быть и пустым множеством. Доказывается, что если / непре­

рывна в точке х, то df{x) — непустой компакт (в слабой то­

пологии X*, которую обозначают <т(Х*,Х); слабая топология в

X обозначается <т(Х,Х*)). Пусть А - подмножество X. Функ­

ция sA(x ) :— sup(x*,x) называется опорной функцией множес- хел

тва А.

Выпуклая функция, надграфик которой — конус, называется сублинейной; если р сублинейна, др(0) обозначаем просто др.

Основные теоремы выпуклого анализа базируются на следу­

ющем результате.

Т е о р е м а (отделимости). Пусть X — локально выпуклое пространство, А — выпуклое замкнутое подмножество X и

%о — точка, не принадлежащая А. Тогда она строго отделима от А, т.е. существует элемент х$ из сопряженного простран­

ства X* такой, что

sup(x*0,x) < (яо,-о).

х€А

Доказательство этой теоремы общеизвестно.

Приведем теперь важнейшие теоремы выпуклого анализа.

Т е о р е м а (Фенхеля—Моро). Для того чтобы имело место равенство /** = / , необходимо и достаточно, чтобы / : X -»

E U { + o o } была выпукла и замкнута.

(Функция / : X —>» Ш U {+сю} называется замкнутой, если e p i / := {(ж,а) € X х R \ a ^ /(ж)} — замкнутое множество в ХхШ.)

На этой теореме основывается теория двойственности выпук­

лых функций.

Д о к а з а т е л ь с т в о . Необходимость. Если / = /**, то из опре­

делений следует, что e p i / есть пересечение надграфиков аффин­

ных функций {(ж*,-) - /*(#*) I я* - Х*}> ^{т е}- выпуклое и замк­

нутое множество.

Достаточность. Если / = +оо, то равенство / = /** сле­

дует из определений. Пусть / выпукла, замкнута и существует точка жо, где /(хо) < со. Строго отделим точку (жо,/(жо) - 1) от e p i / , т. е. найдем (XQ,/3O) такие, что

(а?5, ж) + оД) < (ж$, я?о> + А)(/(яо) - 1) = со V(x, a) e epi/.

Отсюда следует, что /?о < 0 и можно считать, что /?0 = - 1 - Мы построили аффинную функцию во(-) = (жо, •) -• со, график которой расположен под графиком функции / .

Допустим, что в некоторой точке х\ выполнено неравен­

ство f(xi) > /**(&i) (неравенство /**(ж) --$ /(ж) следует из определений). Если f(xi) < со, то отделяем точку (жь/**(ж1.)) от e p i / , как это было проделано выше, аффинной функцией аг(-) = (ж?,-) -си т.е. получаем, что (х\,х) -сг < /(ж) Vx, т.е.

fl\k) < * и <*!,*!>-<- > Г ( ж О , т.е..(xj,xi> > / * ( ж П + / * * Ы , что противоречит неравенству Юнга. Если же /(жх) = оо, то

снова отделяем точку (a?i,/**(-!)) от e p i / . Если отделение про­

исходит с помощью аффинной функции, то приходим, как толь­

ко что это произошло, к противоречию с неравенством Юнга.

Если же отделение происходит с помощью функционала х\ та­

кого, что (х1,хг) > с и {х\,х) > с V(a?,a) 6 e p i / ^ т о построим семейство аффинных функций ам(-) = а0(-) + M(#i-") ~ с)- При достаточно большом /х эта аффинная функция (которая всегда лежит под графиком / ) будет превосходить в точке х\ число f (х\) и это приведет к противоречию с неравенством Юнга.

D

Таким образом, эта теорема утверждает, что выпуклая за­

мкнутая функция, определяемая, с одной стороны, своим над- графиком, является, с другой стороны, и верхней гранью семей­

ства непрерывных (в топологии <т(Х,Х*)) аффинных функций х -> (х*,х) - /*(х*), х* е X*. В этом состоит факт двойствен­

ности выпуклых функций.

Приведем теперь общую схему построения двойственной за­

дачи к данной. Пусть X — нормированное пространство, X* — сопряженное к нему и / : X -» Е. Рассмотрим задачу

/(х) -> min, xeX. (V) Пусть, далее, 7 и У * — другая пара пространств и функция

F : X х У -> Ш такова, что F(x10) = /(ж) для всех х € X.

Каждому у £ Y сопоставим задачу:

F(x, у) -> min, xeX. (JPy)

Семейство таких задач называется возмущением задачи (V).

Двойственной задачей к (V) (относительно заданного возму­

щения) называется задача

—F*(0,y*)^max, y* e у\ (р*)

где F* : X* х Y* —» R — сопряженная функция к F (относитель­

но естественной двойственности между X х Y и X* х У*).

В основе этой схемы лежит все та же двойственность вы­

пуклых функций. Действительно, если S(y) — значение задачи (Ту), то согласно предыдущему 5(0) ^ S**(0) = sup (-£*(у*))- По определению

5*(у*) = sup ((у*,у)2 - inf F f o y ) ) =

= sup ((x*,0)i + ( y * , y )2^ F ( x , y ) ) = F * ( 0 , y * ) ,

x£XtyeY

и тем самым очевидна связь задач (V) и (Р*) и понятно, что условия совпадения их значений могут быть получены из тео­

ремы Фенхеля—Моро. Из приведенных рассуждений вытекает,

что чначини* ттжттттт штчт не превосходит значения ис­

ходной.

Приводом ntw одно следствие из теоремы Фенхеля—Моро.

Следстмм» («I «уГщиффсрешдаале и опорной функции) Для того чтот имело место равенство (%А = А, необходимо и достаточно, чтоШ множество А было выпукло и замкнуто;

(км том чтоШ имело место равенство здр = р, необходимо и Достаточно, чтооы сублинейная функция р была замкнутой.

Теорема (Мщю 1»<жлфсллара). Пусть Л : А" -> I , * = 1,2, выпуклые собственные функции и существует такая точка, в которой оЬе функции конечны и хотя бы одна из них непре­

рывна. IWth thtg всех х (' dom/i ndom/2 справедлива формула

"(Л * Л)(х) ««/|(«)+а/

(«).

Докп'шт^льстио. II силу того очевидного факта, что (Д +

/2)Vi") /{(^;') * /аОп ')» * С X (где /'(х, •) ~- производная по напрашичшю функции / и точке х\ если / выпукла, /'(ж,-) суб- лиш'йна), достаточно доказать тшршу для сублинейных функ­

ций р

/jVi'K * 1,2. Мм ограничимся случаем, когда одна in них, сытей р

чамкнута, а другая непрерывна (и тем самым такте чамкиута). В ш м случае ifa есть компакт, и поэтому множите» дщ I clp2 'тыкнуто (что нетрудное упражнение из топологии). Нам шшщоСщтся еще одно соотношение;

л(/и I Л

) - лЛх +*Ла, (i)

исрнш* л л я люС»ых мможеств Л| и Лз из Х

проверка которого ->л<*мснта|>на,

Применяя т**ш*рь ппжтпт* о субдифференциале и опорной функции и игиольчуя (i), будем иметь

*Нр\ * 7'а) iHdlpt h Alfa) '" cM{§pi + (fa) = #pi + ifa.

a

Тещптш (Л. Я. ЛуГишицкого А» А. Милютина). Пусть fa :

X > 31» i • 1/2* яьшукшде функцищ непрерывные в точке / г X ft /ff>) /;*(/}. 7W«to

"тнх(/ь/з)(ж) * т(ад(ж) U 0Д(*))-

Л<щ|Г11ПЧ*лыт»сь I! силу легко проверяемого равенства

теорему

/кжачнть для сублинейных функций р< =

/,'{#; •)•* i • 1,2, Так ка* /

i - 1/2, непрерывны в ж, то и

функции р^ i = 1,2, непрерывны. Тогда по теореме о компакт­

ности субдифференциала, множества дрг^} г = 1,2, компактны, а значит, и множество co(dfi(x) U #/2(ж)) компактно (это то­

же простое утверждение из топологии). Нам еще понадобится следующее, просто проверяемое равенство

з (co(Ai U Л2)) = max(eAi, sA2), (ii) справедливое для любых А{ С -X", г = 1,2.

Применяя теперь теорему о субдифференциале и опорной функции и (ii), будем иметь

#max(pi,p2) = $max(s#pi,s#p2) =

= дз (co(dpi U <Эр2)) = co(dpi U др2).

О Теорема Дубовицкого—Милютина имеет следующее важное обобщение:

Теорема (В. Левина об очистке). Пусть Т — компакт, Ln

— n-мерное пространство, F : Т х Ln —У R, (£, х) -» F(t, x) — функция, полунепрерывная сверху по t при каждом фиксирован­

ном х и выпуклая по х при каждом фиксированном t. Положим f(x) = max F(t, x). Тогда для любого у Е df(x) найдутся r € N ,

£6Ех

г ^ п + 1, {тг}£_1; ц Е Т, такие, что (A) / ( тьx ) = f(x), l ^ i ^ r ,

(B) ye co{t/i,... ,yr}, где од € dxF(rhx), 1 < г < г.

Этот результат относится к еще одному важному принципу

— "очистки". Весьма часто, и в случае конечно параметричес­

кого семейства выпуклых функций это так (в этом и состоит те­

орема об очистке), все множество может быть заменено на свою часть с сохранением какого-то важного свойства. Так и здесь:

можно выкинуть все точки множества Г, кроме п + 1 точки, и уже на семействе из п + 1 функции минимум их максимума совпадает с минимаксом по всему семейству.

§ 1. Принцип Л а г р а н ж а д л я необходимых условий экстремума

"Можно высказать следующий общий принцип.

Если ищется максимум или минимум некоторой функции при условии, что между этими переменны­

ми имеется связь, задаваемая одним или нескольки­

ми уравнениями, нужно прибавить к минимизируемой функции функции, задающие уравнения связи, умно­

женные на неопределенные множители, и искать за­

тем максимум или минимум построенной суммы, как если бы переменные были независимы. Полученные

уравнения, присоединенные к уравнениям связи, по­

служат для определения всех неизвестных."

Лагранж Этот параграф посвящен обоснованию следующего тезиса:

необходимые условия экстремума в задачах, где воедино слиты гладкая и выпуклая структуры, соответствуют принципу Ла- гранжа снятия ограничений. (Изначальный вариант принципа Лагранжа выражен в приведенном нами эпиграфе.)

Мы докажем одну общую теорему, навеянную общим замыс­

лом Лагранжа, которая в качестве следствий содержит необ­

ходимые условия экстремума в математическом и выпуклом программировании, вариационном исчислении и оптимальном управлении, ляпуновских задачах и многих других. Но снача­

ла мы (после формулировки теоремы) продемонстрируем, как эвристически пользоваться идеей Лагранжа, т.е. как автомати­

чески писать правильные необходимые условия в разнообразных задачах на максимум и минимум.

1.1. Формулировка принципа Л а г р а н ж а для гладко в ы п у к л ы х задач. Пусть X и Y — нормированные простран­

ства, К — некоторое множество. Рассмотрим задачу, в которой ограничения типа равенств параметризованы множеством U:

/о(а?) -» min, F{x, u) = 0, ueU. (P) Здесь /о : UQ -> К, F : UQ X U ~» У", Е7() — окрестность в X.

Скажем, что пара (£,2) доставляет сильный локальный ми­

нимум в задаче (Р), если найдется число S > О такое, что для любой пары (х,и)⁷ для которой F(x,u) = 0, и Е U и ||ж—£||х < <-%

выполняется неравенство /о(х) ^ fo(x).

Функция

£((ж, и), А, А0) := Xofo(x) + (A,F(a?,ti)), А0 ^ О,

называется функцией Лагранжа задачи (Р). Число AQ И элемент А Е Y* — множители Лагранжа.

Отображение F в (Р) назовем гладко выпуклым в точке (ж, 2), если отображение х --> F(x,u) строго дифференцируемо в точке х для всех и € К} и для любых элементов х Е UQ, ~о,

„1 Е W и числа а Е [0,1] существует элемент иа = иа(Х)Щ, щ) такой, что F(xyua) = (1 — O)F(X,UQ) + аР(х,щ) (иначе говоря, F{x,U) выпукло Ух Е UQ). Элемент иа назовем а-миксом эле­

ментов UQ И Щ В точке ж. Если F в (Р) гладко выпукло, назовем эту задачу гладко выпуклой.

Если Р£(ж,и)Х = У" назовем F регулярным отображением, а если подпространство F'x(x,u)X замкнуто в X и имеет конеч­

ную коразмерность в Y (т.е. дополняемо до X конечномерным подпространством), отображение F назовем слабо регулярным в точке (ж, и).

Теорема 1 (принцип Лагранжа для гладко выпуклых за- j дач). Пусть в задаче (Р) X и Y — банаховы пространства, I U — некоторое множество, /о дифференцируема в точке х, | a F гладко выпукло и слабо регулярно в точке (ж,й). Тогда ( если точка (ж,п) доставляет сильный локальный минимум за­

даче (Р), то для задачи (Р) в этой точке выполнен принцип

Лагранжа. Если F регулярно, то Ао Ф 0. j Расшифруем, что Означает выражение "для задачи ( Р ) в точ- J

ке (£, и) выполнен принцип Лагранжа". В задаче ( Р ) два аргу­

мента — х и и. В соответствии с замыслом Лагранжа, составив , функцию Лагранжа, рассмотрим две подзадачи:

— гладкую задачу без ограничений £((ж,й), Л, Ао) —У min и j

— выпуклую задачу £((£,„), А, Ао) -> min, и G U <*» (А, у) ->

min, у - F(x}U).

Необходимое условие экстремума в первой задаче пишется j в соответствии с теоремой Ферма для гладких функций; оно | состоит в условии стационарности

£*((£, и), А, А0) = 0 & АоДО) + № , £ ) ) * А = 0. (1) Условие минимума во второй задаче запишем в виде тавто­

логического принципа минимума

min£((x, „), А,Ао) = £((ж,2), А, Ао) ; (& <A,F(2,t>))^0 VveW).

Так что выражение "для задачи (Р) выполнен принцип Лагран­

жа" означает, что имеют место условие стационарности (1) и \

принцип минимума (2). i 1.2. Доказательство принципа Л а г р а н ж а д л я г л а д к о

в ы п у к л ы х задач. В основе доказательства лежат два осново­

полагающих факта классического и выпуклого анализа: теорема

об обратной функции (в форме теоремы Люстерника) и теорема ; отделимости, а также лемма о том, что аннулятор ядра сюръек-

тивного линейного оператора (действующего из одного банахова пространства на другое) совпадает с образом сопряженного опе­

ратора.

Не ограничивая себя в общности, считаем, что /о (2) = 0.

Л е м м а (принцип Лагранжа для элементарной гладко вы­

пуклой задачи). Пусть X и Y — банаховы пространства, А : X -> Y — линейный сюръективный непрерывный опера­

тор, A CY — выпуклое множество, ж* Е У*. Для того чтобы элемент (0,0) € X х Y был решением задачи

(ж*, ж)—+ т ш , Лж + у = 0, у-ЕА, (РЭЛ) необходимо и достаточно, чтобы для этой задачи в точке

(0,0) был верен принцип Лагранжа C'XQ = 1, т.е. нашелся мно­

житель Лагранжа А Е Y*, для которого были бы выполнены:

(i) условие стационарности ж* + Л*А = 0 и (ii) принцип минимума (А, у) > О Vj/ G А.

^Действительно, если (0,0) есть решение и х £ КегЛ, то (ж ,ж) — 0, откуда, в силу леммы о ядре регулярного опера­

тора, получаем (i). Пусть теперь у е А и ху — такой элемент, что

Аху + у = 0. (it)

Тогда

(0,0)€absminPe„ (i) ,....

О ^ (х\Ху) Ш -(Л*А,-%> = -(А,Аху> (=> (А,у).

Лемма доказана. Переходим к доказательству теоремы.

1. Р е г у л я р н ы й случай. х)

Выбрав v Е К, строим отображение Ф^,-;^) : Щ хШ -+ ¥'•

Ф(ж, a; v) := (1 - a)F(x + ж, 2) + aF(x + ж, v). Это отображение, очевидно, строго дифференцируемо в точке (0,0) € X х R,

Ф'((0,0);?;)[ж,а] = Ax + aF(x,v) (Hi) и, следовательно, оно регулярно.

В силу условия регулярности отображения Л существует эле­

мент x(v) такой, что

Ax(v)+F(x,v) = 0 . (iv) Это означает, что пара {x(v)r 1) G (КегФ'(0,0; v))1. Тогда по те­

ореме Люстерника найдем отображения (rv(-),pv(-)) : [—1,1] —»

X хШ такие, что для xv(t) = x + tx(v) +rv(t) и av(t) =t + pv(t), rv(t) = o(t), pv(t) = o(t) (при малых положительных £) выпол­

нено тождество (1 - av(t))F(xv(t),u) 4- av(t)F(xv(t),v) = 0. Из определения гладкой выпуклости, существует элемент иаьщ Е U (а^(£)-микс элементов и ж v) такой, что F(xv(t)}uav(t)) = 0 и, следовательно, (™у (£),-<*„(*)) — допустимый элемент в задаче ( Р ) . Вследствие того, что х — локальный минимум в задаче, получаем: fo(xv(t)) ^ /о(2), откуда

0<^/o(««(t))|feo = </o(2),»(t;)).

Таким образом, если Ах + у = 0, у Е F(x,U)} имеет место не­

равенство (/'(ж), ж) ^ 0. Остается применить лемму, и это за­

вершает доказательство принципа Лагранжа для регулярного гладко выпуклого случая.

^Хотя этот случай отличается от общего фактически лишь на одну импликацию, считаем целесообразным провести сначала доказательство в регулярном случае, где оно особенно прозрачно.

2. О б щ и й с л у ч а й . Пусть F слабо регулярно. Обозначим Y\ = 1 т Л , А = F(x,U), С = Yi + А. Из условия слабой ре­

гулярности вытекает, что факторпространство У/Yi изоморфно конечномерному пространству Z. Пусть 7г : Y —> Z — канони­

ческая проекция.

Надо разобрать два случая: 0 0 int 7гС, 0 € int тсС — вырож­

денный и невырожденный. В вырожденном случае по теореме отделимости существует элемент z* Е Z*, z* ф О, такой, что

(**,*>> О УяЕтгС. (V) Положим Л := 7T*z* (тс* — оператор, сопряженный к тс). В силу

того, что 7Г — сюръективный оператор, А ф 0. Имеем:

, г тя (-v)

(A,Ax+.F(x,u)) = (ir*z*,Ax+F{x,u)) = (z*,w(Ax+F{x,u)) > 0, т.е. принцип Лагранжа в вырожденном случае доказан (с Ао = 0).

Осталось рассмотреть невырожденный случай. Коль скоро 0 G int7rC, существует натуральное число т , векторы {z.-.}^,

771

oli > 0 такие, что ]Г) сад = 0, ^ = 7r.F(x,Vi) и с о п е ^ } ^ =

га

Z. Тогда по определению ]С aiF(£,Vt) - Уъ т-е- существует

_ __ тп

элемент £ Е X такой, что Л^ + Yl &iF(x,Vi) = 0,

Далее поступаем подобно тому, как в регулярном случае.

Пусть у б А\ = F(xM) П Yi-

Выбрав элемент t;o G W такой, что F(x,i;o) = у, определяем отображение

/ m \ m

Ф(ж, ао, а; wo) := I 1 - ^ а* 1 F(x + ж, 2) + ] Г а ^ ( х -I- ж, г;^, V г=0 / г=0 х 6 1 , а = ( аь. . . , ат) .

Это отображение строго дифференцируемо как отображение из X х Rm + 1 в X и Ф'(0,0,... ,0;t;o)[«,ao,a] = Лх + £ a*F(£-Vi).

Кроме того, в силу выбора точек {z{} оно регулярно. Из опреде­

ления элемента г;() следует, что существует элемент xVQ такой,

что Ахщ + F(X,VQ) = 0.

Тогда

Ф'(0,0,... ,0;v0)[a?llo+e?,l,eS] =

= Ахщ + F(x,v) + е Ш +^aiF{x,Vi)) = 0

и по теореме Люстерника найдутся г(-) : [—1,1] —> X, pi : [-1,1] —> R, 0 < i -^ m, такие, что r(£) = o(t), pi(t) = o(t) и

#(toVo + if + r(t),« + ppWie*ai + Pi(*)» • • • > ^m + Pm(t)) = 0 v t e [ - i , i ] .

Из условия выпуклости получаем, что найдется элемент u(t) Е Zi такой, что F(x + txVo + etf + r(£), _(i)) = 0, откуда (/o(x),xvo) ^ 0. Применим теперь лемму к пространствам X и Тх, оператору Л и множеству Ai = Yx n.F(2J-W). Тогда найдет­

ся элемент у£ £ * ? такой, что /о(2) + Л*Лх = 0 и (yj,y) ^ 0 Vt/ E Ai. И вот наступила очередь последней импликации. Мы доказали, что гиперплоскость Гх = {у | (Ах,у) = 0} в простран­

стве Y\ отделяет нуль от Ах- В силу условия конечной коразмер­

ности проведем гиперплоскость Г = {у | (А,у)} = 0 в простран­

стве У, содержащую Гх и отделяющую А = F(x,W) от нуля.

Тогда /<5(х) + Л*А = 0 и (A,F(£,u)) ^ 0 Vw б W. Теорема 1

доказана. D Э л е м е н т а р н ы е задачи. Принцип Лагранжа сводит вопрос

о необходимых условиях задач с ограничениями к необходимым условиям для более просто устроенных (элементарных) задач.

Сформулируем необходимые условия экстремума для четырех важнейших элементарных задач.

Элементарная гладкая задача — это задача без ограничений

f(x) -> min, (I) где функция / предполагается дифференцируемой. Согласно те­

ореме Ферма, необходимым условием локального минимума в (I) является равенство

/ ' ( £ ) - 0 . (1) Аналогом теоремы Ферма для выпуклых функций является со­

отношение

0 € 8f(x). (]/) Это необходимое и достаточное условие минимума / в точке х.

Элементарной задачей линейного программирования назовем следующую:

71

J2 Кщ -> min, щ £ 0, А = (Ах,... , Хп) Е Rn. (II)

г = 1

Необходимым и достаточным условием того, что вектор и = (их,... ^ип) > 0 является решением этой задачи, является вы­

полнение условий неотрицательности и дополняющей нежест­

кости:

Xi > 0, XiUi = 0, 1 ^ г ^ п. (2) Этот факт совершенно очевиден.

Элементарной задачей классического вариационного исчис­

ления или задачей Больца называется задача (рассматриваемая обычно в пространстве Сг1([*о> *i]? H-t71):

В(х(-)) = [Щх(г),х{г))& + 1(х(го),х(Ь)) -»min, (III)

to

где to и t\ фиксированы, x(-) = (^i(•),... ,xn(-)) — п-мерная вектор-функция, L : V -> R (V — окрестность в Л х Г х Г )

— непрерывная по всем аргументам и непрерывно дифференци­

руемая по (#, х) функция, I : W -4 Е (W — окрестность в Еп)

— непрерывно дифференцируемая функция. (L ж I — функции соответственно 2п+ 1 и 2п переменных.)

Необходимыми условиями слабого минимума в задаче Больца (т.е. локального минимума в пространстве Cx([to,ti],En)) функ­

ции х являются: уравнение Эйлера

~Li(t) + Lx(t) = 0 (3)

и условие трансверсальности

L±(ti) = (~l)%(ti), « = 0,1, (30 где Li(t) = .£*(*,£(-),£(•)), Lx(t) = Lx(t,£(•),£(•))> a f^.) =

^(t.-)(2(*o),^(*i)).

Элементарной задачей оптимального управления или прос­

тейшей ляпуновской задачей мы называем следующую задачу:

В(-и(.)) = / * fc(t, u(t))dt -^ min, u(t) G W, (IV)

-/to

где u(-) : [to,ti] ~> W — кусочно-непрерывная функция, /i(-,-) : R x Rr - + E — непрерывная функция, U — произвольное мно­

жество в Rr, u(t) eU во всех точках непрерывности.

Легко понять, что кусочно-непрерывная вектор-функция й(-) доставляет абсолютный минимум в задаче (IV) тогда и толь­

ко тогда, когда в любой точке непрерывности функции и(-) выполнено соотношение

mmh(t,u) = h(t,u(t)). (4) Соотношения типа (4) называют принципом минимума.

Применение принципа Лагранжа для гладко выпуклых за­

дач к конкретным классам экстремальных проблем основывает­

ся на некоторых фактах функционального .анализа. Сформули­

руем три хорошо известные леммы, на которых, в основном, и базируются приложения общего принципа.

Т р и л е м м ы .

Л е м м а 1 (о нетривиальное™ аннулятора). Пусть X — нор­

мированное пространство, XQ — замкнутое подпространст­

во, не совпадающее с X. Тогда аннулятор XQ содержит нену­

левой элемент.

Напомним, что аннулятор ом подпространства XQ С X на­

зывается множество линейных непрерывных функционалов на X, аннулирующихся на Х0; аннулятор пространства XQ обозна­

чается XQ~.

Л е м м а 2 (о замкнутости образа). Пусть X,Y,Z — банаховы пространства, A\X~¥Y,B:X-^Z — линейные непрерыв­

ные операторы, подпространство Im А замкнуто в Y, подпро­

странство J3(Ker А) замкнуто в Z. Тогда С = (Ах,Вх): X —>

Y х Z — линейный непрерывный оператор и подпространство Im(7 замкнуто в Y x Z.

Л е м м а 3 (о ядре регулярного оператора). Пусть X и Y

— банаховы пространства, А : X —> У — линейный непре­

рывный сюръективный оператор. Тогда аннулятор ядра это­

го оператора совпадает с образом сопряженного оператора:

(КегЛ)~-=1тЛ*.

Доказательства этих лемм см., например, в книгах [2], [9].

1.3. Следствия принципа Лагранжа.

З а д а ч и математического программирования. Приме­

нение принципа Лагранжа для гладко выпуклых задач начнем с гладких задач математического программирования:

/о(ж) -> min, fi(x) < 0, 1 < i < m, F(x) = 0. (J\) Следствие 1 (принцип Лагранжа в математическом про­

граммировании). Пусть в задаче (Р\) пространства X и Y банаховы,' UQ — окрестность точки В Е X, fc : UQ ~~> E, 0 --$ г ^ т, F ; UQ -~» Y. Тогда если fi и F строго дифференци­

руемы, F (х)Х — замкнутое подпространство Y, а х достав­

ляет локальный минимум задаче, то для нее выполнен принцип Лагранжа. Если неравенств нет и отображение F регулярно в точке х, то множитель XQ МОЖНО считать равным единице.

Фраза "выполнен принцип Лагранжа" в данном случае озна­

чает, что существуют не равные одновременно нулю числа Ао,... , Ат и вектор А Е У*, которые удовлетворяют условиям неотрицательности (Аг* > 0, 0 < г ^ га), дополняющей нежест­

кости (\ifi(x) = 0, 1 ^ г < га) и стационарности:

т

Сх(х, А, Ах,... , Ат, А0) = X. Ы'М + (F(2))*\ = 0. .

t=0