РАЗДЕЛ 13. ЭЛЕМЕНТЫ ТЕОРИИ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ
ВВЕДЕНИЕ. ФУНКЦИЯ ПОНТРЯГИНА
Пусть состояние некоторой системы в момент времени 
описывается величиной 
, называемой фазовой переменной. Процесс 
, которым можно, хотя бы частично, управлять изменением фазовой переменной, назовём управлением. Считаем, что в начальный момент 
задана величина 
. Изменение 
описывается управляемым дифференциальным уравнением
. (1)
При выборе определённого управления, уравнение (1) становится дифференциальным уравнением первого порядка относительно 
. Обычно наличие начального условия обеспечивает единственное решение задачи. Допустим, что польза от выбора управления 
измеряется величиной
(2)
где 
заданная функция. Величину 
назовём целевой функцией.
Поставим задачу выбора среди всех пар 
, удовлетворяющих (1), а также некоторым ограничениям, наложенным на 
, такой пары, при которой величина (2) максимальна. Такие задачи часто встречаются при исследовании математических моделей экономических процессов. Например,
в модели экономического роста решается задача найти
Рассмотрим сначала простую задачу теории оптимального управления, в которой на величины и не накладываются ограничения. Хотя этот случай практически не встречается в приложениях, его рассмотрение позволяет лучше понять основные принципы изучаемой теории. Итак, рассмотрим задачу найти
(3)
при условиях (2), т.е. .
Пару назовём допустимым управляемым процессом (сокращённо: допустимой парой ), если она удовлетворяет условиям (2).
Ставится задача среди всех допустимых процессов выбрать оптимальный, при котором достигается максимум в (3).
Для решения этой задачи будет использован принцип максимума Понтрягина (академик Лев Семёнович Понтрягин – один из крупнейших математиков прошлого века). Рассмотрим функцию Понтрягина
(4)
(в западной литературе она обычно именуется Hamiltonian). Величину 
называют сопряжённой функцией. (Она представляет собой некоторый аналог множителя Лагранжа в задаче об условном экстремуме).
Сформулируем (в несколько упрощённом виде) принцип максимума Понтрягина, дающий необходимое условие оптимальности допустимой пары.
Теорема. Если 
оптимальная пара, то существует непрерывная функция 
такая, что для всех 
функция 
максимизирует функцию
), 
, (5)
причём
. (6)
Условие 
называется условием трансверсальности.
Простое достаточное условие оптимальности допустимой пары даёт теорема.
Теорема. Пусть при условиях предыдущей теоремы для любого 
функция 
выпукла вверх, как функция от совокупности переменных 
. Тогда найденное решение является оптимальным.
Рассмотрим примеры применения этих теорем.
Задача. Найти
конец 
не закреплён.
Решение. Функция Понтрягина (4) в этой задаче равна
.
Управление 
максимизирует эту функцию по 
тогда и только тогда, когда
.
Так как
условие (6) принимает вид
Интегрируя, находим
Следовательно,
.
По условию,
.
Интегрируя это равенство и учитывая, что 
получаем
.
Таким образом, найдена единственная пара функций 
, которая вместе с сопряжённой функцией удовлетворяет (5) и (6).
Так как функция выпукла вверх по совокупности переменных 
, решение оптимальное.
Задача. Найти
конец не закреплён.
Решение. Используем принцип максимума в задаче найти
Функция Понтрягина (4) в этой задаче равна
.
Управление максимизирует эту функцию по тогда и только тогда, когда
.
Так как
сопряжённая функция удовлетворяет уравнению
(7)
Так как
, (8)
получаем систему уравнений (7) и (8) для нахождения и 
Дифференцируя (7) и используя (8), получаем уравнение
,
из которого, полагая 
находим
.
Используем условие трансверсальности 
принципа максимума и равенство (7) при 
т.е. 
и получим
,
откуда
, 
,
значит,
и
.
Функция Понтрягина выпукла вверх, как функция от совокупности переменных и найденное решение является оптимальным.
Задача. Найти
конец 
не закреплён.
Решение. Функция Понтрягина (4) в этой задаче равна
.
Управление максимизирует эту функцию по тогда и только тогда, когда
.
Так как
сопряжённая функция удовлетворяет уравнению
Из него находим
Условие трансверсальности принимает вид 
откуда
и 
, откуда 
. Условие 
даёт
, откуда 
)+ 
. Так как 
, откуда )+ 
Функция Понтрягина выпукла вверх, как функция от совокупности переменных и найденное решение является оптимальным.
Задачи. Найти:
1. 
конец 
не закреплён.
2. 
конец не закреплён.
СТАНДАРТНАЯ ЗАДАЧА
Рассмотрим задачу теории оптимального управления, в которой на величину 
накладываются определённые ограничения 
. Именно этот случай встречается в приложениях к задачам экономики. Кроме того, не будет предполагаться непрерывность функции 
. Потребуем только, чтобы она имела лишь конечное число точек разрыва, причём все они 
первого рода и в этих точках разрыва считаем функцию 
непрерывной слева. Кроме того, при рассмотрении задачи на 
считаем функцию непрерывной в концах этого отрезка. При этом мы считаем решением уравнения
непрерывную функцию , удовлетворяющую этому уравнению и, следовательно, дифференцируемую во всех точках непрерывности функции . В точках разрыва функции значения функции определяются из условий её непрерывности.
Итак, рассмотрим задачу найти
(9)
при условиях
, (10)
и одном из условий:
а) 
б) 
(11)
в) конец 
не закреплён.
Пару назовём допустимым управляемым процессом (сокращённо: допустимой парой ), если она удовлетворяет условиям (10) и (11).
Ставится задача среди всех допустимых процессов выбрать оптимальный, при котором достигается максимум в (9).
Определим функцию Понтрягина для поставленной задачи равенством:
причём значение параметра 
выбирается либо равным 0, либо равным 1.
Теорема. Если оптимальная пара, то существует непрерывная функция 
и число ,равное 0, либо равное 1 такие, что для всех 
пара 
при этом функция максимизирует функцию ), 
, т.е.
) 
) (12)
для всех ,
причём
, (13)
а условиям (11) соответствую условия трансверсальности:
А) 
Б) 
причём , если 
; (14)
В) 
.
Замечания.
1. Обычно 
.
2. Если в условии (11б) поменять знак на противоположный, это приведёт к соответствующему изменению знака в (14Б).
3. Уравнение (13) выполняется только в точках непрерывности , а в точках её разрыва 
может не существовать.
4. Если 
выпуклое множество и если 
строго выпукла вверх по , то можно доказать, что оптимальное управление является непрерывной функцией.
Теорема. Пусть при условиях предыдущей теоремы 
выпуклое множество и для любого функция выпукла вверх, как функция от совокупности переменных . Тогда найденное решение является оптимальным.
Изложим обычную схему исследования. Сначала для любой тройки 
максимизируют по 
функцию Понтрягина. Часто бывает так, что этот максимум достигается в единственной точке 
. При подстановке
этой функции в уравнения (10) и (13) получаем систему
.
Из этой системы функции 
находятся в виде общих решений дифференциальных уравнений. Для определения содержащихся в них постоянных служат условия 
и условия трансверсальности. Обычно эта процедура даёт одну или несколько пар функций, среди которых находится оптимальное решение.
Рассмотрим очевидный пример: найти
Конец 
не закреплён.
Ясно, что чем больше 
то тем больше и исследуемый интеграл. Из уравнения 
следует, что чем больше 
тем больше 
Поэтому 
что и является оптимальным управлением. Далее, 
Продемонстрируем на этом примере принцип максимума. Функция Понтрягина равна
.
Эта функция линейна, поэтому выпукла вверх. Уравнение (13) имеет вид:
,
а условие трансверсальности даёт 
Следовательно, 
поэтому 
Так как максимизирует и
, находим 
Тогда 
и, так как 
,
Выполнены все условия сформулированных теорем и, таким образом, оптимальное решение найдено.
Перейдём к более содержательному примеру – модели задачи оптимального потребления. Рассмотрим уравнение 
(15)
и предположим, что максимизируется величина
,
где 
для всех 
Это задача оптимального управления с фазовой переменной 
и с управлением 
. Предполагаем, что 
, поэтому 
.
Функция Понтрягина равна 
(
)
где , а 
сопряжённая функция. Пусть 
оптимальное управление. Тогда уравнение 
при 
принимает вид
, (16)
что означает, что сопряжённая переменная 
является дисконтированным значением предельной полезности. Кроме того,
Это уравнение с разделяющимися переменными и его решение имеет вид
. (17)
Более явную формулу решения удаётся получить в частных случаях. Пусть
. Тогда уравнение (17) даёт 
(16) сводится к равенству 
или 
. Значит, 
постоянная величина.Тогда(15) принимает вид 
откуда
Ввиду(14Б) из 
следует, что 
(и 
, если 
). Но равенство 
противоречит (16), левая часть этого равенства больше 
, т.к. 
для всех 
. Поэтому 
(т.е. оптимально использовать все средства). Это означает, что оптимальным управлением является
.
В следующем примере оптимальное управление представляет собой разрывную функцию.
Пример. Найти
Решение. Функция Понтрягина равна
и она выпукла вверх по совокупности переменных 
Оптимальное управление должно максимизировать по величину
В этой функции только член 
зависит от 
поэтому
(18)
Уравнение (13) принимает вид
. (19)
Заметим, что 
согласно (18). Так как 
для всех 
выполняется неравенство 
. Поэтому из (19) следует, что убывает при 
Предположим, что существует решение, для которого 
Тогда 
и 
. В этом случае 
Тогда 
так как 
т.е. 
, что противоречит условию 
Таким образом, для любого решения 
Если 
то 
В этом случае 
Тогда 
так как т.е. 
, что снова противоречит условию
Таким образом, меняет знак на отрезке 
. Поскольку эта функция непрерывна на рассматриваемом отрезке и убывает на нём, она обращается в ноль в единственной точке интервала 
, которую мы обозначим 
. При этом 
(напомним, что непрерывна слева) и 
.
Решая уравнение 
с условием 
находим 
а решая уравнение 
, находим 
Из непрерывности функции 
в точке следует, что 
, откуда
Из условия 
получаем 
Таким образом,
.
Осталось найти 
Для этого используем уравнение
Интегрируя, находим
Из условия 
следует, что 
.
На интервале 
выполняется уравнение
Интегрируя, находим
Из непрерывности и условия следует, что 
.
ПРИНЦИП МАКСИМУМА И ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ
Рассмотрим стандартную задачу вариационного исчисления найти
при условии и одном из условий:
а) 
;
б) 
;
в) конец 
не закреплён.
Преобразуем её в задачу оптимального управления, положив
. Поскольку в исходной задаче условия на 
не накладывались, нет условий и на управление, поэтому 
. Функция Понтрягина имеет вид
Согласно принципу максимума, если есть решение задачи, то , как функция от , максимизируется при 
Ввиду того, что 
необходимым условием максимума является
(20)
Если бы 
то из (20) следовало бы, что 
что противоречит условию 
Поэтому и
. (21)
Дифференцируя обе части равенства (20) по 
, получаем
. (22)
Из (21) и (22), с учётом равенства получаем
,
что представляет собой уравнение Эйлера. Из (20) следует, что
. (22)
Напомним, что условия трансверсальности в задаче управления имели вид:
Б) причём , если ;
В) .
В задаче вариационного исчисления они имели вид, соответственно:
причём 
, если ;
в случае незакреплённого конца 
Формула (22) подтверждает совпадение этих условий.
Пример. Решить двумя способами задачу найти
Первое решение. Выписываем уравнение Эйлера:
, 
, 
,
откуда
т.е. 
, 
Условие даёт 
условие 
даёт 
Ввиду того. Что подынтегральная функция выпукла вверх, решение найдено.
Второе решение. Решим задачу методом теории оптимального управления.
Переформулируем её следующим образом: найти
Функция Понтрягина имеет вид
следовательно,
(23)
. (24)
Равенства (23),(24) и условие 
дают систему уравнений
Продифференцируем первое уравнение и используем второе уравнение:
откуда и
Снова условие даёт условие даёт При этом
2 
.
Задача. Решить задачу найти
двумя способами: используя уравнение Эйлера и используя принцип максимума.
§4.Сопряжённая функция, как скрытая цена
Снова рассмотрим задачу найти
при условиях
,
и одном из условий:
а)
б)
в) конец не закреплён. 
Предположим, что найдена единственная оптимальная пара и единственная ответствующая сопряжённая функция .
Обозначим
и назовём её оптимальным значением целевой функции. Эта функция, вообще горя, не дифференцируемая. Однако тех точках, где она дифференцируема, справедливо равенство
.
Мы не будем приводить доказательства этой формулы, а рассмотрим пример, её подтверждающий. Выше была решена следующая задача.
Задача. Найти
конец не закреплён.
При её решении было получено:
.
.
Таким образом, имеется единственная пара функций и сопряжённая функция 
дающие решение задачи.
При этом
.
Используем правило Лейбница дифференцирования собственного интеграла по параметру и найдём
Подставляя 
в формулу 
, получаем тот же результат.
Снова рассмотрим сформулированную в начале параграфа задачу и предположим, что все допустимые 
имеют скачок 
в точке 
и непрерывны в остальных точках этого интервала. Пусть оптимальная пара для случая 
Тогда, при определённых условиях, можно доказать, что 
дифференцируема по в точке 
причём
(25)
Пусть 
обозначает уровень прибыли в момент , обозначает величину капитала, 
управление, которое изменяется в пределах 
. Скорость изменения капитала зависит от 
, что выражается уравнением 
.
Согласно (25), представляет собой «скрытую цену» капитала, поскольку измеряет предельную прибыль.
Если рассмотреть небольшой отрезок времени 
, то 
. Следовательно,
Принцип максимума требует выбирать в любой момент времени такое управление 
которое максимизирует 
Положим
.
Можно доказать, что
.
