Многошаговые процессы управления

Среди разнообразных задач управления значи­тельное место занимают задачи, в которых объект управ­ления находится в состоянии непрерывного изменения под воздействием различных внешних и вну­тренних факторов. Задачи управления такими объектами относятся к классу динамических задач управления.

Объект называется управляемым, если среди дейст­вующих на него разнообразных факторов имеются такие, распоряжаясь которыми, можно изменять характер его движения. Как уже указывалось, такие целенаправлен­ные воздействия называются управлениями и обозна­чаются u(t).

Оценить, насколько при том или ином способе управ­ления достигаются поставленные цели, можно, как и раньше, путем введения целевой функции типа, которую в данном случае удобно записать в виде

Если целевая функция имеет физический смысл потерь, то она определяет суммарные по­тери за весь процесс управления.

В целом ряде случаев характер движения объ­екта в процессе управления не представляет существен­ного интереса, а важным является только состояние, которое примет объект в момент окончания процесса управления. Такие задачи по­лучили название задач управления конечным состоя­нием.

Обозначим через х(Т) состояние объекта в конечный момент времени. Целевая функция в данной задаче бу­дет иметь вид:

Поскольку х(Т) зависит от характера примененного управления u(t), то и значение q также будет зависеть от примененного управления. Поэтому задачу выбора оптимального управления можно сформулировать для этого случая следующим образом: из пространства до­пустимых управлений U выбрать такое управление u*(t), которое для объекта минимизирует целевую функцию при ограничениях на используемые ре­сурсы.

Нахождение оптимального управления в дина­мических системах во многих случаях существенно об­легчается, если процесс управления удается разбить естественным или искусственным путем на отдельные шаги или этапы.

Для того чтобы вести рассмотрение в общем виде, будем считать, что состояние объекта описывается мно­гомерной переменной

Предположим, что динамический процесс х(t) на интервале от 0 до t^¢может быть естественным или искусственным образом представлен как многошаговый, и найдем подходящий способ описания такого процесса. Для того чтобы получить многошаговый процесс, интер­вал от 0 до t^¢должен быть разбит на п последовательныхшагов, длительности которых примем равными как показано на рис. 2. Обозначим через моменты окончания k -гo шага так, что а через x_k состояние объекта вмомент t_k:

x_k = x(c, t_k), где с=х(0).

Состояние

 

Рис. 2. Разбиение интервала на п шагов.

 

Это выражение мож­но представить в виде

Оно представляет собой состояние объекта ,как результат преобразования состояния x_k на (k +1)-м шаге.

Введем в рассмотрение оператор Т, который будет означать преобразование состояния процесса за один шаг:

Тогда можно записать

Полагая k = 0, 1,...,п-1, можем описать весь дина­мический процесс в виде последовательности преобра­зований

Динамический процесс, описываемый рассмотренным преобразо­ванием, является неуправляемым. Для получения управляемого многошагового процесса необходимо иметь возможность на каждом шаге осуществлять не одно пре­образование Т(х_к), а одно из множества преобразова­ний T₁(x_k),...,T_r(x_k).

Удобно считать, что конкретный вид преобразования будет зависеть от параметра u_k, который на k-м шаге может принимать одно из множества значений U_k. Па­раметр u_k будем называть управлением, а множество U_k — пространством допустимых управлений на k-м ша­ге. Преобразование, осуществляемое на k-м шаге, теперь можно записать в виде

Если в соотношении положить последователь­но k=0, 1,...,n-1 и учесть начальное состояние х₀, то получим описание всего управляемого многошагового процесса:

Пример. Предположим, что переменная состояния является двумерной величиной х=(х⁽¹⁾,x⁽²⁾), которая может принимать значения, определяемые геометрически узлами сетки, изображенной на рис. 3, а. Переход от одного узла сетки к следующему произво­дится путем использования на каждом шаге одного из двух возможных управлений: u_k=0 – движение по горизонтали и u_k=1 – движение по вертикали. Следовательно, пространство допустимых управлений одинаково для любого шага и равно U_k = {0,1}, k=0,1,...,п-1.

Рис. 3. Многошаговый процесс с двумерной переменной

 

Рассмотрим одну из клеток данной сетки, показанную на рис. 3, б, в нижнем левом узле которой система оказалась после k-го шага, так что Значение зависит от примененного управления. Как видно из рис. 4 б имеют место следующие соотношения:

Конкретную траекторию движения системы можно описать, указав начальное состояние х₀ и последовательность примененных управлений. Так, отмеченная жирной линией траектория на рис. 3, а получается при использовании управления и= (01101001) и при начальных условиях

Качество управления опреде­ляется значением целевой функции q, численное значение которой можно рассматривать как потери, которые мы несем, применяя то или иное управление. Потери за один шаг будут зависеть от состояния процесса в начале шага и примененного на этом шаге управления, т. е.

За критерий качества управления можно принять полные потери за все п шагов процесса и представить критерий качества управления n -шагового процесса в виде

Здесь через и обозначена последовательность управ­лений, т. е. упорядоченное множество вида

Если рассматривается многошаговый процесс управ­ления конечным значением, то потери будут зависеть лишь от состояния объекта управления в конце процес­са, которое в свою очередь зависит от начального состоя­ния и примененных на каждом шаге управлений:

q=q(x_n)=Q(x₀, и).

Ве­личину q выражением будем назы­вать целевой функцией многошагового процесса управ­ления.

Задача нахождения оптимального управления при многошаговом процессе может быть сформулирована сле­дующим образом. Для динамической системы, найти такую последовательность (цепочку) управлений , которая обращает в минимум критерий качества управления. Помимо указанной задачи встречаются случаи, когда необходимо в единственной последовательности (цепочке) управления, найти такое управление, при котором критерий качества достигает экстремума. Решаются такие задачи методом перебора.

Рассмотрим некоторые примеры.

1. Задача о замене оборудования.

Требуется разработать политику относительно эксплуатации оборудования старше t лет при следующих условиях: стоимость произведенной за год продукции r(t), возраст которой t лет, и стоимость затрат u(t) на обслуживание этого оборудования приведены в табл.6. Стоимость нового оборудования р(t)=8 ед.

Таблица 6

Параметры t, r(t), u(t)	Значения параметров t, r(t), u(t)
t
r(t)
u(t)

 

В задаче замены устаревшего оборудования показатель эффективности на k-м шаге запишется в виде:

ì r(t)-u(t) при сохранении оборудования,

Q_к (t) = í

î r(0)-u(0)-8 при замене оборудования,

где r(t) – стоимость продукции, произведенной за год на оборудовании, возраст которой t лет; u(t) – сметные затраты на обслуживание оборудования; s(t) - остаточная стоимость оборудования.

В рассматриваемой задаче за шаг берется один год эксплуатации оборудования, за состояние – срок эксплуатации, а за управление – сохранение или смена оборудования.

2. Задача распределения средств между предприятиями

Необходимо распределить 120 млн. руб. среди 4-х предприятий таким образом, чтобы общий прирост продукции был максимальным. Прирост выпуска продукции на предприятиях зависит от выделенной суммы. Значения прироста выпуска продукции на предприятиях (I, II, III, IV) приведены в табл.7.

Таблица 7

Средства i в млн. руб.,	Прирост продукции на предприятиях, млн. руб.
выделяемые предприятию	I	II	III	IV

Решение задачи разбивается на шаги по числу предприятий, которым выделяются средства. На 1-м шаге средства выделяются 1-му предприятию, на 2-м шаге оставшиеся средства выделяются 2-м предприятию и т.д. до 4-х предприятий.

За управление принимается i средств, выделяемых предприятиям. За состояние системы – остаток после выделения k-му числу предприятий i средств.

Задачу математически оформим следующим образом.

За шаг k примем число предприятий, получивших средства в размере i (k=1, 2, 3, 4). За состояние Хⁱ_j примем остаток средств (С- i) после выделения j-му предприятию i-х средств, где С=20 млн.руб. За управление примем Uⁱ_j- сумму i, выделяемую j-му предприятию. Прирост продукции на j-м предприятии при выделении ему i-х средств обозначим qⁱ_j (C, Uⁱ_j). Максимальный прирост продукции при выделении средств k-му числу предприятий обозначим Q_k(C, U). Максимальный общий прирост продукции при выделении предприятиям С млн.руб. обозначим Q (C, U)= max Q_k(C, U).

Рассмотрим следующие варианты распределения средств при различных k(М_к).

При k=1 возможно М₁: U_j¹²⁰. При k=2 возможны М₂: U_j¹⁰⁰ и U_j²⁰; U_j⁸⁰ и U_j⁴⁰; U_j⁶⁰ и U_j⁶⁰. При k=3 возможны М₃: U_j⁴⁰ и U_j⁴⁰ и U_j⁴⁰ ; U_j⁶⁰ и U_j⁴⁰ и U_j²⁰ . При k=4 возможен М₄: U_j⁶⁰ и U_j²⁰ и U_j²⁰ ; U_j²⁰.

Решение. Определим Q_k(C, U) и Q (С, U).

 

Q₁(C, Uⁱ_j)= max qⁱ_j(С,U_j¹²⁰)=(68, 80, 81, 92)=92 (средства выделены 4-му

Uⁱ_j предприятию).

 

Q₂(C, Uⁱ_j)= max max [qⁱ_j (C, U_j¹⁰⁰) + qⁱ_j (C, U_j²⁰); qⁱ_j (C, U_j⁸⁰)) + qⁱ_j (C, U_j⁴⁰);

M₂ Uⁱ_j

 

qⁱ_j (C, U_j⁶⁰))+ qⁱ_j (C, U_j⁶⁰) ]= max (86, 87, 85)=87

M₂

 

(средства выделяются U₄⁸⁰, U₂⁴⁰).

 

Q₃(С,U)=max max [qⁱ_j (C, U_j⁴⁰) + qⁱ_j (C, U_j⁴⁰) + qⁱ_j (C, U_j⁴⁰); qⁱ_j (C, U_j⁶⁰) +

M₃ Uⁱ_j

qⁱ_j (C, U_j⁴⁰) + qⁱ_j (C, U_j²⁰)]=max (97, 93)= 97

M₃

(средства выделяются U₂⁴⁰, U₃⁴⁰, U₄⁴⁰).

 

Q₄(C, U)= max [qⁱ_j (C, U_j⁶⁰) + qⁱ_j (C, U_j²⁰) + qⁱ_j (C, U_j²⁰) + qⁱ_j (C, U_j²⁰)]=79

Uⁱ_j

 

(средства выделяются U²⁰_1,3,4, U₂⁶⁰).

Q(С, U)= max Q_k(С, U)= Q₃(С, Uⁱ_j)=97

Ответ. Оптимальное распределение средств следующее:

U⁰₁ ,U⁴⁰₂, U⁴⁰₃, U⁴⁰₄.