Марковские случайные процессы
Названы по имени выдающегося русского математика А.А.Маркова, впервые начавшего изучение вероятностной связи случайных величин и создавшего теорию, которую можно назвать "динамикой вероятностей". В настоящее время теория марковских процессов и ее приложения широко применяются в самых различных областях и, в том числе, в исследовании операций и теории принятия оптимальных решений.
Марковский процесс — дискретный или непрерывный случайный процесс X (t), который можно полностью задать с помощью двух величин:
· вероятности P (x, t) того, что случайная величина x (t) в момент времени t равна x, и
· вероятности P (x 2, t 2| x 1, t 1) того, что если x при t = t 1 равен x 1, то при t = t 2 он равен x 2.
Вторая из этих величин называется вероятностью перехода из состояния x 1 при t = t 1 в состояние x 2 при t = t 2.
Цепями Маркова называют дискретные по времени и значению Марковские
процессы.
Пример 1
Предположим, что речь идет о последовательных бросаниях монеты при игре "в орлянку "; монета бросается в условные моменты времени t = 0, 1,... и на каждом шаге игрок может выиграть ±1 с одинаковой вероятностью 1/2, таким образом в момент t его суммарный выигрыш есть случайная величина ξ(t) с возможными значениями j = 0, ±1,... При условии, что ξ(t) = k, на следующем шаге выигрыш будет уже равен ξ(t+1) = k ± 1, принимая указанные знчения j = k ± 1 c одинаковой вероятностью 1/2. Условно можно сказать, что здесь с соответствующей вероятностью происходит переход из состояния ξ(t) = k в состояние ξ(t+1) = k ± 1.
19.5.1. Формулы и определения Марковских цепей
Обобщая этот пример, можно представить себе "систему" со счетным числом возможных "фазовых" состояний, которая с течением дискретного времени t = 0, 1,... случайно переходит из состояния в состояние.
Пусть ξ(t) есть ее положение в момент t в результате цепочки случайных переходов ξ(0) - ξ(1) -... - ξ(t) -...... (1)
Формально обозначим все возможные состояния целыми i = 0, ±1,... Предположим, что при известном состоянии ξ(t) = k на следующем шаге система переходит в состояние ξ(t+1) = j с условной вероятностью
pkj = P(ξ(t+1) = j|ξ(t) = k)... (2)
независимо от ее поведения в прошлом, точнее, независимо от цепочки переходов (1) до момента t:
P(ξ(t+1) = j|ξ(0) = i,..., ξ(t) = k) = P(ξ(t+1) = j|ξ(t) = k) при всех t, k, j... (3) - марковское свойство.
Такую вероятностную схему называют однородной цепью Маркова со счетным числом состояний - ее однородность состоит в том, что определенные в (2) переходные вероятности pkj, ∑j pkj = 1, k = 0, ±1,..., не зависят от времени, т.е.
P(ξ(t+1) = j|ξ(t) = k) = Pij - матрица вероятностей перехода за один шаг не зависит от n. Ясно, что Pij - квадратная матрица с неотрицатель-ными элементами и единичными суммами по строкам. Такая матрица (конечная или бесконечная) называется стохастической матрицей. Любая стохастическая матрица может служить матрицей переходных вероятностей.
Практический пример 1.
Предположим, что некая фирма осуществляет доставку оборудования по Москве: в северный округ (обозначим А), южный (В) и центральный (С). Фирма имеет группу курьеров, которая обслуживает эти районы. Понятно, что для осуществления следующей доставки курьер едет в тот район, который на данный момент ему ближе. Статистически было определено следующее:
1) после осуществления доставки в А следующая доставка в 30 случаях осуществляется в А, в 30 случаях - в В и в 40 случаях - в С;
2) после осуществления доставки в В следующая доставка в 40 случаях осуществляется в А, в 40 случаях - в В и в 20 случаях - в С;
3) после осуществления доставки в С следующая доставка в 50 случаях осуществляется в А, в 30 случаях - в В и в 20 случаях - в С.
Таким образом, район следующей доставки определяется только предыдущей доставкой.
Матрица вероятностей перехода будет выглядеть следующим образом:
Например, р12 = 0.4 - это вероятность того, что после доставки в район В следующая доставка будет производиться в районе А. Допустим, что каждая доставка с последующим перемещением в следующий район занимает 15 минут. Тогда, в соответствии со статистическими данными, через 15 минут 30% из курьеров, находившихся в А, будут в А, 30% будут в В и 40% - в С. Так как в следующий момент времени каждый из курьеров обязательно будет в одном из округов, то сумма по столбцам равна 1. И поскольку мы имеем дело с вероятностями, каждый элемент матрицы 0<рij<1. Наиболее важным обстоятельством, которое позволяет интерпретировать данную модель как цепь Маркова, является то, что местонахождение курьера в момент времени t+1 зависит только от местонахождения в момент времени t.
Теперь зададим простой вопрос: если курьер стартует из С, какова вероятность того, что осуществив две доставки, он будет в В, т.е. как можно достичь В в 2 шага? Итак, существует несколько путей з С в В за 2 шага:
1) сначала из С в С и потом из С в В;
2) С-->B и B-->B;
3) С-->A и A-->B.
Учитывая правило умножения независимых событий, получим, что искомая вероятность равна:
P = P(CA)*P(AB) + P(CB)*P(BB) + P(CC)*P(CB)
Подставляя числовые значения:
P = 0.5*0.3 + 0.3*0.4 + 0.2*0.3 = 0.33
Полученный результат говорит о том, что если курьер начал работу из С, то в 33 случаях из 100 он будет в В через две доставки. Ясно, что вычисления просты, но если Вам необходимо определить вероятность через 5 или 15 доставок - это может занять довольно много времени.
Рассмотрим более простой способ вычисления подобных вероятностей. Для того, чтобы получить вероятности перехода из различных состояний за 2 шага, возведем матрицу P в квадрат:
Тогда элемент (2, 3) - это вероятность перехода из С в В за 2 шага, которая была получена выше другим способом. Заметим, что элементы в матрице P2 также находятся в пределах от 0 до 1, и сумма по столбцам равна 1.
Т.о. если Вам необходимо определить вероятности перехода из С в В за 3 шага:
1 способ. p(CA)*P(AB) + p(CB)*P(BB) + p(CC)*P(CB) = 0.37*0.3 + 0.33*0.4 + 0.3*0.3 = 0.333, где p(CA) - вероятность перехода из С в А за 2 шага (т.е. это элемент (1, 3) матрицы P2).
2 способ. Вычислить матрицу P3:
Матрица переходных вероятностей в 7 степени будет выглядеть следующим образом:
Легко заметить, что элементы каждой строки стремятся к некоторым числам. Это говорит о том, что после достаточно большого количества доставок уж не имеет значение в каком округе курьер начал работу. Т.о. в конце недели приблизительно 38,9% будут в А, 33,3% будут в В и 27,8% будут в С. Подобная сходимость гарантировано имеет место, если все элементы матрицы переходных вероятностей принадлежат интервалу (0, 1).
Теория массового обслуживания
Это раздел исследования операций, который рассматривает разнообразные процессы в экономике, а также в телефонной связи, здравоохранении и других областях, как процессы обслуживания, т. е. удовлетворения каких-то запросов, заказов (напр., обслуживание кораблей в порту — их разгрузка и погрузка, обслуживание токарей в инструментальной кладовой цеха — выдача им резцов, бслуживание клиентов в прачечной - стирка белья и т. д.).
При всем разнообразии эти процессы имеют общие черты: требования на обслуживание нерегулярно (случайно) поступают в канал обслуживания (место у причала, окно в раздаточной) и в зависимости от его занятости, продолжительности обслуживания и других факторов образуют очередьтребований.
Теория массового обслуживания изучает статистические закономерности поступления требований и на этой основе вырабатывает решения, т. е. такие характеристики, при которых затраты времени на ожидание в очереди, с одной стороны, и на простой каналов обслуживания — с другой, были бы наименьшими. Всю систему производства и потребления товаров можно трактовать как систему массового обслуживания, где встречаются люди (клиенты) и товары. Сумма потерь времени на ожидание в очередях и на простои каналов обслуживания (хранение товаров на складах) рассматривается как мера эффективности изучаемой экономической системы.
Методы анализа систем массового обслуживания
Методы и модели, применяемые в теории массового обслуживания, можно условно разделить на аналитические и имитационные.
Аналитические методы теории массового обслуживания позволяют получить характеристики системы как некоторые функции параметров ее функционирования. Благодаря этому появляется возможность проводить качественный анализ влияния отдельных факторов на эффективность работы СМО.
Имитационные методы основаны на моделировании процессов массового обслуживания на ЭВМ и применяются, если невозможно применение аналитических моделей.
В настоящее время теоретически наиболее разработаны и удобны в практических приложениях методы решения задач массового обслуживания, в которых входящий поток требований является простейшим (пуассоновским).
Для простейшего потока частота поступлений требований в систему подчиняется закону Пуассона, т.е. вероятность поступления за время t ровно к требований задается формулой:
Простейший поток обладает тремя основными свойствами:
1) ординарностью,
2) стационарностью и
3) отсутствием последействия.
Ординарность потока означает практическую невозможность одновременного поступления двух и более требований. Например, достаточно малой является вероятность того, что из группы станков, обслуживаемых бригадой ремонтников, одновременно выйдут из строя несколько станков.
Стационарным называется поток, для которого математическое ожидание числа требований, поступающих в систему в единицу времени (обозначим А, — параметр распределения Пуассона), не меняется во времени. Таким образом, вероятность поступления в систему определенного количества требований в течение заданного промежутка времени At зависит от его величины и не зависит от начала его отсчета на оси времени.
Отсутствие последействия означает, что число требований, поступивших в систему до момента t, не определяет того, сколько требований поступит в систему за промежуток времени от t до t + Dt
Например, если на ткацком станке в данный момент времени произошел обрыв нити и он устранен ткачихой, то это не определяет, произойдет новый обрыв на данном станке в следующий момент или нет, тем более это не влияет на вероятность возникновения обрыва на других станках.
Важная характеристика СМО — время обслуживания требований в системе. Время обслуживания одного требования является, как правило, случайной величиной и, следовательно, может быть описано законом распределения. Наибольшее распространение в теории и особенно в практических приложениях получил экспоненциальный закон распределения времени обслуживания. Функция распределения для этого закона имеет вид:
т.е. вероятность того, что время обслуживания не превзойдет некоторой величины t, определяется формулой (5.2), где µ — параметр экспоненциального закона распределения времени обслуживания требований в системе, т.е. величина, обратная среднему времени обслуживания
Системы массового обслуживания классифицируются:
1. В зависимости от условий ожидания начала обслуживания:
· СМО с потерями (отказами)
· СМО с ожиданием
В СМО с отказами требования, поступающие в момент, когда все каналы обслуживания заняты, получают отказ и покидают систему. Классическим примером системы с отказами является телефонная станция. Если вызываемый абонент занят, то требование на соединение с ним получает отказ и покидает систему.
В СМО с ожиданием требование, застав все обслуживающие каналы занятыми, становится в очередь и ожидает, пока освободится [ один из обслуживающих каналов.
СМО, допускающие очередь, но с ограниченным числом требований в ней, называются системами с ограниченной длиной очереди.
СМО, допускающие очередь, но с ограниченным сроком пребывания каждого требования в ней, называются системами с ограниченным временем ожидания.
2. По числу каналов обслуживания СМО делятся на:
• одноканальные;
• многоканальные.
3. По месту нахождения источника требований СМО подразделяются на:
• разомкнутые, когда источник требования находится вне системы;
замкнутые, когда источник находится в самой системе.
19.7. Задачи анализа замкнутых и разомкнутых систем массового обслуживания
Замкнутые и разомкнутые системы,в зависимости от времени ожидания могут быть и системами массового обслуживания с ожиданием. Это наиболее распространенные СМО. Они изучаются с помощью аналитических моделей.
Системой массового обслуживания сожиданием называется система, в которой требования, поступившие в момент, когда все обслуживающие каналы заняты, ставятся в очередь и обслуживаются по мере освобождения каналов.
Примером разомкнутой системы может служить ателье по ремонту телевизоров. Здесь неисправные телевизоры — это источник требований на их обслуживание, они находятся вне самой системы, поэтому число требований можно считать неограниченным. К замкнутым СМО относится, например, станочный участок, в котором станки являются источником неисправностей, а следовательно, источником требований на их обслуживание, например, бригадой наладчиков.
Общая постановка задачи состоит в следующем. Система имеет п обслуживающих каналов, каждый из которых может одновременно обслуживать только одно требование.
В систему поступает простейший (пуассоновский) поток требований с параметром А.. Если в момент поступления очередного требования в системе на обслуживании уже находится не менее п требований, т.е. все каналы заняты, то это требование становится в очередь и ждет начала обслуживания. Время обслуживания каждого требования — случайная величина, которая подчиняется экспоненциальному закону распределения с параметром µ.
СМО с ожиданием можно разбить на две большие группы: замкнутые и разомкнутые. К замкнутым относятся системы, в которых поступающий поток требований возникает в самой системе и ограничен. Например, мастер, задачей которого является наладка станков в цехе, должен периодически их обслуживать. Каждый налаженный станок становится потенциальным источником требований на наладку. В подобных системах общее число циркулирующих требований конечно и чаще всего постоянно.
Если питающий источник обладает бесконечным числом требований и находится вне системы, то системы называют разомкнутыми. Примерами разомкнутых систем могут служить магазины, кассы вокзалов, портов и др. Для этих систем поступающий поток требований можно считать неограниченным. Кроме того, довольно распространены разомкнутые СМО с ожиданием и ограниченной длиной очереди, с ограниченным временем пребывания требования в очереди и др.
Отмеченные особенности функционирования СМО с ожиданием, обусловленные их видами, накладывают определенные условия на используемый математический аппарат. Расчет характеристик работы всех таких СМО может быть проведен на основе расчета вероятностей состояний СМО (так называемые формулы Эрланга).
Рассмотрим порядок расчета характеристик работы разомкнутых систем с ожиданием и ограниченной длиной очереди.
Такие СМО состоят из п обслуживающих каналов, каждый из которых может одновременно обслуживать только одно требование. В систему поступает простейший поток требований с параметром А., а время обслуживания требования является случайной величиной, которая подчиняется экспоненциальному закону распределения с параметром ц. Если в момент поступления очередного требования все п каналов заняты, а в очереди стоит не меньше т требований, то требование становится в очередь. Если же в очереди уже стоит т требований, то поступившее требование покидает СМО. Другими словами, требование получает отказ, если в системе находится п + т требований. Из уравнений, описывающих состояние таких систем, могут быть получены следующие формулы для расчета их основных характеристик.
1. Вероятность того, что все обслуживающие каналы свободны,
(5.14)
2. Вероятность того, что в системе находится к требований при условии, что общее число этих требований не превосходит числа обслуживающих каналов; другими словами, вероятность того, что занято к каналов,
3. Вероятность того, что в системе находится к требований, когда число этих требований больше числа обслуживающих каналов,
(5.16)
4. Вероятность того, что все обслуживающие каналы заняты,
(5.17)
5. Вероятность отказа
(5.18)
6. Средняя длина очереди
7. Среднее число свободных от обслуживания каналов
Пример 2. Фирма занимается доставкой грузов по заказам и имеет четыре машины, которые работают круглосуточно. Поток заказов является простейшим, и в среднем за час поступает одна заявка. Время перевозки грузов подчиняется экспоненциальному закону распределения, и в среднем перевозка одного груза занимает один час. При количестве заказов на перевозки, равном 10, фирма прекращает прием заявок до тех пор, пока очередь не уменьшится.
Требуется определить характеристики работы фирмы.
Решение. Данная система относится к типу СМО с ожиданием и ограниченной длиной очереди. Найдем параметры системы, приняв за единицу времени один час:
Вероятность того, что все машины свободны от перевозки грузов, находится по формуле (5.14):
Вероятность того, что в се машины заняты, определяется по формуле (5.17) и составляет
Тогда вероятность отказа в принятии заказа на перевозку, рассчитываемая по формуле (5.18) будет равна
, а средняя длина очереди в соответствии с формулой (5.19) составит
Тогда вероятность отказа в принятии заказа на перевозку, рассчитываемая по формуле (5.18), будет равна
а средняя длина очереди в соответствии с формулой (5.19) составит
Таким образом, заказчик практически никогда не получит отказа в принятии заявки на перевозку, однако загрузка машин будет достаточно мала. Так например, лишь в двух случаях из ста будут заняты все четыре машины.
Перейдем к рассмотрению алгоритмов расчета характеристик функционирования замкнутых СМО с ожиданием. Поскольку система замкнутая, то к постановке задачи следует добавить условие: поток поступающих требований ограничен, т.е. в системе обслуживания одновременно не может находиться больше т требований (т — число обслуживаемых объектов). Такие СМО называются также системами с ожиданием и ограниченным потоком требований.
За критерий, характеризующий качество функционирования рассматриваемой системы, примем отношение средней длины очереди к наибольшему числу требований, находящихся одновременно в обслуживающей системе, или коэффициент простоя обслуживаемых объектов. В качестве другого критерия возьмем отношение среднего числа незанятых обслуживающих каналов к их общему числу, или коэффициент простоя обслуживающих каналов.
Первый из критериев характеризует потери времени из-за ожидания начала обслуживания. Второй критерий показывает полноту загрузки обслуживающей системы и имеет важное значение в задачах организации труда.
Очевидно, что очередь может возникнуть только в том случае, когда число каналов меньше наибольшего числа требований, находящихся одновременно в обслуживающей системе (п < т).
Приведем последовательность расчетов характеристик замкнутых СМО с ожиданием и необходимые формулы.
1. Параметр α=α/µ. - показатель загрузки системы, т.е. математическое ожидание числа требований, поступающих в систему за время, равное средней длительности обслуживания
2. Вероятность того, что занято к обслуживающих каналов при условии, что число требований, находящихся в системе, не превосходит числа обслуживающих каналов системы,
(5.21)
3. Вероятность того, что в системе находится к требований для случая, когда их число больше числа обслуживающих каналов,
(5.22)
2. Вероятность того, что все обслуживающие каналы свободны, определим, используя очевидное условие: откуда
Величину Р0 можно получить также путем подстановки в равенство значений Р1 P2,. --, Рт, в которые Pо входитсомножителем. Подставляя их, получаем следующее уравнение для определения Р0
откуда
(5.23)
5. Среднее число требований, ожидающих начала обслуживания (средняя длина очереди),
или
(5.24)
6. Коэффициент простоя в очереди обслуживаемого требования (объекта)
(5.25)
7. Среднее число требований, находящихся в обслуживающей системе, обслуживаемых и ожидающих обслуживания,
или
(5.26)
8. Среднее число свободных обслуживающих каналов
(5.27)
9. Коэффициент простоя обслуживающего канала
(5.28)
Рассмотрим примеры расчетов характеристик замкнутых СМО в задаче организации труда.
Пример 3. Рабочий обслуживает группу автоматов, состоящую из трех станков. Поток поступающих требований на обслуживание станков пуассоновский с параметром λ = 2 ст./ч. Обслуживание одного станка занимает у рабочего в среднем 12 минут, а время обслуживания подчинено экспоненциальному закону.
Тогда 1/ µ = = 0,2 ч/ст., т.е. µ = 5 ст./ч, а α = λ/ µ = 0,4.
Необходимо определить среднее число автоматов, ожидающих обслуживания, коэффициент простоя автомата, коэффициент простоя рабочего.
Решение. Обслуживающим каналом здесь является рабочий. Так как станки обслуживает один рабочий, то п = 1. Общее число требований не может превзойти числа станков, т.е. т = 3.
Система может находиться в четырех различных состояниях:
1) все станки работают;
2) один станок простаивает и обслуживается рабочим, а два работают;
3) два станка простаивают, один обслуживается, один ждет обслуживания;
4) три станка простаивают, из них один обслуживается, а два ждут очереди.
Для ответа на поставленные вопросы можно воспользоваться формулами
(5.21) и (5.22):
Сведем вычисления в таблицу (табл. 5.1). |
В табл. 5.1 первой вычисляется третья графа, т.е. отношения Рк/Ро
при к = 0, 1, 2, 3. Затем, суммируя величины по графе и учитывая, что
получаем:
откуда P0=0,2822.
Умножая величины третьей графы на Р0, получаем четвертую графу. Величина Ро = 0,2822, равная вероятности того, что все автоматы работают, может быть истолкована как вероятность того, что рабочий будет свободен. Получается, что в рассматриваемом случае рабочий будет свободен более 1/4 всего рабочего времени. Однако это не означает, что «очередь» станков, ожидающих обслуживания, всегда будет отсутствовать. Математическое ожидание числа автоматов, стоящих в очереди,
, т.к. n=1
Суммируя пятую графу получим математическое ожидание =0,4875. Следовательно, в среднем 0,49 станкова будет простаивать в ожидании, пока освободится рабочий.
Суммируя шестую графу, получим математическое ожидание числа простаивающих станков (ремонтируемых и ожидающих ремонта):
т.е. в среднем 1,2 станка не будут выдавать продукцию. Коэффициент простоя станка
т.е. каждый станок простаивает примерно 0,16 часть рабочего времени в ожидании, пока рабочий освободится. Коэффициент простоя рабочего в данном случае совпадает с Ро, так как n = 1, поэтому