Стационарный режим для цепи Маркова

В ряде задач практики нас интересует так называемый установившийся или стационарный режим работы системы, который в ней устанавливается, когда от начала процесса прошло достаточно большое время. Например, процесс изменения напряжения в сети питания технического устройства, пройдя сразу после включения через ряд колебаний, по прошествии времени устанавливается. Аналогично этому и в некоторых случайных процессах по прошествии достаточно большого времени устанавливается стационарный режим, во время которого состояния системы хотя и меняются случайным образом, но их вероятности p_i (t) (i = 1, 2, …) остаются постоянными. Обозначим эти постоянные вероятности p_i:

p_i = .

Вероятности p_i (i = 1, 2, …), если они существуют, называются финальными (предельными) вероятностями состояний. Финальную вероятность p_i можно понимать как среднюю долю времени, которую в стационарном режиме проводит система S в состоянии s _i.

Например, если рассматривать некое техническое устройство в двух состояниях: s ₁ – исправно, s ₂ – неисправно

 

 

то имеет место следующая динамика изменения вероятностей при начальных условиях р ₁(0) = 0, р ₂(0) = 0: р ₁(1) = 0,7, р ₁(2) = 0,61, р ₁(3) = 0,583, р ₁(4) = 0,5749 (доказать самим). Ниже мы покажем, что в этом случае р ₁ = = 0,5714. Таким образом, в рассматриваемой системе стационарный режим наступит практически через четыре шага.

Можно убедиться, что в этом примере финальные вероятности не зависят от начальных условий.

Сформулируем условия существования стационарного режима для системы S с конечным числом состояний n, в котором протекает марковский случайный процесс с дискретным состоянием и дискретным временем (цепь Маркова):

1. Множество всех состояний W системы S должно быть эргодическим.

2. Цепь Маркова должна быть однородной, т.е. p_ij (k) = p_ij.

3. Цепь Маркова должна быть «достаточно хорошо перемешиваемой» (не должна быть «циклической»).

Цепи Маркова, отвечающие этим условиям, будем называть эргодическими цепями Маркова.

Первое условие означает, что из любого состояния можно перейти в любое другое состояние и вернуться из состояния s_j в состояние s_i (i, j = 1, 2, …, n). При этом состояния s_i и s_j не обязательно должны быть соседними. Другими словами, при блуждании системы по своим состояниям она рано или поздно попадет в любое состояние и выйдет из него и вновь в него вернется.

Если все условия стационарного режима выполняются, то финальные вероятности не зависят от того, каково было состояние системы S в момент времени t ₀ = 0 или каковым было распределение вероятностей в момент времени t ₀ = 0.

Условия наличия стационарного режима можно представить наглядно в виде размеченного графа состояний. Первое условие состоит в том, что размеченный граф системы должен иметь все состояния и все группы состояний транзитивными. Второе условие: все переходные вероятности должны быть постоянными: p_ij (k) = p_ij. Третье условие состоит в том, что необходимо, чтобы моменты попадания в отдельные состояния или группы состояний не образовывали циклов.

Например граф следующего вида

 

соответствует первым двум условиям, но третье условие не выполняется.

Если р ₁(0) = 1, то при k нечетном р ₁(k) = 0, р ₂(k) = 1, а при k четном р ₁(k)= 1, р ₂(k) = 0. Матрица переходных вероятностей для этого графа имеет вид . Таким образом, в общем случае стационарного режима не будет.

В общем случае не будет стационарного режима и у системы, размеченный граф состояний которой имеет следующий вид

 

несмотря на то, что первые два условия выполняются. Действительно, если, например р ₁(0) + р ₂(0) = 1, то при k нечетном система будет находиться в подмножестве состояний { s ₃, s ₄}, а при k четном – в подмножестве состояний{ s ₁, s ₂}:

р ₁(k) + р ₂(k) = 0, р ₃(k) + р ₄(k) = 1 при k нечетном,

р ₁(k) + р ₂(k) = 1, р ₃(k) + р ₄(k) = 0 при k четном.

Матрица переходных вероятностей, соответствующая данному графу, имеет вид

.

При этом выполняется условие: все переходные вероятности, указанные на размеченном графе, отличны от нуля и единицы.

В дальнейшем при рассмотрении стационарных режимов предполагается, что третье условие выполняется.

Будем считать, что условия существования финальных вероятностей выполнены и пределы

p_i = (i = 1, 2, …, n)

существуют и не зависят от начальных условий. Покажем, как найти эти вероятности.

Если цепь Маркова однородна, т.е. p_ij (k) = p_ij, то для стационарного режима (достигаемого при k → ∞) вероятность p_j состояния s_j на (k + 1)-м шаге должна быть такой же, как на k -м:

p_j (k + 1) = = p_j,

где p_j уже не зависит от k. Отсюда

p_j = .

Сумма в правой части последнего равенства распространяется на все значения номера состояний i, включая i = j, при этом p_jj – вероятность задержки системы в состоянии j. Разделим эту сумму на две части: в первой суммирование произведем по всем значениям i, кроме i = j, а во второй будет только один член, отвечающий условию i = j. Тогда

p_j = + p_jp_jj,

откуда при любом j получаем для p_j линейное алгебраическое уравнение вида

+ p_j (p_jj – 1) = 0.

Придавая в этой формуле индексу j значения 1, 2, …, n, получим для n финальных вероятностей p ₁, p ₂, …, p_n систему n линейных однородных алгебраических уравнений

+ p_j (p_jj – 1) = 0 (j = 1, 2, …, n). (1)

 

Как известно из алгебры, такая система уравнений имеет бесконечное множество решений. В рассматриваемом случае решение становится единственным, если добавить к системе (1) нормировочное условие

= 1

взамен которого можно устранить из системы (1) любое, например, первое. Получим систему уже n неоднородных линейных уравнений с n неизвестными

 

(2)

+ p_j (p_jj – 1) = 0 (j = 2, 2, …, n),

= 1.

 

В курсе линейной алгебры доказывается, что такая система имеет единственное решение, т.е. однозначно определяет финальные вероятности p ₁, p ₂, …, p_n, дающие в сумме единицу.

Таким образом, можно сформулировать следующую теорему.

Теорема. Если существуют финальные вероятности, то финальный вектор (р ₁, р ₂, …, р_n) можно найти из уравнения

(р ₁, р ₂, …, р_n) = (р ₁, р ₂, …, р_n)∙ Р,

где Р – матрица переходных вероятностей.

 

При составлении системы линейных уравнений (2) для финальных вероятностей p ₁, p ₂, …, p_n удобно пользоваться понятием «потока вероятностей». Назовем произведение p_ip_ij потоком вероятности, переводящим систему S из состояния s_i в состояние s_j. Полная вероятность перехода системы S в состояние s_j откуда бы то ни было равна сумме всех потоков вероятности, переводящих систему в это состояние, т.е. вероятность прийти в состояние s_j откуда бы то ни было равна

(i ≠ j).

Аналогично, сумма всех потоков вероятности, выводящих систему из состояния s_j куда бы то ни было, равна

= p_j .

Очевидно, что в стационарном режиме вероятность войти в любое состояние должна быть равна вероятности из него выйти (иначе режим не был бы стационарным). Уравнения для финальных вероятностей можно записывать, исходя из следующего правила: для стационарного режима суммарный поток вероятности, переводящий систему S в состояние s_j из других состояний, равен суммарному потоку вероятности, выводящему систему из состояния s_j:

= p_j (j = 1, 2, …, n) (3)

Условие (3) назовем балансовым условием для состояния s_j. К этим условиям надо добавить нормировочное условие

= 1,

отбросив одно любое уравнение из (3). Полученная система решается любым из известных методов из линейной алгебры.

 

Решение типовых задач

1. Совокупность семей некоторого региона можно разделить на три группы

1) Семьи, не имеющие автомобиля и не собирающиеся его покупать;

2) Семьи, не имеющие автомобиля, но намеревающиеся его приобрести;

3)Семьи, имеющие автомобиль.

Проведенное статистическое исследование показало, что матрица перехода за интервал один год имеет вид

.

В этой матрице элемент р ₃₃ = 1 означает вероятность того, что семья, имеющая автомобиль через год также будет его иметь, а, например, элемент р ₂₃ = 0,3 – вероятность того, что семья, не имевшая автомобиля, не решившая его приобрести, осуществит свое намерение в следующем году, и т.д.

Найти вероятности того, что

а) Семья, не имевшая автомобиля и не собиравшаяся его приобрести, будет в такой же ситуации через два года.

Б) Семья, не имевшая автомобиля, но намеревающаяся его приобрести, будет иметь автомобиль через 2 года.

Решение. Найдем матрицу перехода Р₂ через два года

Р₂ = = ∙ = .

Отсюда искомые в а) и б) вероятности равны соответственно р ₁₁ = 0,64 и р ₂₃ = 0,51. ►

 

2. Рассмотрим состояния банка, характеризующиеся одной из процентных ставок: 2%, 3%, 4%, которые устанавливаются в начале каждого квартала и фиксированы на всем его протяжении. Т.е., если рассматриваемый банк принять за систему S, тот она в каждый момент времени может находиться только в одном из трех состояний: s ₁ – процентная ставка 2%, s ₂ – процентная ставка 3%, s ₃ – процентная ставка 4%. Анализ работы банка в предшествующие годы показал, что изменения переходных вероятностей с течением времени пренебрежимо мало. Определить вероятности указанных состояний банка в конце года, если в конце предыдущего года процентная ставка банка составляла 3%, а размеченный граф состояний имеет вид

 

 

Решение. Определим тип процесса. Так как множество состояний, в которых может находиться система, конечно – три состояния – то случайный процесс является дискретным.

С определенной долей погрешности можно предположить, что вероятность пребывания банка в одном из своих состояний в будущем не зависит от его состояний в прошлом, и зависит в существенном только от его состояния в настоящем. Поэтому случайный процесс можно считать марковским. В силу условий примера банк может переходить из состояния в состояние только в заранее определенные моменты времени - в начале каждого квартала. Следовательно, случайный процесс есть процесс с дискретным временем.

Так как зависимостью переходных вероятностей можно пренебречь, то рассматриваемый процесс будет однородным.

Следовательно, рассматриваемый случайный процесс является однородной цепью Маркова.

По размеченному графу состояний найдем значения вероятностей задержек.

Т.к. р₁₂ = 0,4, р₁₃ = 0,2, то р₁₁ = 1 – (0,4 + 0,2) = 0,4.

Т.к. р₂₁ = 0,2, р₂₃ = 0,3, то р₂₂ = 1 – (0,2 + 0,3) = 0,5.

Т.к. р₃₁ = 0,1, р₃₂ = 0,3, то р₃₃ = 1 – (0,1 + 0,3) = 0,6.

Теперь составим матрицу переходных вероятностей за один квартал

.

 

Так как в конце предшествующего года процентная ставка составляла 3%, то можно считать, что в начальный момент времени система находилась в состоянии s ₂. Поэтому начальное распределение вероятностей имеет вид р₁ (0)=0, р₂ (0) = 1, р₃ (0) = 0.

Вероятность состояний банка в конце года, т.е. по прошествии четырех кварталов, находим по формуле Р ₄ = Р ₁⁴, следовательно,

Чтобы найти вероятности состояний в конце года, надо вектор начальных состояний умножить на получившуюся матрицу:

(р₁ (4), р₂ (4), р₃ (4)) = (р₁ (0), р₂ (0), р₃ (0))∙ Р ₄ =

= (0; 1; 0) ∙ = (0,2020; 0,4015; 0,3965)

Итак, р₁ (4) = 0,2020, р₂ (4) = 0,4015, р₃ (4) = 0,3965, т.е. в конце года вероятнее всего процентная ставка останется такой же, как и в предшествующем году, т.е. 3%.►

 

 

3. Состояния банка s ₁, s ₂, s ₃ характеризуются соответственно процентными ставками 5%, 8% и 11%, которые устанавливаются в начале года и не меняются до следующего года. Переходные вероятности постоянны.

Спрогнозируйте, какая ставка будет к концу 2014 года, если в 2010 году процентная ставка была 5%, а размеченный граф состояний выглядит следующим образом:

 

 

Ответ. Через 4 года процентные ставки 5%, 8% и 11% будут соответственно с вероятностями 0,2261; 0,4998 и 0,2741.Следовательно, в 2014 году ставка вероятнее всего будет 8%.

 

4. Состояния банка s ₁, s ₂, s ₃ характеризуются соответственно процентными ставками 2%, 3% и 4%, которые устанавливаются в начале каждого квартала и не меняются до следующего квартала. Переходные вероятности зависят от моментов установления процентных ставок. Матрицы переходных вероятностей задаются следующим образом:

Р (1) = , Р (2) = ,

Р (3) = , Р (4) = .

В конце предшествующего года процентная ставка была 4%. Какой будет процентная ставка в конце этого года? Изобразить размеченные графы состояний системы для каждого квартала.

 

Решение. Изобразим размеченные графы состояний системы, указывая только те стрелки, переходные состояния которых отличны от нуля.

0,1

Шаг k = 1.

 

 

0,3

Шаг k = 2.

 

0,3

Шаг k =3.

 

0,4

Шаг k =4.

 

 

По условию вероятности состояний системы в начальный момент времени

(p ₁(0), p ₂(0), p ₃(0)) = (0, 0, 1).

Находим

Р (1)∙ Р (2) = ∙ = .

Р (1)∙ Р (2)∙ Р (3) = ∙ =

Р (1)∙ Р (2)∙ Р (3)∙ Р (4) = ∙ = = .

Тогда

(p ₁(4), p ₂(4), p ₃(4)) = (p ₁(0), p ₂(0), p ₃(0)) Р (1)∙ Р (2)∙ Р (3)∙ Р (4) =

= (0, 0, 1)∙ = (0,3584; 0,3696; 0,2720).

Таким образом p ₁(4) = 0,3584, p ₂(4) = 0,3696, p ₃(4) = 0,2720, и наиболее вероятной процентной ставкой в конце года будет 3%.►

 

5. Пусть имеется граф состояний

 

 

и задана матрица переходных состояний .

В начальный момент времени (t ₀ = 0) система находится в состоянии s ₁. Составить для системы размеченный граф состояний Найти распределение вероятностей состояний системы для первых четырех шагов (k = 1, 2, 3, 4); убедиться, что вероятность поглощающего состояния p ₄(k) с увеличением k растет.

Решение. Составим для системы размеченный граф состояний.

 

 

Так как в начальный момент времени (t ₀ = 0) система находится в состоянии s ₁, то p ₁(0) = 1, p ₂(0) = p ₃(0) = p ₄(0) = 0. По формуле

p_j (k) = (k = 1,2,…; j = 1,2,…, n),

полагая в ней k = 1, получим p ₁(1) = 0,7, p ₂(1) = 0,1, p ₃(1) = 0,1, p ₄(1) = 0,1.

Снова применяя формулу, находим вероятности состояний на втором шаге

p ₁(2) = 0,7·0,7 + 0,1·0,2 + 0,1·0,2 + 0,1·0 = 0,53;

p ₂(2) = 0,7·0,1 + 0,1·0,6 + 0,1·0 + 0,1·0 = 0,13;

p ₃(2) = 0,7·0,1 + 0,1·0 + 0,1·0,5 + 0,1·0 = 0,12;

p ₄(2) = 1 - p ₁(2) - p ₂(2) - p ₃(2) = 0,22.

Далее получим

p ₁(3) = 0,53·0,7 + 0,13·0,2 + 0,12·0,2 = 0,421;

p ₂(3) = 0,53·0,1 + 0,13·0,6 = 0,131;

p ₃(3) = 0,53·0,1 + 0,12·0,5 = 0,113;

p ₄(3) = 1 - p ₁(3) - p ₂(3) - p ₃(3) = 0,335.

И окончательно

p ₁(4) = 0,421·0,7 + 0,131·0,2 + 0,113·0,2 = 0,3435;

p ₂(4) = 0,421·0,1 + 0,131·0,6 = 0,1207;

p ₃(4) = 0,421·0,1 + 0,113·0,5 = 0,0986;

p ₄(3) = 1 - p ₁(4) - p ₂(4) - p ₃(4) = 0,4372.

Мы убедились в том, что с возрастанием k вероятность поглощающего состояния p ₄(k) растет, тогда как вероятность p ₁(k) состояния s ₁ растет. ►

6. Рассмотрим систему S – станок с числовым программным управлением, который может быть в следующих состояниях:

s ₁ – исправен и работает;

s ₂ – неисправен и неисправность не обнаружена;

s ₃ – неисправен, проводится средний ремонт;

s ₄ – не работает, находится на профилактике;

s ₅ – неисправен, проводится капитальный ремонт.

Размеченный граф состояний имеет следующий вид

 

 

р12

 

 

Известно, что p ₁₄ = 0,1, p ₁₂ = 0,1, p ₂₃ = 0,6, p ₂₅ = 0,1, p ₃₁ = 0,8, p ₄₁ = 0,7, p ₄₃ = 0,1, p ₄₅ = 0,1, p ₅₁ = 0,1. Составить уравнения и найти предельные вероятности состояний станка.

Решение. Рассмотрим состояние s ₅ на графе. В это состояние направлено две стрелки, следовательно, в левой части уравнения (3) для j = 5 (состояние s ₅) будет два слагаемых. Из этого состояния выходит одна стрелка, следовательно, в правой части уравнения (3) для j = 5 будет одно слагаемое. Получаем первое уравнение

p ₂ p ₂₅ + p ₄ p ₄₅ = p ₅ p ₅₁.

Аналогично запишем еще три уравнения:

p ₁ p ₁₂ = p ₂(p ₂₃ + p ₂₅), p ₂ p ₂₃ + p ₄ p ₄₃ = p ₃ p ₃₁ , p ₁ p ₁₄ = p ₄(p ₄₁ + p ₄₃ + p ₄₅).

В качестве пятого уравнения возьмем нормировочное условие

p ₁ + p ₂ + p ₃ + p ₄ + p ₅ = 1.

Перепишем полученную систему уравнений в таком виде:

1) p ₅ =(p ₂ p ₂₅ + p ₄ p ₄₅)/ p ₅₁,

2) p ₂ = p ₁ p ₁₂/(p ₂₃ + p ₂₅),

3) p ₃ = (p ₂ p ₂₃ + p ₄ p ₄₃)/ p ₃₁ ,

4) p ₄ = p ₁ p ₁₄/(p ₄₁ + p ₄₃ + p ₄₅),

5) p ₁ + p ₂ + p ₃ + p ₄ + p ₅ = 1.

Решим эту систему уравнений. Из 2) находим

p ₂ = а ₂ р ₁, где а ₂ = p ₁₂/(p ₂₃ + p ₂₅).

Из 4) имеем

p ₄ = а ₄ р ₁, где а ₄ = p ₁₄/(p ₄₁ + p ₄₃ + p ₄₅).

Из 3) получаем

p ₃ = (а ₂ р ₂₃ + а ₄ р ₄₃) р ₁/ р ₃₁ = а ₃ р ₁, где а ₃ = (а ₂ р ₂₃ + а ₄ р ₄₃)/ р ₃₁.

Из 1) находим

p ₅ = (а ₂ р ₂₅ + а ₄ р ₄₅) р ₁/ р ₅₁ = а ₅ р ₁, где а ₅ = (а ₂ р ₂₅ + а ₄ р ₄₅)/ р ₅₁.

Подставляя соответствующие значения вероятностей, получим

а ₂ = = ,

а ₄ = = ,

а ₃ = = ,

а ₅ = = .

Подставляя полученные значения в равенство 5) получаем уравнение

р ₁ + р ₁ + р ₁ + р ₁ + р ₁ = 1,

из которого

р ₁ = ≈ 0,6139, p ₂ = а ₂ р ₁ = ≈ 0,0877, p ₃ = а ₃ р ₁ = ≈ 0,0743,

p ₄ = а ₄ р ₁ = ≈ 0,0682, p ₅ = а ₅ р ₁ = ≈ 0,1559. ►

Обратим внимание, что для решения этого примера нам потребовались только те вероятности, которые приведены на размеченном графе, и не потребовались вероятности задержки р ₁₁, р ₂₂, р ₃₃, р ₄₄, р ₅₅.

 

7. Система S представляет собой вычислительный центр (ВЦ), в котором имеется три компьютерных блока. В определенные моменты времени, разделенные промежутком t, все блоки осматриваются, в результате чего каждый признается либо исправным и продолжает работать, либо признается неисправным и направляется в ремонт. Вероятность того, что исправный блок за время t выйдет из строя, не зависит от того, какое время он уже работал (от «предыстории» процесса), и равна r. Вероятность того, что ремонтируемый блок за время t будет приведен в исправность, не зависит от того, сколько времени уже продолжался ремонт и сколько блоков ремонтируется, и равна q. Процессы выхода блоков из строя и их восстановления протекают независимо друг от друга. Построить размеченный граф состояний ВЦ, нумеруя их по числу неисправных блоков:

s ₀ – все блоки исправны,

s ₁ – один блок неисправен, остальные два работают,

s ₂ – два блока исправны, один работает,

s ₃ – все три блока неисправны.

Полагая r = 0,2, q = 0,3, построить размеченный граф состояний ВЦ и найти финальные вероятности.

Решение. Размеченный граф состояний имеет следующий вид

 

 

Вычислим переходные вероятности p_ij.

Чтобы система перешла из состояния s ₀ в состояние s ₁, нужно, чтобы один из блоков на время t вышла из строя. Эта вероятность, согласно биномиальному распределению, равна р ₀₁ = . Аналогично находим

р ₀₂ = , р ₀₃ = r ³, р ₀₀ = (1 – r)³.

Чтобы система из состояния s ₁ перешла в состояние s ₀, нужно, чтобы неисправный блок за время t был отремонтирован, а другие два исправных блока не вышли из строя: р ₁₀ = q (1 – r)². Аналогично находим

р ₁₁ = q 2 r (1 – r) + (1 – q)(1 – r)²,

р ₁₂ = qr ² + (1 – q)2 r (1 – r),

р ₁₃ = (1 – q) r ².

Рассуждая таким же способом, определяем

р ₂₃ = (1 – q)² r, р ₂₂ = (1 – q)²(1 – r) + r 2 q (1 – q),

р ₂₁ = qr ² + (1 – r)2 q (1 – q), р ₂₀ = q ²(1 – r),

р ₃₃ = (1 – q)³, р ₃₂ = , р ₃₁ = , р ₃₀ = q ³.

Теперь при r = 0,2 и q = 0,3 имеем

р ₀₁ = 0,384, р ₀₂ = 0,096, р ₀₃ = 0,008, р ₀₀ = 0,512,

р ₁₀ = 0,192, р ₁₂ = 0,236, р ₁₃ = 0,028, р ₁₁ = 0,544,

р ₂₃ = 0,098, р ₂₁ = 0,354, р ₂₀ = 0,072, р ₂₂ = 0,476,

р ₃₂ = 0,441, р ₃₁ = 0,189, р ₃₀ = 0,027, р ₃₃ = 0,343.

Для нашего примера система уравнений

= p_j (j = 1, 2, …, n)

с учетом нормировочного условия = 1 может быть записана в следующем виде:

0,488 р ₀ – 0,192 р ₁ – 0,072 р ₂ – 0,027 р ₃ = 0,

- 0,384 р ₀ + 0,456 р ₁ – 0,354 р ₂ – 0,189 р ₃ = 0,

- 0,096 р ₀ + 0,236 р ₁ + 0,524 р ₂ – 0,441 р ₃ = 0,

р ₀ + р ₁ + р ₂ + р ₃ = 1.

 

Решая полученную систему линейных неоднородных уравнений одним из известных методов линейной алгебры, получим

р ₀ ≈ 0,216, р ₁ ≈ 0,432, р ₂ ≈ 0,288, р ₃ ≈ 0,064. ►

 

8. Дана однородная марковская цепь со следующим размеченным графом состояний

 

Найти финальные вероятности.

Решение. Матрица переходных вероятностей имеет вид

Р = .

Тогда вектор финальных вероятностей

(р ₁, р ₂, р ₃) = (р ₁, р ₂, р ₃)∙ Р = (р ₁, р ₂, р ₃)∙ . (*)

Произведя умножение в правой части этого равенства, получим

(р ₁, р ₂, р ₃) = (0,4 р ₁+ 0,2 р ₂ + 0,7 р ₃; 0,6 р ₁+ 0,8 р ₂; 0,3 р ₃).

Отсюда получаем следующую систему линейных уравнений

р ₁ = 0,4 р ₁+ 0,2 р ₂ + 0,7 р ₃; 0,6 р ₁ – 0,2 р ₂ = 0;

р ₂ = 0,6 р ₁+ 0,8 р ₂; или 0,6 р ₁ – 0,2 р ₂ = 0;

р ₃ = 0,3 р ₃, р ₃ = 0.

Из первого уравнения

р ₁ = р ₂. (**)

Итак, (р ₁ = р ₂; р ₂; р ₃ = 0) – общее решение уравнения (*), зависящее от одного произвольного параметра р ₂. Подберем этот параметр из нормировочного уравнения р ₁ + р ₂ + р ₃ = 1. Отсюда р ₂ = 1 – р ₁. Подставив это выражение в (**), найдем р ₁ = . Тогда р ₂ = .

Окончательно вектор финальных вероятностей (р ₁, р ₂, р ₃) = .►

 

9. Поведение рынка ценных бумаг обнаруживает следующую тенденцию: сделки, в которых цены возрастают, сменяются сделками, в которых цены падают. Наблюдения показали, что условная вероятность возрастания цен после предшествовавшего периода их падения равна 0,65, а условная вероятность падения цен после предшествовавшего периода их возрастания равна 0,6. Найти соответствующие состояния, построить размеченный граф состояний, выписать матрицу переходных вероятностей и найти финальные вероятности системы.

Решение. В качестве системы S будем рассматривать рынок ценных бумаг. Тогда система S может находиться только в двух состояниях: s ₁ – падение цен, и s ₂ – возрастание цен, следовательно, процесс, протекающий в системе S, является дискретным.

Предстоящее состояние, в которое перейдет система S, зависит (в существенном) от состояния, в котором она находится в настоящий момент времени, поэтому процесс является марковским.

Будем предполагать, что моменты времени t ₁, t ₂, t ₃, … настолько близки друг к другу, что между ними система S не изменяет своего состояния и, следовательно, процесс с определенной погрешностью можно считать процессом с дискретным временем.

Условные вероятности 0,65 и 0,6, данные в условии, являются, очевидно, вероятностями р ₁₂ и р ₂₁. Тогда

р ₁₁ = 1 – р ₁₂ = 0.35; р ₂₂ = 1 – р ₂₁ = 0,4.

Размеченный граф состояний будет иметь следующий вид

 

 

Матрица переходных вероятностей

Р = = .

Вектор финальных вероятностей ищем из уравнения

(р ₁, р ₂) = (р ₁, р ₂)∙ Р = (р ₁, р ₂)∙ .

или

(р ₁, р ₂) = (0,35 р ₁ + 0,6 р ₂; 0,65 р ₁ + 0,4 р ₂),

откуда

 

или

р ₁ = 0,35 р ₁ + 0,6 р ₂; 0,65 р ₁ – 0,6 р ₂ = 0;

р ₂ = 0,65 р ₁ + 0,4 р ₂, –0,65 р ₁ + 0,6 р ₂ = 0.

 

Уравнения полученной системы пропорциональны, поэтому одно из них (например, второе) можно отбросить, заменяя его нормировочным уравнением, т.е. получая систему

0,65 р ₁ – 0,6 р ₂ = 0;

р ₁ + р ₂ = 0.

 

Решая эту систему, находим вектор финальных вероятностей

(р ₁, р ₂) = (0,48, 0,52).

Таким образом, при достаточно длительном функционировании рынка ценных бумаг финальные вероятности падения и роста цен равны соответственно 0,48 и 0,52. При этом они не зависят от начального состояния рынка.►

10. Компания по прокату автомобилей выдает автомобили напрокат в трех аэропортах А, В и С. Клиенты возвращают автомобили в эти аэропорты в соответствии с вероятностями, указанными в следующей таблице

Откуда	Куда
А	В	С
А	0,75	0,25
В	0,25		0,75
С	0,25	0,25	0,5

 

Компания планирует построить ремонтную станцию в одном из этих трех аэропортов. В каком из них это целесообразно сделать и почему?

Решение. Каждый автомобиль можно рассматривать в качестве системы S, которая может пребывать в одном из следующих трех состояний:

s ₁ – автомобиль находится в аэропорту А и не выдан напрокат или выдан напрокат из аэропорта А и находится у клиента;

s ₂ – то же для аэропорта В;

s ₃ – то же для аэропорта С.

Тогда вероятности, данные в условии задачи в таблице, являются переходными вероятностями системы S из одного из состояний s ₁, s ₂, s ₃ в другое.

Промежуток времени между выдачей и возвращением автомобиля не может быть сколь угодно бесконечно малым и потому моменты времени t ₁, t ₂, t ₃,… можно выбрать настолько близкими друг к другу, что между ними система S не изменяет своего состояния. Следовательно, процесс, протекающий в системе S, можно считать процессом с дискретным временем.

Таким образом, матрица переходных вероятностей

Р = .

Вектор финальных вероятностей ищем из уравнения

(р ₁, р ₂, р ₃) = (р ₁, р ₂, р ₃)∙ Р = (р ₁, р ₂, р ₃)∙ .

Получаем систему

р ₁ = 0,75 р ₁ + 0,25 р ₂ + 0,25 р ₃; 0,25 р ₁ – 0,25 р ₂ – 0,25 р ₃ = 0;

р ₂ = 0,25 р ₁ + 0,25 р ₃; или -0,25 р ₁ + р ₂ – 0,25 р ₃ = 0;

р ₃ = 0,75 р ₂ + 0,5 р ₃, -0,75 р ₂ + 0,5 р ₃ =0.

Заменяя, например, второе уравнение системы нормировочным уравнение, получим

р ₁ – р ₂ – р ₃ = 0;

р ₁ + р ₂ + р ₃ = 1;

2 р ₂ – р ₃ = 0.

Решая последнюю систему, получим вектор финальных вероятностей (р ₁, р ₂, р ₃) = (0,5, 0,2, 0,3). Таким образом, ремонтную станцию целесообразно строить в аэропорту А, т.к. финальная вероятность возврата в этот аэропорт наибольшая.►