Среднее время перехода из несущественного состояния в замкнутый класс

Пусть для цепи Маркова единственный замкнутый класс . Обозначим – среднее значение времени перехода цепи Маркова из несущественного состояния в замкнутый класс . Учитывая, что если из состояния можно сразу попасть в класс , то время перехода равно единице, а если этот переход выполняется в несущественное состояние , тогда суммарное время перехода составляет , где первое слагаемое, равное единице, определяет первый шаг, а второе: – среднее значение времени перехода из состояния в класс .

В силу формулы полной вероятности для условных математических ожиданий, можно записать систему линейных неоднородных уравнений для определения :

.

Если цепь Маркова содержит замкнутых классов, то для нахождения среднего времени перехода из несущественного состояния в -ый замкнутый класс , необходимо учитывать вероятность перехода в этот замкнутый класс, то есть находить условное время перехода. , где – событие, состоящее в том, что из -го состояния мы перешли в -ый замкнутый класс. Это время перехода определяется равенством:

,

где определяется аналогично для цепи Маркова с единственным замкнутым классом состояний.

ПРИМЕР. Найдите вероятность и условное среднее время перехода из несущественного состояния в замкнутый класс для цепи Маркова, заданных матрицей переходов за один шаг систем

.

Граф состояний для заданной цепи Маркова имеет вид

Очевидно, что у рассматриваемой цепи состояние 3 – несущественное и есть два неразложимых класса , .

Следовательно, рассмотри две гипотезы:

- произошел переход в замкнутый ;

- произошел переход в замкнутый .

Тогда условное среднее время перехода из несущественного состояния в замкнутые классы и определяется по формулам:

,

,

где – вероятность события , то есть вероятность перехода из несущественного состояния 3 в -ый замкнутый класс.

Вероятности перехода из несущественного состояния 3 в замкнутые классы и определяем по формулам

,

.

Откуда получаем: , .

Для и имеем систему уравнений:

, ;

, .

Тогда условное среднее время перехода из несущественного состояния в замкнутые классы и составляет:

,

.