Марковские процессы, дискретные в пространстве и во времени. Матрица переходных вероятностей марковской цепи

Марковские процессы

Основные понятия:

1) состояние

2) переход системы (из одного состояния в другое)

X_i: X₁, X₂, …, X_n состояния i: 1 – N

2 ЭВМ: первый (1) и второй (2)

1 работает 2 ремонт X₁

1 профилактические работы 2 работает в режиме резерва X₂

1 отказ 2 отказ X₃

и т.д. для всех возможных вариантов состояний

Шаг процесса – переход из одного состояния в другое

X_i –> X_k причем i может быть равной k

1) если каждый из элементов имеет положительный экспоненциальный закон распределения

2) описание большинства систем, зная ее прошлое (до текущего состояния), не влияет на предсказание ее поведения в будущем

Момент переходов: n=0,1,2,…

i=1,2,3,…,N – количество состояний системы

∆t – промежутки между переходами

матрица переходных вероятностей марковской цепи.

Свойства матрицы:

1)

2)

- вероятность попадания в состояние с номером j после n+1 переходов

т.к. j=1,…,N, то

……………………………

;

………………

– свойство

– эргодический Марковский процесс

На практике все идет непрерывно при ∆t → 0 или ∆t конечно.