Методика получения Марковского случайного процесса

Допустим, что процесс функционирования исследуемой нами системы описывается дифференциальным уравнением вида , где x (t)= x (t ₀)× e^-at, начальное значение x(t₀) – это нормально распределенная случайная величина с заданными параметрами распределения .

Для определения состояния системы в момент (t + Dt) надо знать ее поведение в момент времени t – предыдущее состояние.

Пример.

Функционирование системы описывается следующим уравнением: , - это обыкновенное дифференциальное уравнение вида , где . Оно решается следующим образом.

где х (0) – нормально распределенная случайная величина с заданными математическим ожиданием M_X и дисперсией .

Рассмотрим набор состояний, полученных из решения дифференциального уравнения.

умножим и разделим правую часть последнего выражения на , получим , т.е. , «текущее» состояние системы определяется по предыдущему, и мы имеем дело с Марковским процессом первого рода.

В случае, если и необходимо учитывать влияние некоторого случайного фактора x (t), общее уравнение состояния примет вид , получаем случайный Марковский процесс 2-го рода.

Пример.

Марковский случайный процесс – задача «учёта состояния» студента. Состояния S ₁- S ₅ – соответствуют курсам обучения, S ₆ – защита диплома, окончание обучения, S ₇ – отчисление.

Данная матрица описывает этапы обучения студента:

P_{i i} - вероятность остаться на повтор, P_{i i+1} – вероятность перехода на следующий курс, P_{i 7} – вероятность отчисления из вуза.