Марковские случайные процессы

В математических моделях случайных процессов из соотношений модели определяются ряды распределения интересующих нас случайных величин или их функции распределения, или их плотности распределения — в зависимости от характера этих случайных величин, а также зависимость этих рядов (функций, плотностей) распределения от времени и внешних величин. Таким образом, внутренними величинами в математических моделях случайных процессов являются вероятности нахождения изучаемой системы в одном из состояний, в котором она может находиться. С практической точки зрения в большинстве случаев нужны только две характеристики случайных величин — математическое ожидание и дисперсия.

Приведем примеры математических моделей случайных процессов. Пусть имеется некоторая физическая система S, которая может находиться в п состояниях s₁, s₂, …, s_n. С течением времени система может переходить из состояния в состояние случайным образом. Процесс Р перехода системы S из состояния в состояние называется марковским, если вероятность перехода из состояния s_iв состояние s_j зависит только от i и j и не зависит от того, каким образом система оказалась в состоянии i. Процесс Р называется процессом с дискретным временем, если переходы системы из состояния в состояние могут совершаться только в дискретные моменты времени t₁,t₂, t_k,..., а в промежутках между этими моментами система сохраняет свое состояние. Процесс Р называется процессом с непрерывным временем, если переходы системы из состояния в состояние возможны в любой наперед неизвестный случайный момент времени и вероятность того, что система S перейдет из состояния i в состояние j в течение малого промежутка dt, дается формулой P(dt)= _ij dt + o(dt).

Основная задача теории марковских процессов состоит в расчете вероятностей p₁, p₂, …,p_nнахождения системы S в состояниях s₁,s₂,…, s_n в любой момент времени t. Эти вероятности являются внутренними характеристиками соответствующих математических моделей. Другими словами, необходимо найти соответствующий ряд распределения. Если эти вероятности найдены, то возможно рассчитать все другие характеристики процесса Р. Внешними величинами соответствующих моделей являются величины перехода системы из состояния s_i состояние s_j и начальные вероятности .

Для процессов с дискретным временем решение этой задачи дается формулой

, (4.7)

где

. (4.8)

Для процессов с непрерывным временем для решения этой задачи необходимо интегрировать уравнения Колмогорова

(4.9)

с начальными условиями (4.8).

Часто бывает интересно знать так называемые финальные вероятности p₁(), p₂(),...,р_n() состояний s₁, s₂,.., s_n, т.е. пределы вероятностей p₁,p₂, …, р_n при р . Финальные вероятности не всегда существуют. Если они существуют, то должны удовлетворять системе линейных алгебраических уравнений:

(4.10) получающейся из (4.9) при стремлении t . Одно из уравнений системы (4.10) нужно, естественно, выбросить, заменив егоусловием

Рассмотренные в данном разделе системы являются системами с дискретными состояниями. Имеются системы, число состояний которых удобно считать бесконечно большим и характеризовать их числами из некоторого непрерывного интервала. Такие системы называются системами с непрерывными состояниями.