Непрерывные цепи Маркова

Марковский случайный процесс с дискретными состояниями и непрерывным временем называется непрерывной цепью Маркова при условии, что переход системы из состояния в состояние происхо­дит не в фиксированные, а в случайные моменты времени.

В экономике часто встречаются ситуации, которые указать за­ранее невозможно. Например, любая деталь или агрегат автомоби­ля могут выйти из строя в любой, непредсказуемый заранее мо­мент времени. Для описания таких систем в отдельных случаях можно использовать математический аппарат непрерывной цепи Маркова.

Пусть система характеризуется п состояниями а переход из состояния в состояние может осуществляться в любой момент времени. Обозначим через вероятность того, что в мо-

мент времени t система S будет находиться в состоянии .... п). Требуется определить для любого t вероятности состояний Очевидно, что

Для процесса с непрерывным временем вместо переходных ве­роятностей Pjj рассматриваются плотности вероятностей перехода Ху_У представляющие собой предел отношения вероятности перехо­да системы за время At из состояния 5, в состояние Sj к длине про­межутка At:

Если то процесс называется однородным, если плот-

ность вероятности зависит от времени то - неоднородным.

При рассмотрении непрерывных марковских процессов приня­то представлять переходы системы S из состояния в состояние как происходящие под влиянием некоторых потоков событий¹. Пото­ком событий называется последовательность однородных событий, следующих одно за другим через какие-то, вообще говоря, случай­ные интервалы времени. Плотность вероятности перехода интер­претируется как интенсивность соответствующих потоков собы­тий. Если все эти потоки пуассон'овские, то процесс, протекающий в системе будет марковским.

При изучении марковских случайных процессов с дискретны­ми состояниями и непрерывным временем в графе состояний над стрелками, ведущими из состояния в, проставляют соответст­вующие интенсивности Такой граф состояний называют разме­ченным.

Пусть система S имеет конечное число состояний Случайный процесс, протекающий в этой системе, описывается вероятностями состояний — вероят-

ность того, что система S в момент / находится в состоянии . Для любого

Вероятности состояний Pfj) находят путем решения системы дифференциальных уравнений (уравнений Колмогорова), имеющих вид

Величина называется потоком вероятности перехода из

состояния в , причем интенсивность потоков может зависеть от времени или быть постоянной.

Уравнения (2.8) составляют по размеченному графу состояний системы, пользуясь следующим мнемоническим правилом:

производная вероятности каждого состояния равна сумме всех

потоков вероятности, идущих из других состояний в данное

состояние, минус сумма всех потоков вероятности, идущих из

данного состояния в другие.

Чтобы решить систему дифференциальных уравнений (2.8), нужно задать начальное распределение вероятностей

Для решения применяют численные методы.