Цепи Маркова с непрерывным временем

Рассмотрим марковский процесс с конечным или счетным множеством состояний , который изменяет свои состояния в произвольные моменты времени. Такой процесс называется цепью Маркова с непрерывным временем. Очевидно, что для такой цепи Маркова выполняются условия

для любых и .

Определение. Вероятность называется вероятностью перехода из состояния в состояние за промежуток времени .

Цепи Маркова однозначно определяются матрицей вероятностей переходов и начальным распределением .

Вероятности состояний в любой момент времени определяются следующим образом:

.

Определение. Если вероятности переходов зависят только от разности моментов времени, то есть , то цепь Маркова называется однородной.

Для однородных цепей Маркова матрица вероятностей переходов имеет вид , а вероятности состояний определяются следующим образом:

.

Переходные вероятности обладают следующими свойствами:

1. .

2. .

3. Уравнение Чемпена-Колмогорова:

– для однородных цепей Маркова,

– для неоднородных цепей Маркова, где .

4. Условие стохастической непрерывности:

Это условие означает, что с вероятностью 1 цепь однородная Маркова не изменит своего состояния за бесконечно малый промежуток времени . Следует отметить, что стохастическая непрерывность не означает непрерывность реализаций марковской цепи. Это происходит потому, что разрывы каждой реализации цепи происходят в случайные моменты времени, и вероятность того, что разрыв произойдет именно в данный момент времени , равна нулю.