При рассмотрении марковских процессов с дискретными состояниями и непрерывным временем подразумевается, что все переходы системы S из состояния в состояние происходят под действием простейших потоков событий (потоков вызовов, потоков отказов, потоков восстановлений и т.д.). Если все потоки событий, переводящие систему S из состояния в состояние простейшие, то процесс, протекающий в системе, будет марковским.
При анализе случайных процессов с дискретными состояниями удобно пользоваться геометрической схемой – графом состояний. Вершины графа – состояния системы. Дуги графа – возможные переходы из состояния в состояние.
Рис. 4.4. Размеченный граф состояний системы
Для наглядности на графе состояний системы у каждой дуги проставляют интенсивности того потока событий, который переводит систему по данной дуге (стрелке). l ij – интенсивности потока отказов; m ij – интенсивности потока восстановлений, переводящие систему из состояния Si в Sj. Такой граф называется размеченным (рис. 4.4).
Имея в своем распоряжении размеченный граф состояний системы, строится математическая модель данного процесса.
Пусть рассматриваемая система S имеет n возможных состояний S 1, S 2, …, Sn. Вероятность i -го состояния pi (t) – это вероятность того, что в момент времени t система будет находиться в состоянии Si. Для любого момента времени сумма всех вероятностей состояний равна единице: 
.
Для нахождения всех вероятностей состояний pi (t) как функций времени составляются и решаются уравнения Колмогорова, в которых неизвестными функциями являются вероятности состояний. Правило составления этих уравнений базируется на понятии финальной вероятности состояния.
При t ® ¥ в системе устанавливается стационарный режим, при котором система случайным образом меняет свои состояния, но их вероятности уже не зависят от времени. Пределы вероятностей состояний при t ® ¥, если эти пределы существуют и не зависят от начального состояния системы, называются финальными вероятностями состояний:
, где n – конечное число состояний системы.
.
Финальная вероятность состояния Si – это среднее относительное время пребывания системы в этом состоянии.
Правило составления системы уравнений Колмогорова: в каждом уравнении системы в левой его части стоит финальная вероятность данного состояния pi, умноженная на суммарную интенсивность всех потоков, ведущих из данного состояния, а в правой его части – сумма произведений интенсивностей всех потоков, входящих в i-е состояние, на вероятности тех состояний, из которых эти потоки исходят.
