Классифицировать состояния цепи Маркова, заданной матрицей вероятностей переходов за один шаг.
Граф переходов для данной цепи Маркова имеет вид
Рис. 2.
Очевидно, что у рассматриваемой цепи состояния 1,4,2 – несущественные, 3,5,6,7 –существенные, кроме того, есть два неразложимых класса ,
. Следовательно, канонический вид матрицы вероятностей переходов следующий:
Рассмотрим теперь неразложимый класс, изображенный на рис.3
Рис. 3.
Заметим, что здесь возвращение в каждое состояние возможно лишь за четное число шагов, переход в соседнее состояние – за нечетное число шагов, а матрица вероятностей переходов имеет блочную структуру:
Отсюда видно, что класс разбивается на два подкласса
и
, обладающих следующим свойством цикличности: за один шаг цепь Маркова из
непременно переходит в
, а из
– в
, но за два шага возвращается в исходный класс. Этот пример показывает возможность разбиения неразложимых классов на циклические подклассы.
Определение. Будем говорить, что состояние замкнутого класса имеет период
, если
есть наибольший общий делитель чисел
таких, что
.
Очевидно, что для предыдущего примера (рис3) , для всех
.
Определение. Если , (
), то состояние
(класс
) называется апериодическим (эргодическим).
Возвращаясь к циклическим подклассам, можно сделать вывод о том, что если в начальный момент времени система находится в состоянии подкласса , то в момент времени
, она будет находиться в подклассе
. Следовательно, с каждым из подклассов
можно связать новую марковскую цепь с матрицей вероятностей переходов
, которая будет неразложимой и апериодической. Поэтому в дальнейшем при рассмотрении предельных свойств вероятностей
при
, можно ограничиться только эргодическими классами.