Лекции.Орг


Поиск:




Классификация состояний цепи Маркова по асимптотическим свойствам переходных вероятностей




 

Для цепи Маркова определим

вероятность первого возвращения в состояние на -м шаге, тогда – вероятность того, что система, выйдя из состояния , хотя бы один раз вернется в него.

Определение. Состояние называется возвратным, если , и невозвратным, если .

Все состояния конечного эргодического класса возвратны. Невозвратные состояния возможны только при бесконечном числе состояний.

Если состояние возвратно и , то состояние также возвратно.

Если состояние возвратно, то есть , то набор вероятностей образует распределение вероятностей времени возврата.

Поскольку отыскание функций довольно сложно, то для определения возвратности состояний полезен следующий критерий.

Критерий возвратности состояний. Состояние возвратно тогда и только тогда, когда .

 

Каждое возвратное состояние можно в свою очередь отнести к одному из двух типов в зависимости от величины среднего значении времени возвращения (от его конечности или бесконечности). Величина по определению математического ожидания равна среднему значению числа шагов, за которые цепь Маркова возвращается в состояние . Величина , очевидно, характеризует интенсивность возвращения в состояние .

Определение. Возвратное состояние называется положительным, если , и нулевым, если .

Пример. Рассмотрим одномерное случайное блуждание частицы по целочисленным точкам действительной прямой. За каждый переход частица перемещается на единицу вправо с вероятностью и на единицу влево с вероятностью , причем .

Следовательно, используя формулу Бернулли, получаем

, ,

Воспользовавшись формулой Стирлинга получаем

.

Так как , причем равенство имеет место только тогда, когда , то . Поэтому ряд расходится тогда и только тогда, когда , и в данном случае все состояния являются возвратными.

При , когда и , все состояния являются невозвратными. Очевидно, что если , то частица, отправляясь из состояния , будет смещаться вправо к , а если , то влево к .





Поделиться с друзьями:


Дата добавления: 2015-09-20; Мы поможем в написании ваших работ!; просмотров: 1223 | Нарушение авторских прав


Поиск на сайте:

Лучшие изречения:

Не будет большим злом, если студент впадет в заблуждение; если же ошибаются великие умы, мир дорого оплачивает их ошибки. © Никола Тесла
==> читать все изречения...

1017 - | 834 -


© 2015-2024 lektsii.org - Контакты - Последнее добавление

Ген: 0.01 с.