Лекции.Орг


Поиск:




Категории:

Астрономия
Биология
География
Другие языки
Интернет
Информатика
История
Культура
Литература
Логика
Математика
Медицина
Механика
Охрана труда
Педагогика
Политика
Право
Психология
Религия
Риторика
Социология
Спорт
Строительство
Технология
Транспорт
Физика
Философия
Финансы
Химия
Экология
Экономика
Электроника

 

 

 

 


Классификация состояний цепи Маркова по асимптотическим свойствам переходных вероятностей




 

Для цепи Маркова определим

вероятность первого возвращения в состояние на -м шаге, тогда – вероятность того, что система, выйдя из состояния , хотя бы один раз вернется в него.

Определение. Состояние называется возвратным, если , и невозвратным, если .

Все состояния конечного эргодического класса возвратны. Невозвратные состояния возможны только при бесконечном числе состояний.

Если состояние возвратно и , то состояние также возвратно.

Если состояние возвратно, то есть , то набор вероятностей образует распределение вероятностей времени возврата.

Поскольку отыскание функций довольно сложно, то для определения возвратности состояний полезен следующий критерий.

Критерий возвратности состояний. Состояние возвратно тогда и только тогда, когда .

 

Каждое возвратное состояние можно в свою очередь отнести к одному из двух типов в зависимости от величины среднего значении времени возвращения (от его конечности или бесконечности). Величина по определению математического ожидания равна среднему значению числа шагов, за которые цепь Маркова возвращается в состояние . Величина , очевидно, характеризует интенсивность возвращения в состояние .

Определение. Возвратное состояние называется положительным, если , и нулевым, если .

Пример. Рассмотрим одномерное случайное блуждание частицы по целочисленным точкам действительной прямой. За каждый переход частица перемещается на единицу вправо с вероятностью и на единицу влево с вероятностью , причем .

Следовательно, используя формулу Бернулли, получаем

, ,

Воспользовавшись формулой Стирлинга получаем

.

Так как , причем равенство имеет место только тогда, когда , то . Поэтому ряд расходится тогда и только тогда, когда , и в данном случае все состояния являются возвратными.

При , когда и , все состояния являются невозвратными. Очевидно, что если , то частица, отправляясь из состояния , будет смещаться вправо к , а если , то влево к .





Поделиться с друзьями:


Дата добавления: 2015-09-20; Мы поможем в написании ваших работ!; просмотров: 1256 | Нарушение авторских прав


Поиск на сайте:

Лучшие изречения:

Бутерброд по-студенчески - кусок черного хлеба, а на него кусок белого. © Неизвестно
==> читать все изречения...

2437 - | 2356 -


© 2015-2024 lektsii.org - Контакты - Последнее добавление

Ген: 0.008 с.