Классификация состояний цепи Маркова по асимптотическим свойствам переходных вероятностей

Для цепи Маркова x(n) определим

–

вероятность первого возвращения в состояние i на n -м шаге, тогда – вероятность того, что система, выйдя из состояния i, хотя бы один раз вернется в него.

Определение. Состояние i Î X называется возвратным, если f_i= 1, и невозвратным, если f_i< 1.

Все состояния конечного эргодического класса возвратны. Невозвратные состояния возможны только при бесконечном числе состояний.

Если состояние i Î X возвратно и i «j, то состояние j Î X также возвратно.

Если состояние i возвратно, то есть f_i= 1, то набор вероятностей f_i (n) образует распределение вероятностей времени возврата.

Поскольку отыскание функций f_i (n) довольно сложно, то для определения возвратности состояний полезен следующий критерий.

Критерий возвратности состояний. Состояние i Î X возвратно тогда и только тогда, когда .

Каждое возвратное состояние можно в свою очередь отнести к одному из двух типов в зависимости от величины среднего значении времени возвращения (от его конечности или бесконечности). Величина по определению математического ожидания равна среднему значению числа шагов, за которые цепь Маркова возвращается в состояние i. Величина m _i ^-1, очевидно, характеризует интенсивность возвращения в состояние i.

Определение. Возвратное состояние i называется положительным, если m _i ^-1> 0, и нулевым, если m _i ^-1=0.

Пример 2.5. Рассмотрим одномерное случайное блуждание частицы по целочисленным точкам действительной прямой. За каждый переход частица перемещается на единицу вправо с вероятностью p и на единицу влево с вероятностью q, причем p+q=1.Определить при каких значениях p и q состояния будут возвратными.

Решение: Используя формулу Бернулли, получаем

, ,

Воспользовавшись формулой Стирлинга , получаем

.

Так как , причем равенство имеет место только тогда, когда , то . Поэтому ряд расходится тогда и только тогда, когда , и в данном случае все состояния являются возвратными.

При , когда и , все состояния являются невозвратными.

Очевидно, что если p> q, то частица, отправляясь из состояния i, будет смещаться вправо к +∞, а если p< q, то влево к -¥.