![]() Главная страница Случайная страница КАТЕГОРИИ: АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника |
Классификация состояний цепей Маркова
Введем классификацию состояний цепи Маркова. Множество всех состояний может быть разбито на непересекающиеся подмножества, или классы: невозвратные и
Для цепи Маркова с N состояниями, в которой имеются как невозвратные, так и эргодические множества, структура матрицы вероятностей переходов (возможно, после перенумерации состояний) имеет канонический вид где s - количество состояний в невозвратном множестве; п — s - количество состояний в эргодическом множестве. Матрица W размерности (n-s)x(n-s) определяет динамику эргодических состояний. Поскольку из множества Ť невозможно выйти, то матрица Ø размерности (n-s)x s состоит из нулей. Матрица Q размерности sxs определяет поведение процесса до выхода из множества невозвратных состояний. Матрица R размерности s x(n — s) определяет вероятности перехода из множества невозвратных состояний вэргодическое множество. При возведении матрицы Р в степень перемножаются блоки, указанные в (3.9), и произвольная степень канонической матрицы имеет вид
Рассмотрим структуру матрицы R(k). Вычисляя последовательно степени матрицы Р с учетом (3.9), получим: где Сki - биномиальные коэффициенты. В соответствии со сказанным выше, i -я строка матрицы R(k) содержит вероятности перехода системы во все состояния эргодического множества Ť за к шагов при старте из состояния Si € T. Если цепь Маркова поглощающая, то W = I - единичная матрица размерности п - s, и все ее степени - также единичная матрица той же размерности. Отметим еще два специальных вида матриц переходных вероятностей. Матрица Р называется редуцируемой, если имеет вид
где Aи В - квадратные, Ø - нулевые матрицы. Цепь Маркова, определяемая матрицей вида (3.12), фактически распадается на две независимые цепи Маркова, задавааемые соответственно матрицами А и В. Матрица Р называется периодической, если она имеет вид
где нулевые матрицы - квадратные. Здесь также присутствует два множества состояний, и на каждом шаге процесс переходит из одного множества состояний в другое. Именно такую структуру имеет переходная матрица в приведенном выше примере, если рассматривать матрицу перехода внутри множества невозвратных состояний.
|