Главная страница Случайная страница КАТЕГОРИИ: АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника |
Марковский процесс с дискретным множеством состояний и дискретным временем (цепь Маркова с дискретным временем)
Важнейшими вероятностными характеристиками этого процесса являются вероятность перехода системы из состояния на шаге в состояние на k шаге (переход за один шаг) и вероятность того, что за k шагов система перешла из начального состояния в состояние . Марковское свойство процесса выражается в том, что вероятность зависит лишь от состояния , в которое попала система на шаге, и не зависит от того, как и когда система пришла в это состояние. Если вероятности не зависят от номера шага, то цепь Маркова называется простой (или однородной): , – вероятность перехода системы за один шаг из состояния в состояние . Рассмотрим простую цепь Маркова в системе с конечным множеством состояний: . Матрица , составленная из переходных вероятностей , называется матрицей перехода за один шаг. , (1) а матрица . (2) матрицей перехода системы за k шагов. Очевидно, Зная матрицу , можно найти вероятности с помощью равенства Маркова (3) или в матричной форме (4)
Пример 1 Задана матрица вероятностей перехода цепи Маркова из состояния в состояние и известно начальное состояние системы: Найти вероятности состояний системы после третьего шага. Решение. Вероятности состояний системы на первом шаге есть переходные вероятности, стоящие в первой строке матрицы , так как по условию задачи в начальный момент времени система находилась в состоянии : , , , . Для расчета вероятностей состояний на втором шаге используем равенство Маркова (3) Вероятности состояний системы на втором шаге можно найти также после построения матрицы : В первой строке этой матрицы стоят вероятности состояний на втором шаге. Если бы в начальный момент времени система находилась, например, в третьем состоянии то третья строка матрицы дала бы вероятности состояний системы на втором шаге: Выводы. Вероятности состояний после третьего шага можно найти по формуле (3) или построив матрицу : В первой строке этой матрицы стоят вероятности состояний после третьего шага, если в начальный момент времени система была в состоянии : остальные элементы матрицы дают ВАРИАНТЫ К ТИПОВОМУ РАСЧЕТУ
|