Цепи Маркова с дискретным временем

Способы математического описания марковского случайного процесса, протекающего в системе с дискретными состояниями, существенно зависят от того, в какие моменты времени происходят переходы (скачки) системы из состояния в состояние.

Марковский случайный процесс называется процессом с дискретным временем, если переходы системы из состояния в состояние возможны только в определенные, заранее фиксиро­ванные, моменты времени t₁, t₂, …. Причем в промежутках времени между этими моментами система сохраняет свое состояние.

Эти заранее известные моменты времени принято называть шагами процесса и рассматривать случайный процесс, происходящий в системе, как функцию целочисленного аргумен­та – номера шага k.

Пусть имеется система S, которая имеет возможные состояния . Обозначим как событие, состоящее в том, что после k шагов система находится в состоянии . Обозначим вероятность события через и назовем эту вероятность – вероятностью i -го состояния после k -го шага. Очевидно, что для любого шага k события образуют полную группу, т.к. система может находиться только в одном из своих состояний, поэтому можно записать: .

Случайная последовательность событий называется цепью Маркова, если для каждого шага вероятность перехода системы из любого состояния в любое состояние не зависит от того, когда и каким образом система пришла в состояние .

Вероятности перехода системы из любого состояния в любое состояние за один шаг можно записать в виде квадратной матрицы переходных вероятностей . В этой матрице некоторые элементы могут быть равны нулю, что означает невозможность перехода системы из i -го состояния в j -е, а на главной диагонали располагаются вероятности задержки системы в состоянии .

Цепь Маркова называется однородной, если переходные вероятности не зависят от номера шага, т.е. не изменяются от шага к шагу. В противном случае цепь Маркова называется неоднородной.

Для определения вероятностей состояний системы после любого k -го шага используется формула, которая называется равенством Маркова:

Как следует из этой формулы, вероятности состояний системы после k -го шага определяются через вероятности состояний после предыдущего (k – 1)-го шага. При проведении практических расчетов чаще используется равенство Маркова, записанное в матричной форме:

,

где матрица-строка вероятностей состояний после (k – 1)-го шага, а матрица-столбец искомых вероятно­стей после k -го шага.

ПРИМЕР: Найдите вероятности состояний после 2 шага некоторой системы, для которой известно, что в начальный момент она находится в состоянии , а матрица переходных вероятностей имеет вид:

Согласно условию, для начального момента (k = 0) запишем: . Для вероятностей состояний системы после первого шага, используя равенство Маркова в матричной форме, можно записать:

Искомые вероятности состояний после второго шага будут равны:

Таким образом, после второго шага вероятнее всего система будет находиться в состоянии .