![]() Главная страница Случайная страница КАТЕГОРИИ: АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника |
Поглощающие марковские цепи.
Как указывалось выше, из поглощающего состояния нельзя перейти ни в какое другое, у поглощающих дискретных марковских цепей имеется множество, состоящее из одного или нескольких поглощающих состояний. Для примера рассмотрим переходную матрицу, описывающую переходы в системе, имеющей 4 возможных состояния, два из которых являются поглощающими. Матрица перехода такой цепи будет иметь вид: где На основании канонической формы (3) получена матрица, называемая фундаментальной. После соответствующих преобразований матрица (4) примет вид: Каждый элемент матрицы (6) соответствует среднему числу раз попадания системы в то или иное состояние до остановки процесса (поглощения). Если необходимо получить общее среднее количество раз попадания системы в то или иное состояние до поглощения, то фундаментальную матрицу М необходимо умножить справа на вектор-столбец, элементами которого будут единицы, то есть Для иллюстрации приведем конкретный числовой пример: пусть известны значения переходных вероятностей матрицы Переходная матрица в блочной системе будет выглядеть так: В данном случае
В данном случае компоненты вектора В конкретных задачах, конечно, более информативным результатом будет не количество шагов, а какие-либо временные или экономические показатели. Этот результат легко получить, если связать пребывание в каждом состоянии с соответствующими характеристиками. Очевидно, набор этих характеристик составит вектор, на который нужно умножить Так, если задать в нашем примере время пребывания в состоянии S2 - t2 = 20 час, а в состоянии S3 - t3 = 30 час, то общее время до поглощения будет равно: В случаях, когда Марковская цепь включает несколько поглощающих состояний, возникают такие вопросы: в какое из поглощающих состояний цепь попадет раньше (или позже); в каких из них процесс будет останавливаться чаще, а в каких - реже? Оказывается, ответ на эти вопросы легко получить, если снова воспользоваться фундаментальной матрицей. Обозначим через bij вероятность того, что процесс завершится в некотором поглощающем состоянии Sj при условии, что начальным было состояние Si. Множество состояний bij снова снова образует матрицу, строки которой соответствуют невозвратным состояниям, а столбцы - всем поглощающим состояниям. В теории дискретных Марковских процессов доказывается, что матрица В определяется следующим образом: М - фундаментальная матрица с размерностью S; R - блок фундаментальной матрицы с размерностью r. Рассмотрим конкретный пример системы с четырьмя состояниями S1- S4, две из которых - S1, S2 - поглощающие, а две - невозвратные: S3 и S4. P11 = P22 = 1; P31 = P43 = q; P34 = P42 = P. Остальные значения вероятностей будут нулевыми. Каноническая форма матрицы перехода в этом случае будет выглядеть так: Фундаментальная матрица после вычислений примет вид: Тогда, согласно формуле (7), матрица вероятностей поглощения вычисляется так: Поясним вероятностный смысл полученной матрицы с помощью конкретных чисел. Пусть p = 0, 7, а q = 0, 3. Тогда, после подстановки полученных значений в матрицу В, получим: Таким образом, если процесс начался в S3, то вероятность попадания его в S1 равна 0, 38, а в S2 - 0, 62. Отметим одно интересное обстоятельство: несмотря на то, что, казалось бы, левое поглощающее состояние (" левая яма") находится рядом с S3, но вероятность попадания в нее почти в два раза меньше, чем в " удаленную яму" - S2. Этот интересный факт подмечен в теории дискретных Марковских процессов и объясняется он тем, что p> q, то есть процесс имеет как бы " правый уклон". Рассмотренная выше модель называется в теории дискретных Марковских процессов моделью случайного блуждания. Такими моделями часто объясняются многие физические и технические явления и даже поведение игроков во время различных игр. В частности, в рассмотренном примере объясняется факт того, что более сильный игрок может дать заранее значительное преимущество (" фору") слабому противнику и все равно его шансы на выигрыш будут более предпочтительными. Кроме указанных выше средних характеристик вероятностного процесса с помощью фундаментальной матрицы можно вычислить моменты и более высоких порядков. В частности, дисперсия числа пребывания в том или ином состоянии - D определяется с помощью следующей матрицы:
В свою очередь, матрица
|