Студопедия

Главная страница Случайная страница

КАТЕГОРИИ:

АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника






Решение. Прежде всего найдем безусловные вероятности передачи символов из соотношения






Решение

 

Прежде всего найдем безусловные вероятности передачи символов из соотношения

 

Тогда

.

Энтропия источника

 

 

Избыточность источника

 

.

.

Для источника без памяти при тех же безусловных вероятностях передачи символов

.

 

 

Задача 4

Передается текст из 6-ти букв, составленный из алфавита из 3-х букв – «а б о».

Задана взаимная вероятность появления символов

.

 

Вычислить

вероятности появления букв в передаваемом тексте, энтропию источника , условные вероятности , частную условную энтропию при фиксированном , условную энтропию .

 

Решение

 

Вычисляем безусловные вероятности состояний каждого ансамбля как суммы совместных вероятностей по строкам и столбцам этой матрицы:

 

Определим энтропии

=

 

 

Определяем условные вероятности

 

 

.

 

 

 

Условная энтропия при фиксированном

 

 

.

Определим условную энтропию

 

 

Задача 5

Передается текст, состоящий из алфавита «а б д к р прбел» с вероятностями

а
б
д
к
р
пробел
Всего букв в алфавите  

Рассчитать собственную информацию сообщения , энтропию сообщения , максимальную энтропию сообщения и избыточность источника .

Решение

 

а
б
д
к
р
пробел

Энтропия сообщения

.

Максимальная энтропия сообщения

.

 

Избыточность источника

.

 

 

Задача 6

Передается текст, состоящий из алфавита «а б д к р пробел» с условными вероятностями их появления после буквы «а» и после буквы «б»

а
б
д
к
р
пробел

 

Рассчитать условную собственную информацию сообщения , условную энтропию при фиксированном , условную энтропию ансамбля при фиксированном ансамбле , максимальную условную энтропию и избыточность источника .

При этом безусловные вероятности

а
б
д
к
р
пробел
Всего букв в алфавите  

 


Поделиться с друзьями:

mylektsii.su - Мои Лекции - 2015-2024 год. (0.009 сек.)Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав Пожаловаться на материал