Решение. Рассчитаем условную информацию

Рассчитаем условную информацию

а				=2
б		=2		0
д		=4		0
к		0		0
р		0		0
пробел		=4		0

Рассчитаем условную энтропию при фиксированном

Рассчитаем условную энтропию ансамбля при ансамбле

Для этого необходимо найти переходные вероятности

.

Сравним с энтропией источника

Задача 7

Стационарный источник выдает за время с двоичными посылками длительности мс бит информации. За какое время и каким количеством двоичных посылок можно передать тот же объем информации, если соответствующей обработкой полностью устранить избыточность источника.

Решение

Заданный объем информации источник передает

посылками.

Средняя информация на символ

бит/символ.

Если избыточность полностью устранена

бит/символ.

И заданный объем передается

посылками за время

с.

Избыточность источника

.

Обратим внимание, что сокращение избыточности источника позволила бы на 90% более экономно использовать во времени во времени канал связи.