Канал без шумов

Шум в канале связи искажает физические параметры сигнала, что в свою очередь приводит к искажению символов. Вероятностная характеристика искажений – это условная вероятность . Будем считать, сигнал в канале не искажается, если . Тогда для канала без шумов справедливо выражение

(4.9)

Из выражения (4.9) следует, , т.е. пропускная способность канала связи равна

= (4.10)

Если используется код с основанием D, то энтропия ансамбля достигает наибольшего значения при . Тогда пропускная способность канала равна

. (4.11)

Теорема Шеннона о кодирование источника независимых сообщений для канала без шумов, [6, стр. 270].

Пусть источник имеет энтропию , а канал имеет пропускную способность . Тогда можно закодировать сообщения таким образом, что можно передавать их со средней скоростью

, где .

Передавать сообщения со скоростью большей, чем , невозможно.

Доказательство. Будем считать источник сообщений согласованным с каналом по скорости передачи информации, если . Тогда

. (4.12)

Энтропия не превышает . Запишем

= ,. (4.13)

где .

Подстановка (4.13) в (4.12) позволяет получить

, (4.14)

где .

Если принять , то , т.е. не имеет смысла передавать сообщения.