Дискретный канал передачи информации

Рассмотрим модель канала передачи информации

, ,

,

[бит] - количество информации (мера неопределённости), содержащаяся в элементе ансамбля .

[бит] - количество информации, содержащееся в элементе при условии, на входе канала реализуется элемент ансамбля . Иногда её называют остаточной неопределённостью в элементе при условии реализации на входе канала элемента .

[бит] - количество информации, содержащееся в элементе на выходе канала связи относительно элемента на входе канала. Используя безусловную и условную вероятности и , можно получить

- количество информации, содержащееся в элементе относительно элемента .

Суммируя по всем возможным элементам и с соответствующими весами , получим

(2.19)

- количество взаимной информации, содержащейся в ансамбле относительно ансамбля , [3].

Выразим количество взаимной информации через энтропии ансамблей:

= . (2.20 а)

Формулу (2.18 а) можно интерпретировать как среднее количество информации, переданное по каналу связи. Условная энтропия зависит от характеристик шума и интерпретируется как среднее количество информации, теряемое в канале связи из-за шума, и её называют ненадёжностью [ 4, стр. 66].

Используя соотношение (2.17), можно показать

. (2.20 б)

Энтропия - это среднее количество принятой информации, необходимое для определения принятого сигнала. Условная энтропия - среднее количество принятой информации, когда известны вероятностные характеристики ансамбля Y. Ввиду того, что сигнал и шум аддитивны и независимы, а характеристики сигнала учитываются в расчетах условной энтропии , то - среднее количество информации, необходимое для определения помехи, или энтропия помехи (шума) в канале связи. При отсутствии помех в канале связи

= =0 и = .

Пример 1. Положим, сигналы в канале передачи данных не искажаются, т.е. шумы в канале отсутствуют. Условная вероятность появления символов и в этом случае равна

Тогда условная энтропия равна нулю и количество взаимной информации определяется энтропией ансамбля Z. Но ранее было показано, что = . Из этого равенства и отсутствия шума следует, что , то есть количество взаимной информации на выходе канала связи относительно входа равна энтропии (неопределённости) ансамбля на входе канала передачи данных. И чем больше энтропия , тем больше информации передаётся по каналу связи.

Пример 2. Положим, сигналы в канале передачи данных искажаются настолько, что сигналы на приёмном конце канала передачи данных можно считать статистически независящими от передаваемых значений . В этом случае условная вероятность запишется как

и количество взаимной информации будет равно нулю, то есть абонент не получит никакой информации, хотя он будет фиксировать принимаемые символы .

Из рассмотренных примеров видно, чем больше энтропия , тем больше информации может быть передано по каналу. Для дискретных источников информации, как было показано ранее, энтропия принимает наибольшее значение, если элементы ансамбля равновероятны. Это положение относится как к ансамблю X, так и к ансамблям Y и Z то есть

, , где N и K – количество элементов ансамблей X и Y. Для непрерывных распределений вероятностей , , имеющих конечную дисперсию, энтропия принимает максимальное значение, если значения x и y распределены по нормальному закону.

Ансамбль сообщений, энтропия которых равна максимальному значению, является оптимальным ансамблем в смысле наибольшего количества передаваемой информации [5].

Для оценки того, насколько отличается энтропия ансамбля от максимального значения вводится понятие коэффициента сжатия:

.

Из определения видно, что . При каждое сообщение несёт максимальную информацию. Избыточность информации, содержащаяся в ансамбле, характеризуется коэффициентом избыточности

.

Чтобы уменьшить избыточность, содержащуюся в ансамбле X источника информации, создается новый ансамбль Y символов, энтропия которой близка к максимальному значению. Затем с помощью элементов ансамбля Y составляются сообщения из ансамбля X.