Кодирование источника информации

Источник информации может быть составлен из различных элементов. В частности это могут быть результаты измерений непрерывных величин, это может быть дискретный ансамбль, составляющий полную группу событий, это может быть последовательность символов, составленная из элементов некоторого алфавита, скажем текст на русском языке. Все эти представления источника должны быть определены некоторыми элементарными величинами, составляющими алфавит, характеризующий источник информации.

Если имеется дискретный ансамбль, составляющий полную группу событий, то из него образуется алфавит, характеризующий источник.

Если источник генерирует текст на русском языке, то его алфавит известен.

Будем считать, что элементы алфавита взаимно независимы (хотя в общем случае они зависимы), на этом множестве задается распределение вероятностей таких, что

.

Вероятности использования элементов бывают известны до начала кодирования. Если они неизвестны, то на основании экспериментальных данных делаются оценки вероятностей и их используют для дальнейших вычислений.

Пример 3.1. Положим необходимо передать сообщение: “ Если имеется дискретный ансамбль ”, состоящий из 32 символов, включая пробелы. Ниже в таблице 1.1 приведены элементы алфавита, составляющие ансамбль и участвующие в образовании сообщения. В последней строке – частота появления этих элементов в

сообщении. Эту частоту реализации элементов примем за оценку вероятностей появления элементов алфавита в сообщении. Все остальные элементы русского алфавита не участвуют в данном сообщении и их вероятность реализации равна нулю.

Как видно из таблицы, распределение вероятностей - не равновероятное, существует избыток средней информации в сообщении и поэтому имеется возможность сжать информацию.