Статистическая избыточность изображений

Пусть имеется дискретизированное пикселей и квантованное с точностью K бит на пиксель монохромное изображение. Следовательно, для хранения этого изображения необходимо бит информации.

Если предположить, что квантованные значения яркости не равновероятны, то уменьшение информации возможно путем изменения количества бит информации для кодирования пикселей: более вероятные кодируются словами с меньшим количеством бит, менее вероятные - с большим. Этот метод называется кодированием словами переменной длины или энтропийным кодированием.

Пусть квантованный уровень яркости имеет вероятность и ему присваивается слово - код длины бит. Тогда средняя длина кода для всего изображения составит бит на пиксель. Нижняя граница для определяется информационной теоремой и называется энтропией случайной величины:

Таким образом, энтропия - это мера количества информации, которую несет случайная величина уровня яркости .

, поскольку . Из формулы вытекает, что чем более неравномерно распределение , тем меньше энтропия и тем эффективнее может быть энтропийное кодирование.

Наиболее известные методы эффективного кодирования символов основаны на знании частоты каждого символа присутствующего в сообщении. Зная эти частоты, строят таблицу кодов, обладающую следующими свойствами:

- различные коды могут иметь различное количество бит

- коды символов с большей частотой встречаемости, имеют больше бит, чем коды символов с меньшей частотой

- хотя коды имеют различную битовую длину, они могут быть восстановлены единственным образом.

Этими свойствами обладает известный алгоритм Хаффмана.