![]() Главная страница Случайная страница КАТЕГОРИИ: АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника |
Мера информации по Шеннону
Сообщения могут быть закодированы разными символами. Число разных символов, из которых образуются сообщения, составляет основание кода, (русский алфавит имеет 33 символа, двоичный код – 2 символа, код Бодо – 5 символов и т.д.). Совокупность различных символов, составляющих основание кода, назовем алфавитом. Пусть
Но мера информации по Хартли не учитывает вероятностный характер появления элементов последовательности Мера – это одна из характеристик исследуемого объекта. Это может быть длина, ёмкость и т.д. В данном случае необходимо определить меру информации, содержащемся в каждом элементе ансамбля и среднюю меру информации в ансамбле в целом. Мера должна обладать двумя свойствами: 1. мера исследуемого объекта не должна быть отрицательной, 2. если объект состоит из нескольких элементов, каждый обладающий определённой мерой, полная мера объекта равна суме мер отдельных составляющих, (условие аддитивности). Пусть ансамбль
Обозначим через
Дифференцируя левую и правую части выражения (2.1) по
В результате имеем Умножив обе части полученного равенства на
Уравнение (2.2) имеет решение, если
где С – постоянная величина. Интегрируя уравнение (2.3), получим
Определим Так как мера информации не должна быть отрицательной, а и измеряется в неперах, [Нат]. Однако на практике, ввиду развития цифровой техники и использования двоичной системы счисления чаще применяется основание логарифма, равное 2. Тогда
В дальнейшем основание логарифма 2 будем опускать. Мера информации Каждый элемент ансамбля обладает своим количеством информации
|