Энтропия и производительность дискретного источника сообщений

МПС СССР

ВСЕСОЮЗНЫЙ ЗАОЧНЫЙ ИНСТИТУТ

ИНЖЕНЕРОВ ЖЕЛЕЗНОДОРОЖНОГО ТРАНСПОРТА

Одобрено кафедрой Автоматики,

Телемеханики

И связи

Теоретические основы транспортной связи

Задание на контрольную работу N 1 с методическими указаниями для студентов 1Y курса

Специальности

А втоматика, телемеханика и связь на железнодорожном транспорте

Москва-1987

Общие указания

Дисциплина «Теоретические основы транспортной связи» ставит задачей рассмотреть вопросы преобразования сообщений и сигналов и дать количественную оценку качества работы системы транспортной связи, независимо от их технического назначения и физической природы передаваемых сообщений.

Для успешной творческой работы в области производства и эксплуатации средств железнодорожной телемеханики и связи современный инженер должен быть в достаточной степени знаком с теоретическими основами транспортной связи, позволяющими, не прибегать к дорогостоящим экспериментам, установить при помощи расчетов количественную основу для поиска оптимальных решений в инженерной практике. Даже когда в силу определенных особенностей решаемой задачи более целесообразным оказывается экспериментальный подход, знание принципов, лежащих в основе предмета, позволит выбрать оптимальные направления проводимых экспериментов и дать количественную оценку полученных результатов.

Предмет устанавливает количественные характеристики информации, формирует условия согласования источников информации с каналами связи, определяет информационные параметры каналов связи, развивает идеи о применении кодирования для повышения помехоустойчивости передачи по каналам связи шумами, рассматривает вопросы построения оптимальных кодов для передачи информации при отсутствии помех в каналах связи.

Работу по изучению дисциплины «Теоретические основы транспортной связи» следует начинать с подбора литературы, рекомендованной программой. Затем можно приступить к изучению соответствующих разделов курса и выполнению контрольной работы, состоящей из трех задач.

Каждый студент выполняет контрольную работу в соответствии с индивидуальным заданием. Номер варианта выбирается по шифру студента.

Задание на контрольную работу и методические указания к решению задач

Задача 1

Количественное определение информации.

Энтропия и производительность дискретного источника сообщений

Количество информации I (a_i), содержащееся в символе a_i, выбираемом из ансамбля { a_i } (i=1, 2, 3, …, K), где К – объем алфавита, с вероятностью P(α _i), причем P(α _i) = 1, определяется по формуле

I (α _i) = -Iog₂ P (α _i).

Основание логарифма может быть произвольным, оно определяет лишь систему единиц измерения количества информации.

Информация измеряется в двоичных единицах (битах). Одна двоичная единица информации – это количество информации, содержащееся в одном из двух выбираемых с равной вероятностью символов.

Средне количество информации Н(А), приходящееся на один символ выдаваемых дискретным источником независимых сообщений с объемом алфавита К, можно найти как математическое ожидание дискретной случайной величины I (α _i), определяющей количество информации, содержащейся в одном случайно выбранном символе (знаке) (α _i).

H(A) = M{I(a_i)} = - .

Эта величина называется энтропией источника независимых сообщений.

Одной из информационных характеристик дискретного источника является избыточность

p _u= 1 -

Избыточность источника зависит как от протяженности статистических связей между последовательно выбираемыми символами (памятью источника), так и от степени неравновероятности отдельных символов.

Если источник без памяти, т.е. последовательно передаваемые символы независимы, все символы равновероятны P(α _i) = 1/K, то Н(А) и избыточность p_и=0.

Если в единицу времени источник выдает в среднем υ _и символов (скорость источника υ _и), то среднее количество информации, создаваемой источником в единицу времени,

H´ (A) = υ _и H(A) = H(A),

Где Т_ср – средняя длительность одного символа.

Характеристику H´ (A) называют производительностью дискретного источника. Источник называется стационарным, если описывающие его вероятностные характеристики не меняются во времени.

1. Источник сообщений выдает символы из ансамбля А={α _i} (где i = 1, 2,, 3, 4, 5) с вероятностями, представленными в табл.1 в зависимости от последней цифры шифра.

Таблица 1

Найти количество информации, содержащейся в каждом из символов источника при их независимом выборе (источник без памяти).

Вычислить энтропию и избыточность заданного источника, используя прил.1, 2.

2. Показать, что при равных объемах алфавитов К, энтропия Н(А) имеет максимальное значение Н_макс(А) = Iog₂K при равновероятных символах.

3. Описать физические характеристики дискретных каналов и сигналов, а также процесс преобразования дискретных сообщений в электрические сигналы.