![]() Главная страница Случайная страница КАТЕГОРИИ: АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника |
Энтропия и производительность дискретного источника сообщенийСтр 1 из 4Следующая ⇒
МПС СССР ВСЕСОЮЗНЫЙ ЗАОЧНЫЙ ИНСТИТУТ ИНЖЕНЕРОВ ЖЕЛЕЗНОДОРОЖНОГО ТРАНСПОРТА
Одобрено кафедрой Автоматики, Телемеханики И связи Теоретические основы транспортной связи Задание на контрольную работу N 1 с методическими указаниями для студентов 1Y курса Специальности А втоматика, телемеханика и связь на железнодорожном транспорте Москва-1987
Общие указания Дисциплина «Теоретические основы транспортной связи» ставит задачей рассмотреть вопросы преобразования сообщений и сигналов и дать количественную оценку качества работы системы транспортной связи, независимо от их технического назначения и физической природы передаваемых сообщений. Для успешной творческой работы в области производства и эксплуатации средств железнодорожной телемеханики и связи современный инженер должен быть в достаточной степени знаком с теоретическими основами транспортной связи, позволяющими, не прибегать к дорогостоящим экспериментам, установить при помощи расчетов количественную основу для поиска оптимальных решений в инженерной практике. Даже когда в силу определенных особенностей решаемой задачи более целесообразным оказывается экспериментальный подход, знание принципов, лежащих в основе предмета, позволит выбрать оптимальные направления проводимых экспериментов и дать количественную оценку полученных результатов. Предмет устанавливает количественные характеристики информации, формирует условия согласования источников информации с каналами связи, определяет информационные параметры каналов связи, развивает идеи о применении кодирования для повышения помехоустойчивости передачи по каналам связи шумами, рассматривает вопросы построения оптимальных кодов для передачи информации при отсутствии помех в каналах связи. Работу по изучению дисциплины «Теоретические основы транспортной связи» следует начинать с подбора литературы, рекомендованной программой. Затем можно приступить к изучению соответствующих разделов курса и выполнению контрольной работы, состоящей из трех задач. Каждый студент выполняет контрольную работу в соответствии с индивидуальным заданием. Номер варианта выбирается по шифру студента.
Задание на контрольную работу и методические указания к решению задач
Задача 1
Количественное определение информации. Энтропия и производительность дискретного источника сообщений
Количество информации I (ai), содержащееся в символе ai, выбираемом из ансамбля { ai } (i=1, 2, 3, …, K), где К – объем алфавита, с вероятностью P(α i), причем P(α i) = 1, определяется по формуле
I (α i) = -Iog2 P (α i).
Основание логарифма может быть произвольным, оно определяет лишь систему единиц измерения количества информации. Информация измеряется в двоичных единицах (битах). Одна двоичная единица информации – это количество информации, содержащееся в одном из двух выбираемых с равной вероятностью символов. Средне количество информации Н(А), приходящееся на один символ выдаваемых дискретным источником независимых сообщений с объемом алфавита К, можно найти как математическое ожидание дискретной случайной величины I (α i), определяющей количество информации, содержащейся в одном случайно выбранном символе (знаке) (α i). H(A) = M{I(ai)} = - Эта величина называется энтропией источника независимых сообщений. Одной из информационных характеристик дискретного источника является избыточность
p u= 1 -
Избыточность источника зависит как от протяженности статистических связей между последовательно выбираемыми символами (памятью источника), так и от степени неравновероятности отдельных символов. Если источник без памяти, т.е. последовательно передаваемые символы независимы, все символы равновероятны P(α i) = 1/K, то Н(А) и избыточность pи=0. Если в единицу времени источник выдает в среднем υ и символов (скорость источника υ и), то среднее количество информации, создаваемой источником в единицу времени,
H´ (A) = υ и H(A) = Где Тср – средняя длительность одного символа. Характеристику H´ (A) называют производительностью дискретного источника. Источник называется стационарным, если описывающие его вероятностные характеристики не меняются во времени. 1. Источник сообщений выдает символы из ансамбля А={α i} (где i = 1, 2,, 3, 4, 5) с вероятностями, представленными в табл.1 в зависимости от последней цифры шифра.
Таблица 1
Найти количество информации, содержащейся в каждом из символов источника при их независимом выборе (источник без памяти). Вычислить энтропию и избыточность заданного источника, используя прил.1, 2. 2. Показать, что при равных объемах алфавитов К, энтропия Н(А) имеет максимальное значение Нмакс(А) = Iog2K при равновероятных символах. 3. Описать физические характеристики дискретных каналов и сигналов, а также процесс преобразования дискретных сообщений в электрические сигналы.
|