Главная страница Случайная страница КАТЕГОРИИ: АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника |
Условная энтропия (энтропия помехи)
В теоремах 10 и 16 говорится, что дезинформационное действие случайной погрешности, шума или помех при передаче сигнала определяется энтропией шума как случайной величины. В теореме 16 показывается, что если шум в вероятностном смысле не зависит от передаваемого сигнала, то независимо от статистики сигнала шуму можно приписать определенную величину энтропии, которая и характеризует его дезинформационное действие. Это очень важное положение, так как точный анализ суммы сложного сигнала и шума математически весьма труден. На основе же 16-й теоремы Шеннона этот анализ (при статистически независимом шуме) можно вести раздельно для сигнала и шума, что резко упрощает решение такой задачи. Теорема 10 по формулировке относится к теории кодирования, однако по существу она является доказательством предыдущего положения. Здесь утверждается, что количество передаваемой информации q равно энтропии передаваемого сигнала за вычетом энтропии шума , т.е.
(6.1.6)
Отсюда теорема 10 формулируется следующим образом. Теорема 10. Если на вход канала передачи информации подается сигнал с энтропией , а шум в канале имеет энтропию , то количество информации на выходе канала , т.е. меньше энтропии передаваемого сигнала на величину энтропии шума . Если, кроме основного канала передачи, имеется второй параллельный канал, то для исправления ошибок, возникших от шума с энтропией , по этому коррекционному каналу необходимо передать дополнительное количество информации, не меньшее, чем . Эти данные можно так закодировать, что будет возможно корректировать все ошибки, вызванные шумом, за исключением произвольно малой доли этих ошибок. Другими словами, эта теорема утверждает, что потери информации от помех, шума или случайных погрешностей с точностью до бесконечно малой величины равны энтропии этой случайной погрешности и для восстановления этой потери информации при оптимальном кодировании необходимо дополнительное количество информации не меньше . При меньшем количестве дополнительной информации полная коррекция ошибок невозможна, а при большем возможно использование не оптимального кодирования. Таким образом, 10 и 16 теоремы приводят к основному соотношению теории информации – количество передаваемой информации по каналу передачи при наличии помех равно
Здесь – энтропия передаваемого сообщения, а в случае измерения – исходная, или априорная, энтропия измеряемой величины X, определяемая лишь ее законом распределения р (х); – энтропия шума, а в случае измерения – энтропия случайной погрешности измерения, или так называемая условная энтропия.
|