![]() Главная страница Случайная страница КАТЕГОРИИ: АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника |
Условная энтропия (энтропия помехи)
В теоремах 10 и 16 говорится, что дезинформационное действие случайной погрешности, шума или помех при передаче сигнала определяется энтропией шума как случайной величины. В теореме 16 показывается, что если шум в вероятностном смысле не зависит от передаваемого сигнала, то независимо от статистики сигнала шуму можно приписать определенную величину энтропии, которая и характеризует его дезинформационное действие. Это очень важное положение, так как точный анализ суммы сложного сигнала и шума математически весьма труден. На основе же 16-й теоремы Шеннона этот анализ (при статистически независимом шуме) можно вести раздельно для сигнала и шума, что резко упрощает решение такой задачи. Теорема 10 по формулировке относится к теории кодирования, однако по существу она является доказательством предыдущего положения. Здесь утверждается, что количество передаваемой информации q равно энтропии передаваемого сигнала
Отсюда теорема 10 формулируется следующим образом. Теорема 10. Если на вход канала передачи информации подается сигнал с энтропией Если, кроме основного канала передачи, имеется второй параллельный канал, то для исправления ошибок, возникших от шума с энтропией Другими словами, эта теорема утверждает, что потери информации Таким образом, 10 и 16 теоремы приводят к основному соотношению теории информации – количество передаваемой информации по каналу передачи при наличии помех равно
Здесь
|