![]() Главная страница Случайная страница КАТЕГОРИИ: АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника |
Побудова графіку для ентропії джерела двійкових сигналів та розрахунок продуктивності джерела цифрового сигналу
Нехай дискретне джерело видає послідовність символів довжиною n з алфавітом обсягом m. Тоді кількість можливих послідовностей довжиною n рівна nm. Припустимо, що ймовірності P (a i[ n ]) появи цих послідовностей задані. Кількість інформації, яка міститься в послідовності ai [ n ] довжини n є випадковою величиною, і дорівнює: Припустимо, що всі повідомлення незалежні та несумісні, а також, крім цього
У відповідності до правил теорії ймовірностей, середня кількість інформації, що міститься в одному символі, дорівнює математичному сподіванню величини I (ai), тобто:
Дану формулу можна переписати у вигляді: . Дана величина називається ентропією джерела повідомлень, і характеризує міру невизначеності сукупності повідомлень даного джерела. Розглянемо випадок, повідомлення можуть приймати значення 0 та 1, з ймовірностями P(0) та P(1)=1-P(0). Згідно з умовою варіанту: P(1)=p=0, 611. Тоді:
Графік залежності H (a) від p наведено на рис. 1.2. З отриманого графіка визначаємо, що ймовірності P (1) відповідає значення ентропії H =0, 699.
Аналіз виразу для ентропії вказує на те, що при заданому n, функція H (a) максимальна і дорівнює H max(a)=log n тоді, коли всі повідомлення рівноймовірні, тобто:
Визначимо припустиме значення ймовірності помилкового прийому двійкового символу. Середня кількість помилково прийнятих квантованих рівнів Mпом пов’язана з ймовірністю помилки Pпом співвідношенням:
Звідки, отримуємо:
|