Энтропия непрерывного ансамбля сообщений

Выше мера информации была введена для дискретного ансамбля сообщений. Точно так же вводится мера информации на непрерывном ансамбле. Непрерывная случайная величина описывается непрерывным множеством реализаций, принимающих значения в интервале . На этом интервале задается плотность распределения вероятности . Положим, произведено квантование значений с шагом . Вероятность того, что случайная величина принадлежит интервалу , равна

(2.12)

При довольно малом значении Вероятность будет равна

, где . (2.13) Произведённое преобразование позволило перейти от непрерывного распределения к дискретному. Количество информации, содержащееся в случайной величине, принадлежащий интервалу , равно

.

Энтропия ансамбля после квантования согласно (2.6) равна

. (2.14)

Первая сумма аналогична энтропии дискретного распределения и при , она сходится к интегралу .

Вторая сумма при стремится к бесконечности.

Поэтому на практике она имеет смысл при конечных значениях . В этом случае при довольно малых значениях имеем .

В теории связи энтропия используется как мера неопределённости ансамбля, элементы которой передаются по каналу связи, и вторая сумма не оказывает влияния на качество передаваемой информации, что будет показано далее. Поэтому меру неопределённости (энтропию), содержащуюся в непрерывном ансамбле будем определять как [2, (стр.40) ].

(2.15)

и называется она дифференциальной энтропией.

Энтропия произведения непрерывных ансамблей и вводится как и для дискретных ансамблей. Без доказательства запишем

=

= . (2.16)