Энтропия непрерывного ограниченного ансамбля

Энтропия ансамбля после квантования была записана как

.

Устремим интервал квантования к нулю, но оставим под знаком логарифма величину интервала квантования неизменной. Это представление сохранит размерность энтропии и показывает зависимость энтропии непрерывного ансамбля сообщений от величины интервала квантования

.

Максимальная энтропия непрерывного ансамбля зависит от вида плотности распределения вероятности , области определения значений случайного сигнала и априорных сведений относительно .

Определим плотность распределения вероятности , обеспечивающий максимум энтропии , при и ограничении

. (2.17)

Для решения задачи применим метод неопределённых множителей Лагранжа, и составим функционал

.

Приведём его к виду

.

Определим производную , которая будет равна

,

и приравняем её нулю

Достаточным условием равенства нулю интеграла от некоторой функции будет равенство нулю самой этой функции. Исходя из этого, имеем

= 0.

Разрешая полученное уравнение относительно , получим

. (2.18)

Чтобы вычислить величину , используем ограничение (2.17) и сделаем ряд преобразований

,

.

После подстановки значения параметра в (2.18) получим

,

.

Вывод.

Если имеется ограничение в виде нормировки плотности вероятности непрерывного ансамбля и область существования плотности вероятности ограничена постоянными a и b, то из всех возможных плотностей вероятности равномерный закон распределения вероятности обладает наибольшей энтропией.

Если число ограничений увеличивается, то вид плотности распределения вероятности изменится.

Вычислим энтропию случайной величины , подчиненной нормальному закону с математическим ожиданием, равным m, и дисперсией, равной .

=

Сделаем замену переменных .

.

Как видно, энтропия не зависит от математического ожидания m.

Пусть - энтропия случайной величины с математическим ожиданием, равным нулю, и дисперсией, равной . Энтропия случайной величины не превышает энтропии нормального закона распределения вероятности

, (4.22) где знак равенства имеет место тогда и только тогда, когда случайная величина распределена по нормальному закону.

Положим, - произвольная плотность распределения вероятности случайной величины . Случайная величина подвергается преобразованию

.

Определим математическое ожидание случайной величины

=

. (4.23)

Рассмотрим разность . Правая часть этой разности есть . Поэтому

.

Знак равенства будет только тогда, когда справедливо равенство

или

.

Таким образом, энтропия достигает максимального значения при нормальном законе распределения вероятности. При этом накладываются условия:

- дисперсия случайной величины ограничена,

- область определения плотности распределения вероятности – ().

Следует обратить внимание на ограничения (условия), при которых заданы непрерывные законы распределения вероятностей, обеспечивающих максимум энтропии.