Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения. Условная энтропия

Если следование символов алфавита не независимо (например, во французском языке после буквы «q» почти всегда следует «u», а после слова «передовик» в советских газетах обычно следовало слово «производства» или «труда»), количество информации, которую несёт последовательность таких символов (а, следовательно, и энтропия), очевидно, меньше. Для учёта таких фактов используется условная энтропия.

Условной энтропией первого порядка (аналогично для Марковской модели первого порядка) называется энтропия для алфавита, где известны вероятности появления одной буквы после другой (то есть, вероятности двухбуквенных сочетаний)

Определение понятия - информация - не менее сложно, чем определение понятий: хаос и порядок. В книге (Чернавский, 2001) в начале главы - Основные понятия динамической теории информации - приведено более двадцати определений информации. Среди них есть, несомненно, очень интересные. Отметим, лишь определение Генри Кастлера:
Информация есть случайный и запомненный выбор одного из нескольких возможных и равноправных -.
Однако, ни в этом определении, ни в других нет указания ни на способ количественной оценки информации, ни на определение ее ценности. Все определения в той или иной мере основаны на интуиции. Ясно лишь, что количественное определение информации может быть дано лишь на основе статистической теории.
Основы количественной теории информации заложены в классических работах Шеннона.
Шеннон предложил два количественных способа определения информации. Первое соответствует определениям энтропии по Больцману и Гиббсу. Большая общность определения Шеннона в том, что оно не связано с механической моделью вещества как это имеет место в статистической теории Больцмана и Гиббса. Шеннон использует распределения значений величин, которые не имеют физических аналогов. Именно такие величины существенны, в частности, в теории связи, одним из основоположников которых был Клодт Шеннон.
Энтропия, введенная Шенноном, получила название S-информация. Как и энтропия (S) Больцмана-Гиббса она служит мерой степени неопределенности при выбранном уровне статистического описания рассматриваемой системы. По этой причине и оправдан термин S-информация.
Такое определение, хотя и широко используется в литературе, все же не является достаточным в теории информации и, тем более, при исследовании информативности открытых систем. На примере критерия S-теорема было показано, что относительная мера степени упорядоченности состояний открытых систем определяется (с учетом описанной выше перенормировки к заданному значению средней энергии) разностью энтропий.
В связи с этим для открытых систем более предпочтительным является другое, также предложенное К. Шенноном, определение информации. Суть его состоит в следующем.
Информация выражается разностью безусловной и условной энтропий, тем самым, с соответствующим изменением степени неопределенности при статистическом задании состояний рассматриваемой системы.

Информацио́ нная энтропи́ я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения