Вероятностный подход при измерении информации

ИЗМЕРЕНИЕ ИНФОРМАЦИИ

Информация (от лат. information – разъяснение, осведомление) – сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний (энтропии).

Количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Бит – количество информации, полученное из сообщения, уменьшающего неопределенность знаний в два раза.Бит соответствует одному двоичному разряду (0, 1).

Более крупой единицей измерения количества информации является байт (1 байт = 8 бит).

Существуют и другие единицы измерения количества информации:

1 килобайт (Кб) = 2¹⁰ байт = 1024 байт.

1 мегабайт (Мб) = 2¹⁰ Кб = 2²⁰ байт.

1 гигабайт (Гб) = 2¹⁰ Мб = 2²⁰ Кб = 2³⁰ байт.

1 терабайт (Тб) = 2¹⁰ Гб = 2²⁰ Мб = 2³⁰ Кб = 2⁴⁰ байт.

Измерение информации в тексте

При измерении количества информации в тексте, записанном с помощью N -символьного алфавита, используют следующие формулы:

I = i × k; i = log₂ N; (формула Хартли) N = 2 ⁱ,

где I – количество информации в тексте; i – количество информации, которое несет один символ (в битах); k – количество символов в тексте; N – мощность алфавита.

Задача 1.

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log₂100 > 6, 644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6, 644 единицы информации.

Приведем другие примеры равновероятных сообщений:

1. при бросании монеты: " выпала решка", " выпал орел";

2. на странице книги: " количество букв чётное", " количество букв нечётное".

Определим теперь, являются ли равновероятными сообщения " первой выйдет из дверей здания женщина" и " первым выйдет из дверей здания мужчина". Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона: I = — (p₁log₂ p₁ + p₂ log₂ p₂ +... + p_N log₂ p_N),
где p _i — вероятность того, что именно i -е сообщение выделено в наборе из N сообщений.

Легко заметить, что если вероятности p1,..., pN равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.

Вероятностный подход при измерении информации

Пусть в результате испытания наступило некоторое событие. Вероятность его наступления можно вычислить по формуле

N

где N – количество всех возможных исходов испытания; K – количество исходов испытания, удовлетворяющих данному событию.

Количество информации в сообщении о том, что наступило одно из возможных событий, можно вычислить по формуле

P

где P – вероятность наступления события; х – количество информации в сообщении о том, что наступило данное событие.

Задача 1. В корзине лежат 16 шаров: 4 синих и 12 красных. Найти количество информации в сообщении о том, что из корзины наугад вынули синий шар.

N = 16, K = 4. P = K / N = 4/16 = 1/4. x = log₂(1/ P) = log₂4 = 2 (бита).