Алфавитный подход к измерению информации

Алфавит - множество используемых в языке символов, из которых можно составить слова и фразы данного языка. Обычно под алфавитом понимают только буквы, но поскольку в тексте могут встретиться знаки препинания, цифры, скобки, пробелы, то мы их тоже включим в алфавит.

Полное число символов алфавита - это мощность алфавита. Будем обозначать эту величину буквой N. Например: мощность алфавита из русских букв и дополнительных символов - 54, мощность алфавита десятичных цифр – 10.

В каждой позиции текста может появиться любой из N символов. Каждый символ несет i бит информации; число i можно определить из уравнения: 2ⁱ=N. Для N = 54, используя таблицу из предыдущих занятий, получаем i = 5, 755 бит. Теперь для того, чтобы найти количество информации во всем тексте, нужно посчитать число символов в нем и умножить на i.

Возьмем какую-нибудь книгу и посчитаем количество информации на одной ее странице. Пусть страница содержит 50 строк. В каждой строке – 60 символов. Значит, на странице умещается 50 * 60 = 3000 знаков. Тогда объем информации будет равен 5, 755 * 3000 = 17265 бит.

При алфавитном подходе к измерению информации количество информации от содержания не зависит. Количество информации зависит от объема текста (то есть от числа знаков в тексте) и от мощности алфавита. Отсюда следует, что нельзя сравнивать информационные объемы текстов, написанных на разных языках, только по объему. У них отличаются информационные веса одного символа так как мощность алфавитов разных языков различные.

Для того чтобы измерить количество информации, содержащееся в символьном сообщении, равно К*i, где К – число символов в тексте сообщения, а i – информационный вес символа, который находится из уравнения 2ⁱ=N, где N – мощность используемого алфавита.

Удобнее всего измерять информацию, когда мощность алфавита N равна целой степени числа 2. Ограничение на максимальную мощность алфавита теоретически не существует. Однако есть алфавит, который можно назвать достаточным. Этот алфавит мощностью 256 символов. В таком алфавите можно поместить практически все необходимые символы: латинские и русские буквы, цифры, знаки арифметических операций, скобки, знаки препинания. В такой алфавит помещают даже значки, с помощью которых можно чертить рамки, таблицы. Их называют знаками псевдографики. Поскольку 256=2⁸, то один символ алфавита “весит” 8 бит. 8 бит – это настолько характерная величина, что ей присвоили свое название – байт. 1 байт = 8 бит.

Сегодня для набора писем, статей и др. используют текстовые редакторы. Они позволяют включать в текст буквы разных алфавитов, математические значки, дают возможность чертить таблицы. Компьютерные редакторы работают с алфавитом мощностью 256 символов. В этом случае легко подсчитывать объем информации в тексте. Если один символ алфавита несет 1 байт информации, то надо просто сосчитать число символов; полученное значение даст информационный объем текста в байтах. Например, книжка содержит 150 страниц; на каждой странице – 40 строк, в каждой строке – 60 символов. Значит страница содержит 40 * 60=2400 байт информации. Объем всей информации в книге: 2400 * 150 = 360 000 байт.