Количество информации как вероятностное понятие. Формула Шенона

Классификация информации

Классификация – система распределения объектов по классам в соответствии с определенным признаком.

Информация классифицируется следующим образом.

По месту возникновения: входная, выходная, внутренняя, внешняя.

По стабильности: переменная, постоянная.

По стадии обработки: первичная, вторичная, промежуточная, результатная.

По способу отображения: текстовая, графическая, звуковая.

По функциям управления: плановая, нормативно-справочная, учетная, оперативная.

Объем и кодирование информации в ЭВМ

Объем данных указывает количество места, занимаемое информацией на машинном носителе. Так как информация в дискретном виде хранится в виде записей на некотором языке с определенным алфавитом, можно считать, что объем информации – это количество символов, составляющих запись, умноженное на размер места, занимаемый одним символом.

Для автоматизации работы с данными, относящимися к различным типам, важно унифицировать их форму представления. Для этого используется кодирование.

Кодирование - представление данных одного типа через данные другого типа.

Своя система существует и в вычислительной технике – это двоичное кодирование, которое основано на представлении данных последовательностью всего двух знаков: 0 и 1. Эти знаки называются двоичными цифрами (по-английски ‑ binary digit или сокращенно ‑ bit).

Синтаксическая мера количества информации

К объективным (независящим от субъекта, получающего информацию) относится синтаксическая мера. В синтаксической мере определяется объем данных (V_д) и количество информации (I_c). Эта мера оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. На синтаксическом уровне учитываются тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации.

Количество информации как вероятностное понятие. Формула Шенона

Количество информации уменьшающее неопределенность в 2 раза носит название 1 бит. Если еще раз уменьшить неопределенность в 2 раза (всего – в 4 раза), количество информации увеличится еще на 1 бит. количество информации – есть величина логарифмическая. Это означает, что когда несколько событий или объектов рассматриваются как один, количество возможных состояний перемножается, а количество информации — складывается. N-возможности реализации, р-вероятность