Количество информации и вероятность.

Количественная зависимость между вероятностью события (р) и количеством информации в сообщении о нем (i) выражается формулой:

i=log₂(1/р).

Вероятностный метод применим и для алфавитного подхода к измерению информации, заключенной в тексте. Известно, что разные символы встречаются в тексте с разной частотой и, следовательно, имеют разную вероятность. Значит, измерять информационный вес каждого символа в предположении равновероятности нельзя.

Пример 5. В алфавите племени аборигенов всего 4 буквы (А, У, М, К), один знак препинания (точка) и для разделения слов используется пробел. Подсчитали, что что в популярном романе этого племени содержится всего 10000 знаков, из них: букв А — 4000, букв У — 1000, букв М — 2000, букв К — 1500, точек — 500, пробелов — 1000. Какой объем информации содержит книга?

Решение:

Поскольку объем книги достаточно большой, то можно допустить, что вычисленная по ней частота встречаемости в тексте каждого из символов алфавита характерна для любого текста на языке аборигенов. Подсчитаем частоту встречаемости каждого символа во всем тексте книги (т. е. Вероятность) и информационные веса символов:

буква А: 4000/10000= 0, 4; i_А=log₂(1/0, 4)=1, 321928;

буква У: 1000/10000= 0, 1; i_У=log₂(1/0, 1)=3, 1928;

буква М: 2000/10000= 0, 2; i_М=log₂(1/0, 2)=2, 321928;

буква К: 1500/10000= 0, 15; i_К=log₂(1/0, 15)=2, 736966;

точка: 500/10000= 0, 05; i_точка=log₂(1/0, 05)=4, 321928;

пробел: 1000/10000= 0, 1; i_пробел=log₂(1/0, 1)=3, 321928.

Общий объем информации в книге вычислим как сумму произведений информационного веса каждого символа на число повторений этого символа в книге:

I = i_A·n_A + i_У·n_у + i_M·n_M + i_K·n_K + i_точка·n_точка + i_пробел·n_пробел

I=22841, 84 бита

Тема 2. «Системы счисления»

Перевод чисел из одной системы счисления в другую составляет важную часть машинной арифметики. Рассмотрим основные правила перевода.

Правило 1. Для перевода двоичного числа в десятичное необходимо его записать в виде многочлена, состоящего из произведений цифр числа и соответствующей степени числа 2, и вычислить по правилам десятичной арифметики:

При переводе удобно пользоваться таблицей степеней двойки:

Степени числа 2. Таблица 2.

Пример 6. Число 11101000₂ перевести в десятичную систему счисления.

11101000₂=1·2⁷+1·2⁶+1·2⁵+0·2⁴+1·2³+0·2²+0·2¹+0·2⁰=232₁₀

Правило 2. Для перевода восьмеричного числа в десятичное необходимо его записать в виде многочлена, состоящего из произведений цифр числа и соответствующей степени числа 8, и вычислить по правилам десятичной арифметики:

При переводе удобно пользоваться таблицей степеней восьмерки:

Степени числа 8. Таблица 3.

Пример 7. Число 75013₈ перевести в десятичную систему счисления.

75013₈=7·8⁴+5·8³+0·8²+1·8¹+3·8⁰=31243₁₀

Правило 3. Для перевода шестнадцатеричного числа в десятичное необходимо его записать в виде многочлена, состоящего из произведений цифр числа и соответствующей степени числа 16, и вычислить по правилам десятичной арифметики:

При переводе удобно пользоваться таблицей степеней числа 16:

Степени числа 16 Таблица 4.

Пример 8. Число FDA1₁₆ перевести в десятичную систему счисления.

FDA1₁₆=15·16³+13·16²+10·16¹+1·16⁰=64929₁₀

Правило 4. Для перевода десятичного числа в двоичную систему его необходимо последовательно делить на 2 до тех пор, пока не останется остаток, меньший или равный 1. Число в двоичной системе записывается как последовательность последнего результата деления и остатков от деления в обратном порядке.

Пример 9. Число 22₁₀ перевести в двоичную систему счисления.

22₁₀=10110₂.

Правило 5. Для перевода десятичного числа в восьмеричную систему его необходимо последовательно делить на 8 до тех пор, пока не останется остаток, меньший или равный 7. Число в восьмеричной системе записывается как последовательность цифр последнего результата деления и остатков от деления в обратном порядке.

Пример 10. Число 571₁₀ перевести в восьмеричную систему счисления.

571₁₀=1073₈

Правило 6. Для перевода десятичного числа в шестнадцатеричную систему его необходимо последовательно делить на 16 до тех пор, пока не останется остаток, меньший или равный 15. Число в шестнадцатеричной системе записывается как последовательность цифр последнего результата деления и остатков от деления в обратном порядке.

Пример 11. Число 7467₁₀ перевести в шестнадцатеричную систему счисления.

7467₁₀=1D2B₁₆

Правило 7. Чтобы перевести число из двоичной системы в восьмеричную, его нужно разбить на триады (тройки цифр), начиная с младшего разряда, в случае необходимости дополнив старшую триаду нулями, и каждую триаду заменить соответствующей восьмеричной цифрой (табл. 5).

Пример 12. Число 1001011₂перевести в восьмеричную систему счисления.

001 001 011₂=113₈

Соответствие чисел, записанных в различных системах счисления. Таблица 5.

Правило 8. Чтобы перевести число из двоичной системы в шестнадцатеричную, его нужно разбить на тетрады (четверки цифр), начиная с младшего разряда, в случае необходимости дополнив старшую тетраду нулями, и каждую тетраду заменить соответствующей восьмеричной цифрой (табл. 5).

Пример 13. Число 1011100011₂ перевести в шестнадцатеричную систему счисления.

0010 1110 0011₂=2E3₁₆

Правило 9. Для перевода восьмеричного числа в двоичное необходимо каждую цифру заменить эквивалентной ей двоичной триадой.

Пример 14. Число 531₈ перевести в двоичную систему счисления.

531₈=101011001₂

Правило 10. Для перевода шестнадцатеричного числа в двоичное необходимо каждую цифру заменить эквивалентной ей двоичной тетрадой.

Пример 15. Число EE8₁₆ перевести в двоичную систему счисления.

EE8₁₆=111011101000₂

Правило 11. При переходе из восьмеричной системы счисления в шестнадцатеричную и обратно, необходим промежуточный перевод чисел в двоичную систему.

Пример 16. Число FEA₁₆ перевести в восьмеричную систему счисления.

FEA₁₆=111111101010₂

111 111 101 010₂=7752₈

Пример 17. Число 6635₈ перевести в шестнадцатеричную систему счисления.

6635₈=110110011101₂

1101 1001 1101₂=D9D₁₆

Тема 3: «Передача данных»

Скорость передачи данных по каналам связи ограничена пропускной способностью канала. Пропускная способность канала связи изменяется, как и скорость передачи данных в бит/сек (или кратностью этой величины Кбит/с, Мбит/с, байт/с, Кбайт/с, Мбайт/с).

Для вычисления объема информации V, переданной по каналу связи с пропускной способностью q за время t используют формулу:

V=q·t

При решении задач на определении скорости и времени передачи данных возникает трудность с большими числами (пример 3 Мбайта/с = 25165824 бит/с), поэтому проще работать со степенями двойки (пример 3 Мбайта/с = 3·2²³ бита/с).

Необходимо помнить кратные величины бита:

1 Кбит = 2¹⁰ бит

1 Мбит = 2²⁰ бит

1 байт = 8 бит = 2³ бит

1 Кбайт = 2¹⁰ байт = 2¹³ бит

1 Мбайт = 2²⁰ байт = 2²³ бит

Пример 18. Скорость передачи данных скоростного ADSL соединения равна 1024000 бит/c, а скорость передачи данных через 3G-модем равна 512000 бит/с. Определите на сколько секунд дольше будет скачиваться файл размером 9000 Кбайт через 3G-модем, чем через ADSL-соединение. (Ответ дайте в секундах).

Решение:

Объем файла 9000 Кбайт = 9000·213 бит.

Определим за какое время скачается файл по ADSL: 1024000 бит/с = 1000·210бит/с, (9000·213)/(1000·210) = 9·23 = 9·8=72 секунды.

Определим за какое время скачается файл по 3-G: 512000 бит/с = 1000·29 бит/с, (9000·213)/(1000·29) = 9·24 = 9·16=144 секунды.

Найдем разность времени скачивания: 144 - 72 = 72 секунды.

Ответ: 72 сек.

Пример 19. У Толи есть доступ к сети Интернет по высокоскоростному одностороннему радиоканалу, обеспечивающему скорость получения информации 219 бит в секунду. У Миши нет скоростного доступа в Интернет, но есть возможность получать информацию от Толи по низкоскоростному телефонному каналу со средней скоростью 215 бит в секунду. Миша договорился с Толей, что тот будет скачивать для него данные объемом 5 Мбайт по высокоскоростному каналу и ретранслировать их Мише по низкоскоростному каналу. Компьютер Толи может начать ретрансляцию данных не раньше, чем им будут получены первые 512 Кбайт этих данных. Каков минимально возможный промежуток времени (в секундах) с момента начала скачивания Толей данных до полного их получения Мишей?

Решение:

Для решения данной задачи необходимо учесть время которое потратит Толя для скачивания 512 Кбайт данных с интернета (T1) и время ретрансляции 5 Мбайт данных от Толи к Мише по низкоскоростному каналу (Т2). Все время затраченное на получение данных Мишей равно Т=Т1+Т2.

Найдем Т1: 512 Кбайт = 512·1013 бит = 29·213 = 222 бит, Т1=222/219=23=8 секунд

Найдем Т2: 5 Мбайт = 5·223 бит, Т2=5·223/215 = 5 ·28= 5·256 = 1280 секунд

Найдем все время затраченное на скачивание данных: Т = 1280+8 = 1288 секунд.

Ответ: 1288 с.