Вероятностный подход к измерению количества информации

Количество информации

Вероятностный подход

1 бит – количество информации, уменьшающее неопределенность знания в 2 раза

N = 2 I

I = log 2 N

формула Хартли, 1928 г.

N – количество равновероятных событий

I – количество информации, бит

Равновероятные события

N = 2 I

событие

Неопределен-ность знаний

Бросание монеты

Бросание 4-гранной пирамидки

Количество информации, бит

Направление ветра

Оценка за урок

Первый ход в крестики-нолики на поле 4х4

2

1

4

2

8

3

2

4

16

4

Единицы измерения количества информации

1 байт

2 3 бит

1 Кбайт

8 бит

2 10 байт

1 Мбайт

2 10 Кбайт

1024 байт

1 Гбайт

1024 Кбайт

2 10 Мбайт

1 Тбайт

2 10 Гбайт

1024 Мбайт

1024 Гбайт

Заполнить пропуски числами

5 Кбайт

_______ байт

____ Кбайт

_________ бит

_______ байт

____ Кбайт

_______ байт

12 288 бит

___ Гбайт

2 13 бит

1536 Мбайт

512 Кбайт

2 --- байт

____ Кбайт

2 --- бит

События с разной вероятностью

I =

формула Шеннона, 1948 г.

p i – вероятность i-го события

I – количество информации, бит

Логарифмом данного числа называется показатель степени , в которую нужно возвести другое число, называемое основанием логарифма , чтобы получить данное число.

Бросание несимметричной пирамидки

P 1 = ½, P 2 = 4, P 3 = 8, P 4 = 8.

I = -(1/2*log 2 1/2 + 1/4*log 2 1/4 + 2*(1/8*log 2 1/8) =

= (1/2*log 2 2 + 1/4*log 2 4 + 2*(1/8*log 2 8) =

= 1/2 + 2/4 + 2*3/8 = 14/8 битов = 1,75 битов.

Стратегия в игре «Угадай число»

Вопрос второго участника

Ответ первого участника

Неопределен-ность знания

Число больше 8?

Число больше 4?

Полученное количество информации

16

Нет

Нет

8

Число больше 2?

1 бит

4

Да

Это число 3?

1 бит

Да

2

1 бит

1

1 бит

Какое количество вопросов необходимо задать собеседнику, чтобы угадать месяц, в котором он родился?

Вопрос второго участника

Ответ первого участника

Неопределен-ность знания

Полученное количество информации

Какое количество вопросов необходимо задать собеседнику, чтобы угадать число, в которое он родился?

Вопрос второго участника

Ответ первого участника

Неопределен-ность знания

Полученное количество информации

Алфавитный подход

Алфавит

• набор символов знаковой системы

Знаковая система

Символы алфавита

Двоичная система счисления

Мощность алфавита, N

0, 1

Восьмеричная система счисления

Информацион-ная ёмкость символа, I

2

0, 1, 2, 3, 4, 5, 6, 7

Десятичная система счисления

Шестнадцатеричная система счисления

8

0, 1, 2, 3, 4, 5, 6, 7, 8, 9

0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, С, D, E, F

3

10

3,32

16

4

1

Знаковая система

Русский алфавит

Символы алфавита

Аа, Бб, Вв, Гг, Дд, Ее, Ёё, Жж, Зз, Ии, Йй, Кк, Лл, Мм, Нн, Оо, Пп, Рр, Сс, Тт, Уу, Фф, Хх, Цц, Чч, Шш, Щщ, ь, ы, ъ, Ээ, Юю, Яя

Английский алфавит

Мощность алфавита, N

Aa, Bb, Cc, Dd, Ee, Ff, Gg, Hh, Ii, Jj, Kk, Ll, Mm, Nn, Oo, Pp, Qq, Rr, Ss, Tt, Uu, Vv, Ww, Xx, Yy, Zz

Азбука Морзе

Информаци-онная ёмкость символа, I

63

Химический алфавит

. -

52

5,97

5,7

H, He, Li, Be, B, C, N, O, F, Ne, Na, Mg, Al … Rg

2

1

111

6,79

Определение количества информации в тексте

I c = i * k

I c - информация в сообщении

i – информационная ёмкость символа

k – количество символов в сообщении

i

5D8 16

k

31 8

I c

100011 2

информатика