Вероятностный подход к определению количества информации

Вероятностный подход к определению количества информации. Формула Хартли

Цель урока:

1. Ввести понятие вероятности;

2. Показать зависимость количества информации при совершении не равновероятных событий;

3. Ввести формулу Хартли для не равновероятных событий. Провести сравнение.

Ход уроков:

1. Организационный момент – объявление темы и целей урока – 3 мин;

2. Проверочная работа №2 «Определение количества информации при совершении равновероятных событий» - 15 мин;

3. Актуализация знаний учащихся – 7 мин;

4. Объяснение нового материала – (20+10 мин);

5. Решение задач – 27 мин;

6. Постановка домашнего задания – 3 мин;

7. Подведение итогов урока – 5 мин.

Цель: проверить:

- понимание равновероятного события;

- владение ранее изученным материалом (единицы измерения количества информации, суть содержательного и алфавитного подходов, непосредственно формулы, по которым можно определить количество информации);

- готовность к восприятию нового материала.

Актуализация знаний учащихся

На этом этапе предлагается обсудить (проверить владение материалом) следующие вопросы, а также поставить учащихся перед затруднением (задание 5, 6):

1. Какие события являются равновероятными? (События можно назвать равновероятными, если выполнение каждого не имеет привилегий перед другими.)

2. Как определить какую часть составляют мальчики от общего количества учащихся в классе? (Нужно количество мальчиков разделить на общее количество учащихся в классе.)

3. Дайте определение и назовите два свойства логарифмов. (Определение логарифма: ,

Свойства: 1) , 2).)

4. В корзине лежат груша, яблоко и апельсин. Определить количество информации в зрительном сообщении: «Оля взяла яблоко». (I=1,58 бит)

5. В корзине лежат 4 груши, 3 яблока и 2 апельсина. Определить количество информации в зрительном сообщении: «Оля взяла грушу».

6. В корзине лежат 4 груши, 4 яблока и 4 апельсина. Определить количество информации в зрительном сообщении: «Оля взяла грушу».

Объяснение нового материала (Понятие вероятности и формула Хартли для не равновероятных событий – 20 мин)

До сих пор речь шла о равновероятных событиях. Но в реальности очень часто это предположение не выполняется. Интуитивно понятно, например, что для ученика – отличника получение пятёрки и получение двойки – события не равновероятные. Для такого ученика получить пятёрку – вполне вероятное событие, а получение двойки – маловероятное. Для двоечника – все наоборот.

Пора разобраться, что же такое вероятность. Для примера возьмем получение оценок. Чтобы определить, какова вероятность получения каждой оценки, нужно подсчитать общее количество разных оценок, полученных учеником за достаточно длительный период времени, и определить, сколько из них двоек, троек, четверок и пятёрок. Если допустить, что такое же распределение сохранится и в будущем, то можно рассчитать вероятности получения каждой оценки. Определив, какую часть от общего числа оценок составляют двойки, найдем вероятность получения двойки. Затем, определив, какую часть от общего количества составляют тройки, найдем вероятность получения тройки. Доля четвёрок среди всех оценок – это вероятность получения четверки, а доля пятёрок - это вероятность получения пятёрки.

Предположим, мы посчитали, что за два года ученик получил 100 оценок. Среди них: 60 пятёрок, 25 четвёрок, 10 троек и 5 двоек. Тогда:

- вероятность пятерки: 60/100=0,6;

- вероятность четверки: 25/100=0,25;

- вероятность тройки: 10/100=0,1;

- вероятность двойки: 5/100=0,05.

Обратите внимание, что Сумма вероятностей возможных событий равна 1.

Значение вероятности будем обозначать буквой Р. Зная вероятности событий, можно определить количество информации в сообщении о каждом из них.

Согласно теории информации, для этого нужно решить показательное уравнение 2I=1/Р, Т. е. I=Log21/Р.

Подсчитаем по этой формуле количество информации, содержащейся в сообщении о получении нашим учеником каждой из оценок.

Посмотрите внимательно на результаты, и вы увидите, что чем меньше вероятность события, тем больше информации несёт сообщение о нём.

Вывод: Количество информации в сообщении о некотором событии зависит от вероятности этого события. Чем меньше вероятность, тем больше информации.

Теперь без труда решим задачу 5 (ответ: 1,17 бит).

На первый взгляд, кажется, что мы имеем две совсем разные формулы Хартли для вычисления количества информации. Первая через количество событий , вторая – через вероятность .

На самом деле это не разные формулы! Первая формула является частным случаем второй, когда вероятность событий одинаковая.

Решим задачу 6. Всех фруктов поровну – по 4. Тогда вероятность выбора каждого вида фрукта равна . Значит, и количество информации будет одинаковым Бита. В задаче 3 мы получили такой же ответ.

Решение задач (Тексты задач перед учащимися имеются, поэтому существует возможность для самостоятельного решения – 27 мин).

Задача №1. В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Определите вероятность выпадения, какого цвета шара больше. Во сколько раз?

Решение.

Краткая запись условия	Решение
Коб = 50 Кч = 10 Кб = 40	. Видно, что вероятность выпадения белого шара выше. Найдем во сколько раз:
Сравнить Рб и Рч

Ответ: Рб Рч в 4 раза.

Задача №2. В пруду живут 8000 карасей, 2000 щук и 40 000 пескарей.

А. Определите вероятность улова каждого вида рыб;

Б. Определите количество информации, полученной рыбаком при улове карася;

В. Определите количество информации, полученной рыбаком при улове щуки;

Г. Определите количество информации, полученной рыбаком при улове пескаря.

Решение.

Б.

Краткая запись условия	Решение
Кк=8000 Кщ=2000 Кп=40000	Основные формулы: , Коб= Кк+Кщ +Кп, Р= Р=, бита.
Iк - ?

Ответ: количество информации, полученной рыбаком при улове карася равно 2,64 бита.

Задача №3. В корзине лежат белые и черные шары. Среди них 18 черных шаров. Сообщение о том, что из корзины достали белый шар, несет 2 бита информации. Сколько всего в корзине шаров?

Решение. Из условия можно увидеть, что количество черных и белых шаров различное, поэтому воспользуемся формулой Хартли для неравновероятных событий. Обозначим Кч, Кб – количество черных и белых шаров соответственно, К – общее количество шаров, iб – количество информации в сообщении, что из корзины достали белый шар, рб – вероятность выбора белого шара.

Краткая запись условия	Решение
Кч=18 шт Iб=2 бита	Основные формулы: , К= Кч+Кб Страница 1 2 Необходимо запомнить информацию? Сохраняйте - » Вероятностный подход к определению количества информации. Формула Хартли.

Измерение количества информации. Формула Хартли

Допустим, нам требуется что-либо найти или определить в той или иной системе. Есть такой способ поиска как «деление пополам». Например, кто-то загадывает число от 1 до 100, а другой должен отгадать его, получая лишь ответы «да» или «нет». Задается вопрос: число меньше? Ответ и «да» и «нет» сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном итоге, загаданное число будет найдено.

Посчитаем сколько вопросов надо задать, чтобы найти задуманное число. Допустим загаданное число 27. Начали:

1. Больше 50? Нет

2. Больше 25? Да

3. Больше 38? Нет

4. Меньше 32? Да

5. Меньше 29? Да

6. Больше 27? Нет

7. Это число 26? Нет

Ура! если число не 26 и не больше 27, то это явно 27.
Чтобы угадать методом «деления пополам» число от 1 до 100 нам потребовалось 7 вопросов.

Кто-то может задаться вопросом: а почему именно так надо задавать вопросы? Ведь, например, можно просто спрашивать: это число 1? Это число 2? И т.д. Но тогда вам потребуется намного больше вопросов (возможность того, что вы телепат, и угадаете с первого раза не рассматривается). «Деление пополам» самый короткий рациональный способ найти число.
Объем информации заложенный в ответ «да» или «нет» равен одному биту. Действительно, ведь бит может быть в состоянии 1 или 0. Итак, для угадывания числа от 1 до 100 нам потребовалось семь бит (семь ответов «да» - «нет»).

N = 2^k

Такой формулой можно представить, сколько вопросов (бит информации) потребуется, чтобы определить одно из возможных значений. N – это количество значений, а k – количество бит. Например, в нашем примере 100 меньше чем 27, однако больше, чем 26. Да, нам могло потребоваться и всего 6 вопросов, если бы загаданное число было бы 28.

Формула Хартли: k = log₂N. Количество информации (k), необходимой для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N).