Вероятность и информация

Вероятность

И информация

Сначала разберемся с понятием «вероятность». Введем следующие понятия:

испытание  - любой эксперимент;

единичное испытание  - испытание, в котором совершается одно действие с одним предметом (например, подбрасывается монетка, или из корзины извлекается шар);

исходы испытаний  - результаты испытания (например, при подбрасывании монеты выпал «орел», или из корзины извлекли белый шар); множество исходов испытания  - множество всех возможных исходов испытания;

случайное событие  - событие, которое может произойти или не произойти (например, выигрыш билета в лотерее, извлечение карты определенной масти из колоды карт).

Вероятностью случайного события ( p ) называется отношение числа благоприятствующих событию исходов (m) к общему числу исходов (n):

  p = m/n

Заметим, что вероятность случайного события может изменяться от 0 до 1.

Пример:

В беспроигрышной лотерее разыгрывается 3 книги, 2 альбома, 10 наборов маркеров, 10 блокнотов.

Какова вероятность выиграть книгу?

Решение.  

Общее число исходов 2+3+10+10=25; число благоприятствующих исходу событий равно 3. Вероятность выигрыша книги вычисляется по формуле: p =3/25=0,12.

Заметим, что во многих случаях события происходят с разной вероятностью, а значит формула N =2 i  не всегда применима.

Вероятностный подход предполагает, что возможные события имеют различные вероятности реализации.

  В этом случае, зная вероятность ( p ) событий, можно определить количество информации ( i ) в сообщении о каждом из них из формулы:

  2 i =1/ p

Количество информации будет определяться по формуле Шеннона , предложенной им в 1948 г. для различных вероятностных событий:

или

I =−( p 1 log 2 p 1 + p 2 log 2 p 2 +...+ p N log 2 p N ),

где

I – количество информации (бит);

N – количество возможных событий;

p i –вероятность i -го события.

Качественная связь между вероятностью события и количеством информации в сообщении состоит в следующем: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Пример:

В корзине лежат 8 черных шаров и 24 белых. Сколько бит информации несет сообщение о том, что достали черный шар?

Решение. Общее число исходов: 8+24=32, число благоприятствующих исходу событий равно 8. Вероятность выбора черного шара определяется как p =8/32=1/4=0,25

Количество информации вычисляем из соотношения 2 i =1/0,25=4,

значит, i =2 бита.

Задача .

В корзине лежат 20 шаров. Из них 10 черных, 5 белых, 4 желтых и 1 красный. Сколько информации несет сообщение о том, что достали красный шар?

Решение

1) Найдем вероятность вытягивания шара красного цвета

р к =1/20=0,05

2) Найдем количество информации

i = log 2 (1/0,05)= log 2 (20)=

Ответ: 4,321 ≈4,4

Задача 4.

В непрозрачном мешочке 10 белых,

20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?

Решение

1) Найдем общее количество шаров в мешочке

К=10+20+30+40=100

2) Найдем вероятность вытягивания шара

каждого цвета

р б =0,1

р к =0,2

р с =0,3

р з =0,4

3) Найдем количество информации

I=-(0,1 · log 2 0,1+0,2 · log 2 0,2+ 0,3 · log 2 0,3+ 0,4 · log 2 0,4)=

Ответ: 1,846 ≈1,85

1.В ящике лежат 36 красных и несколько зеленых яблок. Сообщение “Из ящика достали зеленое яблоко” несет 2 бита информации. Сколько яблок в ящике?

2. В концертном зале 270 девушек и несколько юношей. Сообщение “Первым из зала выйдет юноша” содержит 4 бита информации. Сколько юношей в зале.

3. В корзине 15 яблок, 15 груш и 30 слив. Сколько бит информации несет сообщение о том, что из корзины извлечена груша?

4. В коробке лежат 16 разноцветных фломастеров. Какое количество информации содержит сообщение, что из коробки достали фиолетовый фломастер?