1. Ваш приятель живет в восьмиэтажном доме. Какое количество информации содержится в сообщении: «Он живет на третьем этаже»?
2. Световое табло состоит из лампочек, каждая из которых может находиться в двух состояниях («включено» или «выключено»). Какое наименьшее количество лампочек должно находиться на табло, чтобы с его помощью можно было передать 120 различных сигналов?
3. Световое табло состоит из лампочек. Каждая лампочка может находиться в одном из трех состояний («включено», «выключено» или «мигает»). Какое наименьшее количество лампочек должно находиться на табло, чтобы с его помощью можно было передавать 18 различных сигналов?
4. В корзине лежат 8 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины выкатился синий шар?
5. Какое количество информации содержит сообщение, уменьшающее неопределенность знаний в 8 раз?
6. Какое максимальное количество бит потребуется для кодирования целых положительных чисел меньших 60?
Неравновероятные события (вероятностный подход)
Вероятность некоторого события – это величина, которая может принимать значения от нуля до единицы. Вероятность невозможного события равна нулю (например: “завтра Солнце не взойдет над горизонтом”), вероятность достоверного события равна единице (например: “Завтра солнце взойдет над горизонтом”).
Следующее положение: вероятность некоторого события определяется путем многократных наблюдений (измерений, испытаний). Такие измерения называют статистическими. И чем большее количество измерений выполнено, тем точнее определяется вероятность события.
Математическое определение вероятности звучит так: вероятность равна отношению числа исходов, благоприятствующих данному событию, к общему числу равновозможных исходов.
Если вероятность некоторого события равна p, а i (бит) – это количество информации в сообщении о том, что произошло это событие, то данные величины связаны между собой формулой:
2 i = 1/ p (3)
Решая показательное уравнение (3) относительно i, получаем:
i = log2(1/ p) (4)
Формула (4) была предложена К. Шенноном, поэтому ее называют формулой Шеннона.
Пример 1. На автобусной остановке останавливаются два маршрута автобусов: № 5 и № 7. Ученику дано задание: определить, сколько информации содержит сообщение о том, что к остановке подошел автобус № 5, и сколько информации в сообщении о том, что подошел автобус № 7.
Ученик провел исследование. В течение всего рабочего дня он подсчитал, что к остановке автобусы подходили 100 раз. Из них – 25 раз подходил автобус № 5 и 75 раз подходил автобус № 7. Сделав предположение, что с такой же частотой автобусы ходят и в другие дни, ученик вычислил вероятность появления на остановке автобуса № 5: p 5 = 25/100 = 1/4, и вероятность появления автобуса № 7: p 7 = 75/100 = 3/4.
Отсюда, количество информации в сообщении об автобусе № 5 равно: i 5 = log24 = 2 бита. Количество информации в сообщении об автобусе № 7 равно:
i 7 = log2(4/3) = log24 – log23 = 2 – 1,58496 = 0,41504бита.
Если бы в примере 3 автобусы № 5 и № 7 приходили бы к остановке из 100 раз каждый по 50, то вероятность появления каждого из них была бы равна 1/2. Следовательно, количество информации в сообщении о приходе каждого автобуса равно i = log22 = 1 биту. Пришли к известному варианту информативности сообщения об одном из двух равновероятных событий.
Пример 2. Рассмотрим другой вариант задачи об автобусах. На остановке останавливаются автобусы № 5 и № 7. Сообщение о том, что к остановке подошел автобус № 5, несет 4 бита информации. Вероятность появления на остановке автобуса с № 7 в два раза меньше, чем вероятность появления автобуса № 5. Сколько бит информации несет сообщение о появлении на остановке автобуса № 7?
Запишем условие задачи в следующем виде:
i 5 = 4 бита, p 5 = 2 · p 7
Вспомним связь между вероятностью и количеством информации: 2 i = 1/ p
Отсюда: p = 2– i
Подставляя в равенство из условия задачи, получим:
Отсюда:
Из полученного результата следует вывод: уменьшение вероятности события в 2 раза увеличивает информативность сообщения о нем на 1 бит. Очевидно и обратное правило: увеличение вероятности события в 2 раза уменьшает информативность сообщения о нем на 1 бит. Зная эти правила, предыдущую задачу можно было решить “в уме”.
Пример 3. В зоопарке 32 обезьяны живут в двух вольерах, А и Б. Одна из обезьян заболела. Сообщение «Заболевшая обезьяна живет в вольере А» содержит 4 бита информации. Сколько обезьян живут в вольере Б?
1) 4 2) 16 3) 28 4) 30
Решение (вариант 1):
1) информация в 4 бита соответствует выбору одного из 16 вариантов, …
2) … поэтому в вольере А живет 1/16 часть всех обезьян (это самый важный момент!)
3) всего обезьян – 32, поэтому в вольере А живет
32/16 = 2 обезьяны
4) поэтому в вольере Б живут все оставшиеся
32 – 2 = 30 обезьян
5) правильный ответ – 4.
Решение (вариант 2, использование формулы Шеннона):
1) обезьяна-альбинос может жить в вольере А (событие 1) или в вольере Б (событие 2)
2) по формуле Шеннонаколичество информации в сообщении о произошедшем событии с номером 
равно 
, где 
– вероятность этого события; таким образом, получаем вероятность того, что обезьяна-альбинос живет в вольере А:
.
3) у нас не было никакой предварительной информации о том, где живет альбинос, поэтому можно считать, что вероятность определяется количеством обезьян в вольере – если вероятность равна 1/16, то в вольере живет 1/16 часть всех обезьян:
32/16 = 2 обезьяны
6) поэтому в вольере Б живут все оставшиеся
32 – 2 = 30 обезьян
7) правильный ответ – 4.
