Алфавитный подход к определению количества информации

Определение количества информации на основе уменьшения неопределенности нашего знания рассматривает информацию с точки зрения содержания, ее понятности и новизны для человека. С этой точки зрения в опыте по бросанию монеты одинаковое количество информации содержится и в зрительном образе упавшей монеты, и в коротком сообщении «орел», и в длинной фразе «Монета упала на поверхность земли той стороной вверх, на которой изображен орел».

Однако при хранении и передаче информации с помощью технических устройств целесообразно отвлечься от содержания информации и рассмотреть ее как последовательность символов – знаков (букв, цифр, кодов цветов точек изображения и т.д.).

Набор символов знаков системы (алфавит) можно рассматривать как различные возможные состояния (события.)

Тогда, если считать, что появление символов в сообщении равновероятно, по формуле N = 2ⁱ можно рассчитать, какое количество информации несет каждый символ. Информационная емкость знаков зависит от их количества в алфавите (мощности алфавита), чем больше их количество, тем большее количество информации несет один знак.

Информационная емкость буквы в русском алфавите, если не использовать «ё» составляет: 32 = 2ⁱ, т.е. I = 5 бит.

На основании алфавитного подхода можно подсчитать количество информации в сообщении I_c, для этого необходимо умножить количество информации, которое несет один символ I, на количество символов К в сообщении: I_c = I·К.

Практическое задание «Определение количества информации в тексте». Система оптического распознавания символов позволяет преобразовать отсканированные изображения страниц документа в текстовой формат со скоростью 4 страницы в минуту и использует алфавит мощностью 65 536 символов. Какое количество информации будет нести текстовый документ, каждая страница которого содержит 40 строк по 50 символов, после 10 минут работы приложения?

По формуле: N = 2ⁱ определим информационную емкость символа алфавита: 65536 = 2ⁱ => 2¹⁶ = 2ⁱ => I = 16 бит.

По формуле: I_c = I·К определим количество информации на странице: 16 бит·40·50 = 32000 бит = 4000 байт.

Определим количество информации, которое будет нести текстовый документ: 4000 байт·4·10 = 160000 байт. 156 Кбайт.

 

Формула Шеннона

Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Например, если монета несимметричная (одна сторона тяжелее другой), то при ее бросании вероятности выпадения «орла» и «решки» будут различаться.

Формулу для вычисления количества информации для событий с различными вероятностями предложил К. Шеннон в 1948 году. В этом случае количество информации определяется по формуле:

,

где I - количество информации,

N – количество возможных событий,

p_i – вероятности отдельных событий.

Для частного, но широко распространенного и рассматриваемого выше случая, когда события равновероятны (p_i = 1/N), величину информации I можно рассчитать по формуле:

Практическое задание «Бросание пирамидки». Определить количество информации, которую мы получаем в результате бросания несимметричной и симметричной пирамидок.

При бросании несимметричной четырехгранной пирамидки вероятности отдельных событий равны: p₁ =1/2, p₂ = 1/4, p₃ = 1/8, p₄ = 1/8.

Количество информации, которую мы получим после бросания несимметричной пирамидки, можно рассчитать по формуле:

I = - (1/2· log₂1/2 + 1/4·log₂1/4 + 1/8·log₂1/8 + 1/8·log₂1/8) бит = (1/2·log₂2 + 1/4·log₂4 + 1/8·log₂8 + 1/8·log₂8) бит = (1/2 + 2/4 + 3/8 +3/8) бит = 14,8 бит = 1,75 бит.

При бросании симметричной четырехгранной пирамидки вероятности отдельных событий равны между собой: p₁ = p₂ = p₃ = p₄ = 1/4.

Количество информации, которую мы получим после бросании симметричной пирамидки, можно рассчитать по формуле: I = log₂4 = 2 бита.

Таким образом, при бросании симметричной пирамидки, когда события равновероятны, мы получим большее количество информации (2 бита), чем при бросании несимметричной пирамидки, когда события неравновероятны (1,75 бита).

Выбор правильной стратегии в игре «угадай число». На получение максимального количества информации строится выбор правильной стратегии в игре «Угадай число», в которой первый участник загадывает целое число (например, 3) из заданного интервала (например, от 1 до 16), а второй должен «угадать» задуманное число. Если рассмотреть эту игру с информационной точки зрения, то начальная неопределенность знания для второго участника составляет 16 возможных событий (вариантов загаданных чисел).

При правильной стратегии интервал чисел всегда должен делиться пополам, тогда количество возможных событий (чисел) в каждом из полученных интервалов будет одинаково и их отгадывание равновероятно. В этом случае на каждом шаге ответ первого игрока («Да» или «Нет») будет нести максимальное количество информации (1 бит).

Как видно из таблицы, угадывание числа 3 произошло за четыре шага, на каждом из которых неопределенность знания второго участника уменьшалась в два раза за счет получения сообщения от первого участника, содержащего 1 бит информации. Таким образом, количество информации, необходимой для отгадывания одного из 16 чисел, составило 4 бита.

 

Информационная модель игры «Угадай число»

Вопрос второго участника	Ответ первого участника	Неопределенность знания (количество возможных событий)	Полученное количество информации
Число больше 8?	Нет		1 бит
Число больше 4?	Нет		1 бит
Число больше 2?	Да		1 бит
Это число 3?	Да		1 бит

Практическое задание «Определение количества информации». В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?

Так как количество шариков различных цветов неодинаково, то вероятности зрительных сообщений о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета, деленному на общее количество шариков: p_б = 0,1; p_к = 0,2; p_з =0,3; p_с= 0,4

События неравновероятны, поэтому для определения количества информации, содержащейся в сообщении о цвете шарика, воспользуемся формулой:

I = - (0,1·log₂ 0,1 + 0,2· log₂ 0,2 + 0,3· log₂0,3 + 0,4· log₂0,4) = 1,85 бита