Вероятностный подход к измерения информации.

Все события происходят с различной вероятностью, но зависимость между вероятностью событий и количеством информации, полученной при совершении того или иного события можно выразить формулой которую в 1948 году предложил Шеннон.

Формула Шеннона

I - количество информации

N – количество возможных событий

p_i – вероятности отдельных событий

Количество информации достигает max значения, если события равновероятны, поэтому количество информации можно рассчитать по формуле .

Задания для самостоятельного решения:

1. Сообщение, записанное буквами 64-символьного алфавита, содержит 20 символов. Какой объем информации оно несет?

2. Жители планеты Принтер используют алфавит из 256 знаков, а жители планеты Плоттер — из 128 знаков. Для жителей какой планеты сообщение из 10 знаков несет больше информации и на сколько?

3. Для кодирования нотной записи используется 7 значков-нот. Каждая нота кодируется одним и тем же минимально возможным количеством бит. Чему равен информационный объем сообщения, состоящего из 180 нот?

4. Цветное растровое графическое изображение, палитра которого включает в себя 65 536 цветов, имеет размер 100х100 точек (пикселей). Какой объем видеопамяти компьютера (в Кбайтах) занимает это изображение в формате BMP?

5. В велокроссе участвуют 119 спортсменов. Специальное устройство регистрирует прохождение каждым из участников промежуточного финиша, записывая его номер с использованием минимально возможного количества бит, одинакового для каждого спортсмена. Каков информационный объем сообщения, записанного устройством, после того как промежуточный финиш прошли 70 велосипедистов?

6. * Словарный запас некоторого языка составляет 256 слов, каждое из которых состоит точно из 4 букв. Сколько букв в алфавите языка?

7. Сколько информации несет сообщение о том, что было угадано число в диапазоне целых чисел от 684 до 811?

8. В некоторой стране автомобильный номер длиной 7 символов составляется из заглавных букв (всего используется 26 букв) и десятичных цифр в любом порядке. Каждый символ кодируется одинаковым и минимально возможным количеством бит, а каждый номер – одинаковым и минимально возможным количеством байт. Определите объем памяти, необходимый для хранения 20 автомобильных номеров.

9. Каждая клетка поля 8×8 кодируется минимально возможным и одинаковым количеством бит. Решение задачи о прохождении 'конем' поля записывается последовательностью кодов посещенных клеток. Каков объем информации после 11 сделанных ходов? (Запись решения начинается с начальной позиции коня).

10. Информационное сообщение объемом 1,5 килобайта содержит 3072 символа. Сколько символов содержит алфавит, с помощью которого было записано это сообщение?

11. Мощность алфавита равна 64. Сколько Кбайт памяти потребуется, чтобы сохранить 128 страниц текста, содержащего в среднем 256 символов на каждой странице?

12. В зоопарке содержится 10 обезьян, причем одна из них выступает в цирке. Обезьяны сидят в двух вольерах, в первом – 8 животных, а во втором - два. Посетитель зоопарка считает, что сообщение «Обезьяна, выступающая в цирке, сидит во втором вольере, содержит 1 бит информации. Прав он или нет? Поясните ответ.

13. В горах рядом с которыми живет племя Тумба-Юмба, есть 4 пещеры. В каждой из них может (а может и не быть) клад. Можно ли закодировать сведения о том, где есть клады, используя 3 бита? 4 бита? 5 бит?

14. Вася задумал число от 1 до 100. Нужно отгадать это число за наименьшее число попыток, задавая Васе вопросы, на которые он отвечает «да» и «нет». За сколько вопросов вы доберетесь до ответа? Какие вопросы вы будете задавать Васе?