Примеры решения задач с не равновероятными событиями

Информация

Количество информации

Количеством информации называют ее числовую характеристику, отражающую ту степень неопределенности, которая исчезает после получения информации. Для оценки и измерения количества информации в сообщении применяются различные подходы, среди которых следует выделить статистический и алфавитный.

Статистический подход. Для количественной оценки неопределенности или энтропии Н Хартли Р. предложил формулу, содержащую логарифм от числа равновероятных возможностей N

H = log ₂ N, (1)

которую можно записать в следующем виде:

2 ^H = N, (2)

где H – количество информации.

Минимальной единицей количества информации, именуемой битом, будет выбор из двух возможностей.

При не равновероятной возможности выбора количество информации h_i, зависящей от индивидуальной вероятности P_i i – го выбора, вычисляется по формуле К. Шеннона

, (3)

которую можно преобразовать к виду

. (4)

Удобнее в качестве меры количества информации пользоваться не значнем h_i, а средним значением количества информации

. (5)

Алфавитный подход позволяет определить количество текстовой информации. Количество информации, которое несёт каждый символ вычисляется по формуле

i = log ₂ N, (6)

где N – мощность алфавита, равная количеству символов в нём.

Текст, содержащий K символов, имеет объём информации, равный

I = K · i. (7)

Максимальное количество слов L из m букв, которое можно составить с помощью алфавита мощностью N, определяется как

L = N ^m. (8)

 

Примеры решения задач с равновероятными возможностями

 

П 1.1. Пусть имеется колода карт, содержащая 32 различные карты. При выборе одной карты имеется 32 возможности.

Решение: Число возможностей N = 32 при подстановке в формулу (1) дает количество информации H = 5 (2 ^H = 2⁵).

П 1.2. При бросании монеты выбор одного результата (например, выпадения орла) несет один бит информации, поскольку количество возможных равновероятных результатов N = 2 (орел или решка). Действительно, подставляя N = 2 в формулу (1), получим H = 1 бит.

П 1.3. Какой объем информации содержит сообщение, уменьшающее неопределенность в 4 раза?

Решение: так как неопределенность знаний уменьшается в 4 раза, следовательно, она была равна 4, т.е. существовало 4 равновероятных события. Сообщение о том, что произошло одно из них, несет 2 бита информации (4 = 2²).

Ответ: 2 бита.

П 1.4. В коробке лежат 16 кубиков. Все кубики разного цвета. Сколько информации несет сообщение о том, что из коробки достали красный кубик?

Решение: из 16 равновероятных событий нужно выбрать одно. Поэтому N = 16, следовательно, H = 4, (16 = 2⁴).

Пояснение: события равновероятны, т.к. всех цветов в коробке присутствует по одному.

Ответ: 4 бита.

П 1.5. Сообщение о том, что ваш друг живет на 10 этаже, несет 4 бита информации. Сколько этажей в этом доме?

Решение: N = 2⁴ = 16 этажей.

Пояснение: события равновероятны, т.к. номера этажей не повторяются.

Ответ: 16 этажей.

 

Примеры решения задач с не равновероятными событиями

 

П 1.6. В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?

Дано: N _ч = 8; N _б = 24. Найти: H _ч =?

Решение:

1) N = 8 + 24 = 32 – шара всего;

2) P_ч = 8/32 = ¼ - вероятность доставания черного шара;

3) H = log ₂ (1/ ¼) = 2 бита.

Ответ: 2 бита.

П 1.7. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в коробке?

Дано: N _ч = 64; H _б = 4. Найти: К _б =?

Решение:

1) H _б = log ₂(1/ P _б); 4 = log ₂(1/ P _б); 1/ P _б = 16; P _б = 1/16 – вероятность доставания белого карандаша;

2) P _б = К _б/ N; 1/16 = К _б/64; К _б = 64/16 = 4 белых карандаша.

Ответ: 4 белых карандаша.

П 1.8. В корзине лежат белые и черные шары. Среди них 18 черных шаров. Сообщение о том, что из корзины достали белый шар, несет 2 бита информации. Сколько всего шаров в корзине?

Дано: К _ч = 16, N = 2 бита. Найти: N -?

Решение:

1) 1/ P _б = 2¹, 1/ P _б = 2² = 4, P _б = ¼ - вероятность доставания белого шара;

2) P _б = К _б/ N = К _б/(К _б + К _ч), ¼ = К _б/(К _б + 18), К _б + 18 = 4 * К _б, 18 = 3 * К _б, К _б = 6 – белых шаров;

3) N = К _б + К _ч = 18 + 6 = 24 шара было в корзине.

Ответ: 24 шара лежало в корзине.

 

Примеры решения задач на измерение алфавитного объёма

 

П 1.9. Найти объем текста H_T, записанного на языке, алфавит которого содержит N = 128 символов и K = 2000 символов в сообщении.

Решение:

1) H = log ₂ N = log ₂128 =7 бит – объем одного символа.

2) H_T = H × K = 7 × 2000 = 14 000 бит – объем сообщения.

Ответ: 14 000 бит.

П 1.10. В алфавите некоторого языка всего N = 2 буквы, каждое слово в языке состоит точно из m = 7 букв. Какой максимальный запас слов в языке?

а) 128; б) 256; в) 64; г) 1024.

Решение:

Если мощность алфавита N, а максимальное количество букв в слове, записанном с помощью этого алфавита, – m, то максимально возможное количество слов определяется по формуле L = N^m, откуда N = 2⁷, следовательно, N = 128.

 

Тестовые задачи

 

Т 1.1. «Вы выходите на следующей остановке?» - спросили человека в автобусе. «Нет», - ответил он. Сколько информации содержит ответ?

Варианты ответа: а) 1 бит; б) 2 бита; в) 3 бита; г) 4 бита.

Т 1.2. Сколько информации содержит сообщение, уменьшающее неопределенность знаний в 8 раз?

Варианты ответа: а) 1 бит; б) 2 бита; в) 3 бита; г) 4 бита.

Т 1.3. При угадывании целого числа в некотором диапазоне было получено 8 бит информации. Сколько чисел содержит этот диапазон?

Варианты ответа: а) 128; б) 256; в) 64; г) 32.

Т 1.4. В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?

Варианты ответа: а) 5 бит; б) 6 бит; в) 7 бит; г) 8 бит.

Т 1.5. При угадывании целого числа в диапазоне от 1 до N было получено 9 бит информации. Чему равно N?

Варианты ответа: а) 64; б) 128; в) 256; г) 512.

Т 1.6. В группе N = 30 студентов. За контрольную работу по математике получено К ₅ = 15 пятерок, К ₄ = 6 четверок, К ₃ = 8 троек и К ₂ = 1 двойка. Какое количество информации Н ₅ в сообщении о том, что Андреев получил пятерку?

Варианты ответа: а) 1 бит; б) 2 бита; в) 3 бита; г) 4 бита.

Т 1.7. За семестр студент получил N = 100 оценок. Сообщение о том, что он получил пятерку, несет Н ₅ =2 бита информации. Сколько пятерок К ₅ студент получил за четверть?

Варианты ответа: а) 15; б) 20; в) 25; г) 30.

Т 1.8. В ящике лежат перчатки (белые и черные). Среди них – К_ч = 2 пары черных. Сообщение о том, что из ящика достали пару черных перчаток, несет Н_ч = 4 бита информации. Сколько пар белых перчаток К_б было в ящике?

Варианты ответа: а) 20; б) 30; в) 40; г) 48.

Т 1.9. Для ремонта актового зала использовали белую, синюю и коричневую краски. Израсходовали одинаковое количество банок белой и синей краски К_б = К_с. Сообщение о том, что закончилась банка белой краски, несет Н_б = 2 бита информации. Синей краски израсходовали К_с = 8 банок. Сколько банок коричневой краски К_к израсходовали на ремонт актового?

Варианты ответа: а) 8; б) 12; в) 16; г) 20.

Т 1.10. На остановке останавливаются троллейбусы с разными номерами. Сообщение о том, что к остановке подошел троллейбус с номером N1, несет Н_N1 = 4 бита информации. Вероятность появления на остановке троллейбуса с номером N2 в два раза меньше, чем вероятность появления троллейбуса с номером N1 (Р_N1 = 2Р_N2). Сколько информации Н_N2 несет сообщение о появлении на остановке троллейбуса с номером N2?

Варианты ответа: а) 5 бит; б) 6 бит; в) 7 бит; г) 8 бит.

Т 1.11. В корзине лежат 32 клубка шерсти. Среди них – 4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти?

Варианты ответа: а) 1 бит; б) 2 бита; в) 3 бита; г) 4 бита.

Т 1.12. В корзине лежат красные и зеленые шары. Среди них 15 красных шаров. Сообщение о том, что из корзины достали зеленый шар, несет 2 бита информации. Сколько всего в корзине шаров?

Варианты ответа: а) 18; б) 20; в) 22; г) 24.

Т 1.13. Известно, что в ящике лежат N = 20 шаров. Из них – К_с = 10 синих, К_з = 5 – зеленых, К_ж = 4 – желтых и К_к = 1 – красный. Какое количество информации несут сообщения о том, что из ящика случайным образом достали черный шар Н_ч, белый шар Н_б, желтый шар Н_ж, красный шар Н_к?

Варианты ответа:

а) Н_ч = 1 бит, Н_б = 2 бита, Н_ж = 2,236 бит, Н_к = 4,47 бит.

б) Н_ч = 2 бита, Н_б = 4 бита, Н_ж = 2, 6 бит, Н_к = 4,47 бит.

в) Н_ч = 1 бит, Н_б = 2 бита, Н_ж = 3 бита, Н_к = 4 бита.

г) Н_ч = 3 бита, Н_б = 2 бита, Н_ж = 2,236 бит, Н_к = 4,47 бит.

Т 1.14. В корзине находятся всего 128 красных, синих и белых шаров, причем красных шаров в три раза больше, чем синих. Сообщение о том, что достали белый шар, содержит 3 бита информации. Найти количество синих шаров. арианты ответа: а) 24;) 28; в) 32; г) 36.

Т 1.15. В озере обитает 12500 окуней, 25000 пескарей, а карасей и щук по 6250. Сколько информации мы получим, когда поймаем какую-нибудь рыбу?

Варианты ответа: а) 1, 5 бит; б) 1, 75 бит; в) 2 бита; г) 2, 25 бит.

Т 1.16. Сообщение, записанное буквами из 64-х символьного алфавита, содержит 20 символов. Какой объем информации оно несет?

Варианты ответа: а) 100 бит; б) 110 бит; в) 120 бит; г) 130 бит.

Т 1.17. Информационное сообщение объемом 1,5 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?

Варианты ответа: а) 8; б) 16; в) 24; г) 32.

Т 1.18. Для записи текста использовался 256-символьный алфавит. Каждая страница содержит 30 строк по 70 символов в строке. Какой объем информации содержат 5 страниц текста?

Варианты ответа: а) 850 байт; б) 950 байт; в) 1050 байт; г) 1150 байт.

Т 1.19. В алфавите некоторого языка всего две буквы: «А» и «Б». Все слова, записанные на этом языке, состоят из 11 букв. Какой максимальный словарный запас может быть у этого языка?

Варианты ответа: а) 22; б) 11; в) 2048; г) 1024; д) 44.

Т 1.20. Словарный запас некоторого языка составляет 256 слов, каждое из которых состоит точно из 4 букв. Сколько букв в алфавите языка?

Варианты ответа: а) 8; б) 4; в) 64; г) 1024; д) 256.