Информация в дискретных сообщениях.

Лабораторная работа №1.

Цель работы. Научиться практически определять количество информации в различного вида дискретных сообщениях.

Теоретическое обоснование. Количество информации, содержащееся в дискретном сообщении (I) можно найти из простого соотношения

I = n × H,

где n ― число символов в сообщении,

H - энтропия источника сообщений, то есть среднее количество информации, приходящееся на один символ сообщения.

Энтропия источника сообщения определяется из основного соотношения теории информации (1.4), которое для практического использования преобразуется к виду наиболее простому и удобному в зависимости от свойств дискретного источника сообщений.

В случае, если символы источника сообщения появляются равновероятно и взаимно независимо, то для подсчета энтропии такого рода сообщений используют формулу Хартли:

;    ,

где m - объем алфавита источника дискретных сообщений.

Если же символы источника сообщения генерируются с различными вероятностями, но взаимно независимы, то используют формулу Шеннона:

,

,

где Р_{а i} ― вероятность появления символа a_i.

В случае же неравновероятного появления символов источника сообщения и наличия статистических зависимостей между соседними символами энтропию такого рода источника можно определить с помощью формулы Шеннона с условными вероятностями:

где  ― условная вероятность появления символа a_j после символа a_i.

Содержание работы.

П.1. Посчитать среднее количество информации, приходящееся на один символ источника дискретных сообщений (энтропию) в случаях:

а ―равновероятного и взаимно независимого появления символов (Н1);

б ―неравновероятного и взаимно независимого появления символов (Н2);

в ―при неравновероятном появлении символов и наличии статистических связей между соседними символами (Н3).

В качестве дискретного источника сообщений взять источник с объемом алфавита m = 34 (аналогичный по объему алфавита тексту на русском языке: 33 буквы и пробел), а его статистические характеристики смоделировать с помощью генератора случайных чисел.

П.2. Подсчитать количество информации в сообщении, представляющим собой Вашу фамилию, имя и отчество, считая, что символы (буквы) генерируются источником дискретных сообщений (текст на русском языке) неравновероятно и взаимнонезависимо. Для этого найти значение энтропии данного источника дискретных сообщений (Н4). Закон распределения символов данного источника дискретных сообщений найти путем анализа участка любого типичного текста на русском языке длиной не менее 300 символов.

П 3. С помощью предложенного образца, разработать программу для нахождения энтропии дискретного сообщения, в качестве которого использовать выбранный ранее текст (П2).

Для этого:

1. Разработать программу для определения закона распределения символов дискретного сообщения (букв);

2. Построить график полученного закона распределения символов дискретного сообщения (букв);

3. Проверить правильность полученного закона распределения символов дискретного сообщения (букв), для чего найти сумму вероятностей появления каждого символа;

4. С помощью формулы Шеннона найти энтропию (H5) дискретного источника сообщений (текста на русском языке).

5. Сравнить полученное значение энтропии (H5) со значением энтропии подсчитанной вручную (H4);

6. Подсчитать число символов в сообщении, представляющее Вашу фамилию имя и отчество (включая пробелы), и найти количество информации, содержащейся в этом сообщении.

 

Выполнение работы. Работа выполняется на персональном компьютере в программном средстве «Mathcad». Так как в этом программном продукте в качестве встроенных функций используются только функции натуральных и десятичных логарифмов, то в процессе выполнения работы необходимо выполнить переход к логарифмам по основанию 2 по формуле перехода к иному основанию:

где а ― основание известных логарифмов;

б ― основание требуемых логарифмов;

N ― логарифмируемая величина.