Определение параметров источника цифрового сообщения

Практическое занятие № 1.

 

 

Цель: Освоить методику расчета информационных характеристик цифровых источников сообщения

Краткие сведения из теории:

Современные системы ТИ используют конечное множество возможных сообщений с различными вероятностями их возникновения.

Сообщение представляет собой совокупность знаков или состояний, или пакетов данных служащих для передачи информации с помощью сигналов.

Вероятность появления события тесно связано с количеством информации. В сообщении о событии большой вероятности содержится меньше информации, чем в сообщении с маловероятным событием. Если сообщение несет достоверное событие, т.е. его вероятность равна 1, то оно не несет никакой информации, поэтому нет смысла передавать его по каналу связи.

Неожиданность событий является результатом неопределенности, и чем она больше, тем больше информации содержит сообщение.

Вероятность события являетсямерой егонеожиданности и определяет информационную содержательность события.

Ансамбль возможных сообщений представляется конечной схемой А.

,

где - знак ансамбля;

- вероятность появления этого знака в сообщении.

Ансамбль цифрового сообщения содержит 10 знаков. Ансамбль русской азбуки содержит 33 знака.

Из схемы А следует, что вероятность появления знака равна , а

вероятность появления знака равна , и так все остальные вероятности.

При этом в знаке будет содержаться информация определяемая выражением

.

Из выражения следует, что в ансамбле А разные знаки несут разное количество информации.

Энтропия – это количество информации, содержащаяся в среднем в одном знаке сообщения. Единица измерения энтропии . Энтропия источника сообщения характеризует меру неопределенности совокупности знаков сообщений составляющих конечную схему А.

Энтропия источника будет максимальной в том случае, если все знаки сообщения равновероятные и независимые.

.

В остальных случаях

.

Поэтому количество информации, приходящееся на один знак, обычно меньше того количества информации, которое может этот знак нести. При этом информационная нагрузка на знак часто оказывается меньше максимально возможной.

Если знаки к -значного источника встречаются на выходе не равновероятны и независимы друг от друга, то сообщение представлено в виде табулированной функции для которой значение приведены в приложении А.

Общая энтропия рассчитывается по формуле

.

Степень недоиспользования информационных вероятностей характеризуется избыточностью, т.е. наличием сообщений большего числа знаков, чем это минимально необходимо для передачи определенного количества информации.

Численно избыточность определяется относительной разностью максимально возможной и реальной энтропией

.

Коэффициент сжатия определяется отношением реальной к максимально возможной энтропии

.

Избыточность изменяется от 0 до 1. Ее численное значение показывает, насколько можно сократить объем сообщения без потери информации за счет более рационального использования знаков источника сообщения. Коэффициент сжатия показывает на сколько уже сжато сообщение.

Причинами избыточности являются неравные вероятности появления знаков на выходе источника и наличие вероятностных связей между ними.

Количество информации I содержащееся в цифровом сообщении определяется из выражения

,

где H – энтропия источника;

C – общее количество знаков в сообщении.

Задание:

1 Рассчитать энтропию, избыточность, коэффициент сжатия и количество информации цифрового источника сообщения.

2 Сформулировать выводы о проделанной работе

 

Таблица 1 - Исходные данные для расчетов (вариант 8)

 

 

Таблица 2 - Результаты расчета энтропии:

 

Алфавит источника информации Zi	Количество символов в сообщении С	Вероятность появления символов на выходе источника P(Zi)	Энтропия Бит/знак H(Zi)	Hmax
		0,11	0,3503	3,3219
		0,13	0,3826
		0,15	0,3971
		0,13	0,3826
		0,10	0,3322
		0,07	0,2686
		0,09	0,3126
		0,06	0,2435
		0,09	0,3126
		0,07	0,2681
Всего			3,2507

 

Максимальная энтропия:

 

 

Избыточность:

 

Коэффициент сжатия:

 

Количество информации:

 

Вывод: В практической работе определены параметры источника сообщения. Установлено, что избыточность источника равна 0,021, коэффициент сжатия равен 0,07, а это означает, что сообщение имеет высокую степень сжатия. Количество информации составило 2581,01.