Лабораторная работа №3
По теме: «Информационные модели сигналов»
ОЦЕНКА ЭНТРОПИЙНЫХ ХАРАКТЕРИСТИК
Цель работы: изучение количественной меры информации. Расчёт энтропии источника дискретных сообщения
Сведения из теории
Теория информации появилась после того, как была осознана возможность измерять и количественно оценивать информацию как и другие физические величины. Информационные системы и системы управления не делают ничего, кроме передачи и обработки информации. В этой связи возникла необходимость в её хранении, а значит и количественной оценке.
Системам передачи информации присуще большое разнообразие, однако в них можно выделить элементы, без которых их функционирование не возможно. На рис. 1 показано обобщенная структурная схема системы передачи информации.
Упрощенная схема движения информации состоит в следующем. Источник формирует сообщение, которое преобразуется в электрический сигнал. Первоначально источником может быть любая физическая величина (перемещение, звук, изображение); для преобразования исходного сигнала в электрический применяется преобразователи неэлектрических величин в электрические (термопары, акселерометры, тензодатчики и др.). Информация или сообщение в виде электрического сигнала называется сигналом сообщения. Затем сигнал сообщения преобразуется в двоичный код. Передатчик формирует сигнал, способный распространяться по каналу связи, который доставляет сообщение к приёмнику. Канал представляет собой путь или линию, которая соединяет передатчик и приёмник. Приёмник выполняет функцию, обратную функции передатчика, восстанавливая исходный сигнал.
Представленная модель является идеализированной, т.к. элементы её не вносят энергетических искажений и не учитывает интерференционных (перекрёстных) помех.
Важным в этой схеме для дальнейших рассуждений является то, что источник во всех информационных системах является источником случайных сообщений, непрерывных или дискретных и может быть описан в терминах ТВ.
Общая характеристика источников
Большинство передаваемой информации имеет текстовую или аналоговую форму. Для буквенно-цифровых текстов существует несколько стандартных форматов: ASCII (American Standard Code for Information Interchange) представляет собой последовательность 8-битовых символов, вводимых с клавиатуры компьютера. При передаче аналоговой информации по дискретному каналу сообщения должны быть преобразованы в дискретный вид. Это осуществляется путём дискретизации аналогового сигнала по уровню и времени с помощью аналого-цифрового преобразователя. Таким образом, дискретный источник формирует последовательность Xi, выбранную из исходного алфавита в дискретных промежутках времени.
Определение. Конечное множество X=(x1, x2,…xm) вместе с заданными вероятностями P(X)=(p(x1), p(x2),… p(xm)) называется дискретным ансамблем (сообщений).
x1, x2,… xi… xm
{X,P(x)} =
p(x1), p(x2),… p(xi)….p(xm)
Пусть источник порождает последовательность дискретных сообщений. Требуется оценить количество получаемой информации, а также представить её в двоичном виде с помощью нулей и единиц.
