Передача непрерывных сообщений по каналам связи

Так же как в случае передачи дискретных сообщений, при наличии шумов непрерывное сообщение после прохождения канала может быть принято как сообщение , причем для всех или некоторых моментов времени, где a и τ - константы, характеризующие ослабление и запаздывание сигнала, которые обычно несущественны с точки зрения определения количества информации, содержащегося в сообщении. Такое событие называют ошибкой.

Источник непрерывных сообщений удобно представить в виде непрерывной случайной величины X, которая после прохождения канала преобразуется в непрерывную случайную величину Y. Количество информации в непрерывных случайных величинах X и Y, при наличии шумов, можно определить предварительно проведя их дискретизацию по уровню (т.е. преобразовав их в дискретные случайные величины), а после определения содержащегося в них количества информации выполнив предельный переход, когда число уровней дискретизации стремится к бесконечности. Эта операция подробно рассмотрена в основах теории информации (§1.8.).

В результате выполнения операций дискретизации по уровню и предельного перехода можно сделать вывод: дифференциальные энтропии случайных непрерывных величин X и Y конечны, хотя их полная энтропия и стремится к бесконечности.

Аналогичным образом можно определить количество информации () случайной величины X, содержащейся в непрерывной случайной величине Y:

(3.3)

где – совместная плотность распределения вероятности величин X и Y;

– плотность распределения случайных величин X и Y соответственно.

Из анализа формулы (3.3) можно сделать следующие выводы.

1. Если помехи столь велики, что случайная величина Y практически не зависит от случайной величины X, т.е. то

и, следовательно, количество получаемой информации (), вычисленное по формуле (3.3), равно нулю.

2. Если помеха (), представляемая в виде непрерывной случайной величины. носит аддитивный характер, то есть

,

причем, случайная величина X и помеха n независимы (что обычно выполняется), то

,

где P_n(y - x) = P_n(n) – плотность распределения вероятности помехи.

В этом случае,

,

где,

– дифференциальная энтропия сигнала Y; – дифференциальная энтропия шума n.