Непрерывный канал передачи информации описывается одномерными и двумерными плотностями распределений вероятностей. Чтобы записать количество взаимной информации между входом и выходом канала связи, используем дискретное представление информации, а затем прейдем к непрерывным величинам.
Совместная вероятность появления символа 
на входе канала и символа 
на выходе канала равна
,
где и 
-значения y и z, удовлетворяющие условиям 
, 
, 
и 
- границы i-го и j-го интервалов квантования соответственно для y и z
Вероятность появления символа 
на выходе канала при условии, что на вход подан символ , равна
.
Количество информации, содержащееся в символе , равно
.
Условное количество информации, содержащееся в элементе , если на вход канала подаётся элемент ансамбля 
, равно
.
Тогда количество информации, содержащееся в элементе относительно элемента 
, равно
.
Как видно из последнего выражения, интервалы квантования 
и 
не влияют на количество информации, содержащееся в элементе 
относительно элемента 
.
Количество взаимной информации, содержащееся в ансамбле 
относительно ансамбля 
, равно
.
Осуществляя в предыдущем выражении предельный переход 
, 
, получим интегральное представление количества взаимной информации, содержащееся в непрерывном ансамбле относительно непрерывного ансамбля
=
.
Количество взаимной информации, содержащееся в ансамбле относительно ансамбля , равно количеству взаимной информации, содержащееся в ансамбле относительно ансамбля .
Выразим количество взаимной информации 
через энтропию ассамблей Y и Z. Для этого используем предыдущую формулу
,
где 
- дифференциальная энтропия на один отсчёт процесса 
,
- условная дифференциальная энтропия на один отсчёт процесса при известном отсчёте 
.
Точно так же можно показать, взаимная информация равна
,
где 
- дифференциальная энтропия на один отсчёт процесса ,
- условная дифференциальная энтропия на один отсчёт процесса при известном отсчёте называется ненадёжностью канала связи.
Рассмотрим 
- энтропию помехи в непрерывном канале связи. Сигналы на входе и выходе канала связи и помеха описываются линейной зависимостью 
, в которой каждая составляющая является непрерывной случайной величиной со своей плотностью распределения вероятности. Условная энтропия имеет вид:
.
Положим, плотность распределения вероятности шума известна и равна 
. В условной плотности вероятности 
величина y считается известной. Тогда случайная величина 
при известной величине y зависит только от шума и имеет место 
, откуда получим
.
Из этого выражения видно, что условная плотность зависит только от шума. В результате получим
,
т.е. условная энтропия на один отсчёт равна энтропии шума 
на один отсчёт.
2.3.3 Эпсилон-энтропия (ε -энтропия)
Наличие помехи в канале связи ухудшает качество восстанавливаемого сигнала. Возникает вопрос, до какой степени можно допустить искажение сигнала помехой, чтобы можно было сказать, сигнал, поступивший в канал связи и вышедший из канала связи идентичны Критерии отождествления двух сигналов могут быть самыми различными. Необходимо ввести расстояние 
между элементами ансамблей 
и . Мерой идентичности ансамблей и наиболее часто берут математическое ожидание квадрата расстояния между элементами ансамблей и :
В качестве критерия «сходства» ансамблей и примем выполнение неравенства
(2.21)
где 
- заранее заданная допустимая мера отклонения «сходства» ансамблей и .
Заданную меру «сходства» необходимо обеспечить при минимальном количестве меры информации 
. Ввиду того, что
,
a 
при отсутствии шума, то необходимо минимизировать по всем возможным распределениям плотности вероятности 
.
Минимальное значение меры информации при выполнении условия называется эпсилон-энтропией (ε-энтропия) непрерывного ансамбля
. (2.22)
Понятие 
-энтропия введено Колмогоровым А.Н. [Колмогоров А. Н. Теория информации и теория алгоритмов.— М.: Наука, 1987.-304 с.(стр.46)
Если на входе канала связи мощность сигнала ограничена величиной 
, значения сигнала находятся в интервале 
, то энтропия 
не превышает энтропию нормального закона распределения вероятности. Энтропия нормального закона распределения вероятности равна 
. Условная энтропия 
зависит только от шума и принимает максимальное значение 
при нормальном распределении шума мощностью, не превышающей . Учитывая значения безусловной и условной энтропий, получим
.
Положим, источник генерирует сообщения со скоростью 
[ 
].
Тогда ε-призводительностью источника сообщений называется величина
. (2.23)
Если учесть, что интервал дискретизации 
есть величина обратная полосе частот, занимаемая сигналом, то, согласно теореме Котельникова, получим
, (2.24)
где 
- полоса частот, занимаемая сигналом источника, приходящаяся на один отсчёт.
Максимальная ε-призводительность источника сообщений будет тогда, когда значения сигнала распределены по нормальному закону с известной дисперсией ,
,
.
Формулы (2.23) и (2.24) показывают, с какой скоростью можно генерировать информацию, чтобы восстановить сообщения с погрешностью, не превышающей .
