Ћекции.ќрг


ѕоиск:




 атегории:

јстрономи€
Ѕиологи€
√еографи€
ƒругие €зыки
»нтернет
»нформатика
»стори€
 ультура
Ћитература
Ћогика
ћатематика
ћедицина
ћеханика
ќхрана труда
ѕедагогика
ѕолитика
ѕраво
ѕсихологи€
–елиги€
–иторика
—оциологи€
—порт
—троительство
“ехнологи€
“ранспорт
‘изика
‘илософи€
‘инансы
’ими€
Ёкологи€
Ёкономика
Ёлектроника

 

 

 

 


Ёкстремальные свойства энтропии непрерывных сообщений




ѕредставл€ет интерес определение вида функции плотности распределени€ веро€тности символов (p (x)) непрерывного сообщени€ х (t), с заданными пределами изменени€ символов, котора€ обращает энтропию этого непрерывного сообщени€ (Hx) в максимум.

ѕусть непрерывное сообщение х (t) представл€ет собой ограниченную непрерывную функцию с областью значений из интервала [ а;b ] (–ис. 1.3) и с неизвестной плотностью распределени€ веро€тностей символов p(x), котора€ удовлетвор€ет условию

. (1.17)

–ис. 1.3..√рафик непрерывного сообщени€ х (t).

 

ѕоставим задачу найти распределение pmax(x), при котором дифференциальна€ энтропи€ этого сообщени€

принимает максимальное значение.

ƒл€ решени€ этой задачи воспользуемс€ методом неопределенных множителей Ћагранжа, который используетс€ дл€ нахождени€ локальных экстремумов функций нескольких переменных. —уть этого метода заключаетс€ в следующем. ≈сли задана функци€ нескольких переменных, например , аргументы которой удовлетвор€ют некоему уравнению св€зи , то можно составить функцию Ћагранжа

а локальные экстремумы определить из решени€ системы уравнений:

.

¬ данном случае функци€ имеет вид:

,

а уравнение св€зи получим из выражени€ (1.17).

—оставив функцию Ћагранжа

,

и продифференцировав ее по p (p не зависит от x, поэтому достаточно продифференцировать подынтегральное выражение), на основании необходимого услови€ существовани€ экстремума получим:

.

ќткуда после несложных преобразований

имеем:

при

ѕодставив это выражение в (1.17) получим:

,

и использу€ предыдущее равенство находим:

, при .

—ледовательно, искома€ функци€ плотности распределени€ веро€тности (pmax (x)) запишетс€ в виде:

“аким образом, энтропи€ непрерывного сообщени€ принимает свое максимальное значение при равноверо€тном по€влении всех символов, принадлежащих интервалу [а;b]. ѕри этом максимально возможное значение энтропии будет определ€тьс€ по формуле

.

 





ѕоделитьс€ с друзь€ми:


ƒата добавлени€: 2015-10-01; ћы поможем в написании ваших работ!; просмотров: 634 | Ќарушение авторских прав


ѕоиск на сайте:

Ћучшие изречени€:

80% успеха - это по€витьс€ в нужном месте в нужное врем€. © ¬уди јллен
==> читать все изречени€...

1415 - | 1265 -


© 2015-2024 lektsii.org -  онтакты - ѕоследнее добавление

√ен: 0.011 с.