Ћекции.ќрг


ѕоиск:




 атегории:

јстрономи€
Ѕиологи€
√еографи€
ƒругие €зыки
»нтернет
»нформатика
»стори€
 ультура
Ћитература
Ћогика
ћатематика
ћедицина
ћеханика
ќхрана труда
ѕедагогика
ѕолитика
ѕраво
ѕсихологи€
–елиги€
–иторика
—оциологи€
—порт
—троительство
“ехнологи€
“ранспорт
‘изика
‘илософи€
‘инансы
’ими€
Ёкологи€
Ёкономика
Ёлектроника

 

 

 

 


»нформаци€ в дискретных сообщени€х




÷ель работы. Ќаучитьс€ практически определ€ть количество информации в различного вида дискретных сообщени€х.

“еоретическое обоснование.  оличество информации, содержащеес€ в дискретном сообщении (I) можно найти из простого соотношени€

I=n×H,

где n ― число символов в сообщении,

H - энтропи€ источника сообщений, то есть среднее количество информации, приход€щеес€ на один символ сообщени€.

Ёнтропи€ источника сообщени€ определ€етс€ из основного соотношени€ теории информации (1.4), которое дл€ удобства практического использовани€ преобразуетс€ к виду наиболее простому и удобному в зависимости от свойств дискретного источника сообщений.

¬ случае, если символы источника сообщени€ по€вл€ютс€ равноверо€тно и взаимно независимо, то дл€ подсчета энтропии такого рода сообщений используют формулу ’артли:

; ,

где m - объем алфавита источника дискретных сообщений.

≈сли же символы источника сообщени€ генерируютс€ с различными веро€тност€ми, но взаимно независимы, то используют формулу Ўеннона:

,

,

где аi ― веро€тность по€влени€ символа ai.

¬ случае же неравноверо€тного по€влени€ символов источника сообщени€ и наличи€ статистических зависимостей между соседними символами энтропию такого рода источника можно определить с помощью формулы Ўеннона с условными веро€тност€ми:

где ― условна€ веро€тность по€влени€ символа aj после символа ai.

—одержание работы.

1.ѕосчитать среднее количество информации, приход€щеес€ на один символ источника дискретных сообщений (энтропию) в случа€х:

а ―равноверо€тного и взаимно независимого по€влени€ символов;

б ―неравноверо€тного и взаимно независимого по€влени€ символов;

в ―при неравноверо€тном по€влении символов и наличии статистических св€зей между соседними символами.

¬ качестве дискретного источника сообщений вз€ть источник с объемом алфавита m = 34 (аналогичный по объему алфавита тексту на русском €зыке: 33 буквы и пробел), а его статистические характеристики смоделировать с помощью генератора случайных чисел.

2.ѕодсчитать количество информации в сообщении, представл€ющим собой ¬ашу фамилию, им€ и отчество, счита€, что символы сообщени€ по€вл€ютс€ неравноверо€тно и независимо. «акон распределени€ символов найти путем анализа участка любого текста на русском €зыке длиной не менее 300 символов.

¬ыполнение работы. –абота выполн€етс€ на персональном компьютере в программном средстве ЂMathcadї. “ак как в этом программном продукте в качестве встроенных функций используютс€ только функции натуральных и дес€тичных логарифмов, то в процессе выполнени€ работы необходимо выполнить переход к логарифмам по основанию 2 по формуле перехода к иному основанию:

где а ― основание известных логарифмов;

б ― основание требуемых логарифмов;

N ― логарифмируема€ величина.

ѕ.1.а. »спользу€ формулу ’артли, найти энтропию указанного источника дискретных сообщений (Ќ1).

ѕ.1.б. — моделировать закон распределени€ символов дискретного источника сообщений, использу€ оператор rnd (A), который генерирует случайные числа из диапазона [0, A ] по следующей программе:

m: =34 ― задание объема алфавита (m);

i: =1, 2,Е,mi - пор€дковый номер символа алфавита;

r(i):=rnd (1) ― генерирование 34 случайных чисел в интервале от 0 до 1;

― нахождение суммы всех r(i);

P(i) Ц веро€тность по€влени€ i -го символа (ai).

ѕроверить правильность вычислений, найд€ сумму всех P(i) при i = 1,2,Е,m.

ѕостроить график закона распределени€ P(i) »спользу€ формулу Ўеннона, определить энтропию смоделированного источника дискретных сообщений (Ќ2).

ѕ.1.в. —моделировать матрицу условных веро€тностей по€влени€ символа aj после символа ai по следующей программе:

m: =34 -― задание объема алфавита (m);

― пор€дковый номер символа алфавита;

r(i,j):= rnd(1) ― генерирование матрицы (34×34) случайных чисел в интервале от 0 до1;

― нахождение суммы элементов в каждой строке матрицы r(i,j);

―нормировка по строкам матрицы r(i,j) с целью получени€ суммы элементов в каждой строке, равной 1;

― нахождение сумм элементов в каждом столбце матрицы S(i,j);

― нормировка по столбцам матрицы S(i,j) с целью получени€ суммы элементов в каждом столбце равной 1.

ѕолученные значени€ элементов матрицы PP(i,j) приближенно можно считать условными веро€тност€ми по€влени€ символа под номером j после i -го символа.

»спользу€ формулу Ўеннона с условными веро€тност€ми определить энтропию смоделированного источника дискретных сообщений (Ќ3).

ѕ.2. ќпределить веро€тность по€влени€ каждого символа (буквы) Pi путем делени€ числа по€влений этого символа (ai) на общее число символов (не менее 300), вход€щих в сообщение. ¬ случае, если какой-либо символ (из m = 34) в сообщении не встретилс€, считать, что он встретилс€ 1 раз, иначе может возникнуть неопределенность в формуле Ўеннона. ќтсутствие в исследуемом сообщении какого-либо символа из состава алфавита источника сообщений свидетельствует лишь о том, что анализируемое сообщение не содержит достаточного числа символов (не достаточно длинное), чтобы по€вились все символы вход€щие в алфавит.

ѕостроить график закона распределени€ символов (букв).

ѕроверить правильность полученного закона распределени€, дл€ чего найти сумму веро€тностей по€влени€ каждого символа. Ёта сумма должна быть равна 1.

— помощью формулы Ўеннона найти энтропию (Ќ4) дискретного источника (текста на русском €зыке). ѕодсчитав число символов в ¬ашей фамилии, имени и отчестве (включа€ пробелы), найти количество информации, содержащейс€ в этом сообщении.

 онтрольные вопросы.

 

1.  акие источники сообщений называют дискретными?

2. ƒл€ каких источников дискретных сообщений применимы формулы ’артли, Ўеннона?

3.  аким образом описываетс€ статистическа€ зависимость между соседними символами в дискретных сообщени€х?

4. ƒайте определение энтропии источника дискретных сообщений.

5.  ак проверить правильность нахождени€ закона распределени€ символов источника дискретных сообщений?

6.  акой вид дискретных сообщений обладает наибольшей энтропией?

 





ѕоделитьс€ с друзь€ми:


ƒата добавлени€: 2015-10-01; ћы поможем в написании ваших работ!; просмотров: 674 | Ќарушение авторских прав


ѕоиск на сайте:

Ћучшие изречени€:

Ќаука Ч это организованные знани€, мудрость Ч это организованна€ жизнь. © »ммануил  ант
==> читать все изречени€...

1200 - | 1076 -


© 2015-2024 lektsii.org -  онтакты - ѕоследнее добавление

√ен: 0.012 с.