Ћекции.ќрг


ѕоиск:




 атегории:

јстрономи€
Ѕиологи€
√еографи€
ƒругие €зыки
»нтернет
»нформатика
»стори€
 ультура
Ћитература
Ћогика
ћатематика
ћедицина
ћеханика
ќхрана труда
ѕедагогика
ѕолитика
ѕраво
ѕсихологи€
–елиги€
–иторика
—оциологи€
—порт
—троительство
“ехнологи€
“ранспорт
‘изика
‘илософи€
‘инансы
’ими€
Ёкологи€
Ёкономика
Ёлектроника

 

 

 

 


—интаксическа€ мера информации




 

Ёта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношени€ к объекту.

ќбъем данных V дв сообщении измер€етс€ количеством символов (разр€дов) в этом сообщении. ¬ различных системах счислени€ один разр€д имеет различный вес и соответственно мен€етс€ единица измерени€ данных:

І в двоичной системе счислени€ единица измерени€ Ц бит (bit Ц binary digit Ц двоичный разр€д);

ѕримечание. ¬ современных Ё¬ћ нар€ду с минимальной единицей измерени€ данных "бит" широко используетс€ укрупненна€ единица измерени€ "байт", равна€ 8 бит.

 

І в дес€тичной системе счислени€ единица измерени€ Ц дит (дес€тичный разр€д).

ѕример 2.3. —ообщение в двоичной системе в виде восьмиразр€дного двоичного кода 10111011 имеет объем данных V д = 8 бит.

—ообщение в дес€тичной системе в виде шестиразр€дного числа 275903 имеет объем данных V д = 6 дит.

 оличество информации I на синтаксическом уровне невозможно определить без рассмотрени€ пон€ти€ неопределенности состо€ни€ системы (энтропии системы). ƒействительно, получение информации о какой-либо системе всегда св€зано с изменением степени неосведомленности получател€ о состо€нии этой системы. –ассмотрим это пон€тие.

ѕусть до получени€ информации потребитель имеет некоторые предварительные (априорные) сведени€ о системе a. ћерой его неосведомленности о системе €вл€етс€ функци€ Ќ (a), котора€ в то же врем€ служит и мерой неопределенности состо€ни€ системы.

ѕосле получени€ некоторого сообщени€ b получатель приобрел некоторую дополнительную информацию I b(a), уменьшившую его априорную неосведомленность так, что апостериорна€ (после получени€ сообщени€ b) неопределенность состо€ни€ системы стала H b(a).

“огда количество информации I b(a) о системе, полученной в сообщении b, определитс€ как

 

 

т.е. количество информации измер€етс€ изменением (уменьшением) неопределенности состо€ни€ системы.

≈сли конечна€ неопределенность H b(a) обратитс€ в нуль, то первоначальное неполное знание заменитс€ полным знанием и количество информации I b(a) = Ќ( a ). »ными словами, энтропи€ системы H (a) может рассматриватьс€ как мера недостающей информации.

Ёнтропи€ системы H (a), имеюща€ N возможных состо€ний, согласно формуле Ўеннона, равна:

 

 

где Pi Ц веро€тность того, что система находитс€ в i-м состо€нии.

 

ƒл€ случа€, когда все состо€ни€ системы равноверо€тны, т.е. их веро€тности равны , ее энтропи€ определ€етс€ соотношением

 

 

„асто информаци€ кодируетс€ числовыми кодами в той или иной системе счислени€, особенно это актуально при представлении информации в компьютере. ≈стественно, что одно и то же количество разр€дов в разных системах счислени€ может передать разное число состо€ний отображаемого объекта, что можно представить в виде соотношени€

 

 

где N Ц число всевозможных отображаемых состо€ний;

т Ц основание системы счислени€ (разнообразие символов, примен€емых в алфавите);

п Ц число разр€дов (символов) в сообщении.

ѕример 2.4. ѕо каналу св€зи передаетс€ n -разр€дное сообщение, использующее т различных символов. “ак как количество всевозможных кодовых комбинаций будет N = mn, то при равноверо€тности по€влени€ любой из них количество информации, приобретенной абонентом в результате получени€ сообщени€, будет I = log N = п log т Ц формула ’артли.

≈сли в качестве основани€ логарифма прин€ть т, то I = п. ¬ данном случае количество информации (при условии полного априорного незнани€ абонентом содержани€ сообщени€) будет равно объему данных I = V д, полученных по каналу св€зи. ƒл€ неравноверо€тных состо€ний системы всегда I < V д = п.

 

Ќаиболее часто используютс€ двоичные и дес€тичные логарифмы. ≈диницами измерени€ в этих случа€х будут соответственно бит и дит.

 оэффициент (степень) информативности (лаконичность) сообщени€ определ€етс€ отношением количества информации к объему данных, т.е.

 

 

— увеличением Y уменьшаютс€ объемы работы по преобразованию информации (данных) в системе. ѕоэтому стрем€тс€ к повышению информативности, дл€ чего разрабатываютс€ специальные методы оптимального кодировани€ информации.

 





ѕоделитьс€ с друзь€ми:


ƒата добавлени€: 2015-01-29; ћы поможем в написании ваших работ!; просмотров: 1658 | Ќарушение авторских прав


ѕоиск на сайте:

Ћучшие изречени€:

≈сть только один способ избежать критики: ничего не делайте, ничего не говорите и будьте никем. © јристотель
==> читать все изречени€...

341 - | 300 -


© 2015-2023 lektsii.org -  онтакты - ѕоследнее добавление

√ен: 0.009 с.