Лекции.Орг


Поиск:




Категории:

Астрономия
Биология
География
Другие языки
Интернет
Информатика
История
Культура
Литература
Логика
Математика
Медицина
Механика
Охрана труда
Педагогика
Политика
Право
Психология
Религия
Риторика
Социология
Спорт
Строительство
Технология
Транспорт
Физика
Философия
Финансы
Химия
Экология
Экономика
Электроника

 

 

 

 


Синтаксические меры информации




Синтаксические меры количества информации имеют дело с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес, и соответственно меняется единица измерения данных:

· в двоичной системе счисления единица измерения - бит (binary digit - двоичный разряд). Наряду с этой единицей измерения широко используется укрупненная единица измерения “байт”, равная 8 бит.

· в десятичной системе счисления единица измерения - дит (десятичный разряд).

Пример 3

Сообщение в двоичной системе в виде восьмиразрядного двоичного кода 10111011 имеет объем данных Сообщение в десятичной системе в виде шестиразрядного числа 275903имеетобъемданных

Определение количества информации I на синтаксическом уровне невозможно без рассмотрения понятия неопределенности состояния системы (энтропии системы). Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. Рассмотрим это понятие.

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе a. Мерой его неосведомленности о системе является функция Н(a), которая в тоже время служит и мерой неопределенности состояния системы. Эта мера получила название энтропия. Если потребитель имеет полную информацию о системе, то энтропия равна 0. Если потребитель имеет полную неопределенность о какой-то системе, то энтропия является положительным числом. По мере получения новой информации энтропия уменьшается.

После получения некоторого сообщения b получатель приобрел некоторую дополнительную информацию , уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения b) неопределенность состояния системы стала .

Тогда количество информации о системе, полученное в сообщении b, определится как , т. е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Если конечная неопределенность обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации . Иными словами, энтропия системы Н(a) может рассматриваться как мера недостающей информации.

Энтропия системы Н(a), имеющая N возможных состояний, согласно формуле Шеннона, равна

(1)

где - вероятность того, что система находится в i -м состоянии.

Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны , ее энтропия определяется соотношением

(2)

Энтропия системы в двоичной системе счисления измеряется в битах. Исходя из формулы (2) можно сказать, что в системе в равновероятными состояниями 1 бит равен количеству информации, которая уменьшает неопределенность знаний в два раза.

Пример 4

Система, которая описывает процесс бросания монеты, имеет два равновероятных состояния. Если вам нужно угадать, какая сторона выпала сверху, то вы сначала имеете полную неопределенность о состоянии системы. Что бы получить информацию о состоянии системы, вы задаете вопрос: "Это орел?". Этим вопросом вы пытаетесь отбросить половину неизвестных состояний, т.е. уменьшить неопределенность в 2 раза. Какой бы ответ ни последовал "Да" или "Нет", вы получите полную ясность о состоянии системы. Таким образом, ответ на вопрос содержит 1 бит информации. Поскольку после 1-го вопроса наступила полня ясность, то энтропия системы равна 1. Этот же ответ дает формула (2), т.к. log22=1.

Пример 5.

Игра "Отгадай число". Вам надо угадать задуманное число от 1 до 100. В начале отгадывания вы имеете полную неопределенность о состоянии системы. При отгадывании надо задавать вопросы не хаотично, а так, чтобы ответ уменьшал неопреденность знаний в 2 раза, получая таким образом примерно 1 бит информации после каждого вопроса. Например, сначала надо задать вопрос: "Число больше 50?". "Правильный" подход к отгадыванию дает возможность угадать число за 6-7 вопросов. Если применить формулу (2), то получится, что энтропия системы равна log2100=6,64.

Пример 6.

Алфавит племени "тумбо-юмбо" содержит 32 различных символа. Какова энтропия системы? Другими словами надо определить, какое количество информации несет в себе каждый символ.
Если считать, что каждый символ встречается в словах с равной вероятностью, то энтропия log232=5.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.

Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е.

,

причем .

Чем больше коэффициент информативности Y, тем меньше объем работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации.





Поделиться с друзьями:


Дата добавления: 2015-11-05; Мы поможем в написании ваших работ!; просмотров: 443 | Нарушение авторских прав


Поиск на сайте:

Лучшие изречения:

Что разум человека может постигнуть и во что он может поверить, того он способен достичь © Наполеон Хилл
==> читать все изречения...

2510 - | 2325 -


© 2015-2025 lektsii.org - Контакты - Последнее добавление

Ген: 0.012 с.