Синтаксическая мера информации

Синтаксический аспект связан со способом представления информации вне зависимости от ее смысловых и потребительских качеств и рассматривает формы представления информации для ее передачи и хранения (в виде знаков и символов). Данный аспект необходим для измерения информации. Информацию, рассмотренную только в синтаксическом аспекте, называют данными.

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных в сообщении измеряется количеством символов (разрядов) в этом сообщении.

Бит – минимальная единица количества информации, которое содержит сообщение, уменьшающее неопределенность знаний в два раза. Например, каждое бросание монеты дает нам информацию в 1 бит.

В цифровых ЭВМ информация представляется в виде набора бит, позволяющих описывать различную информацию.

Байт – основная единица измерения информации в ЭВМ.

1 байт = 8 битам.

Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2⁸).

Существуют производные единицы информации: килобайт (Кбайт, Кб), мегабайт (Мбайт, Мб), гигабайт (Гбайт, Гб), терабайт (Тбайт, Тб), петабайт (Пбайт, Пб).

1 Кб = 1024 байта = 2¹⁰ (1024) байтов.

1 Мб = 1024 Кбайта = 2²⁰ (1024²) байтов.

1 Гб= 1024 Мбайта = 2³⁰ (1024³) байтов.

1 Тб= 1024 Гбайта = 2⁴⁰ (1024⁴) байтов.

1 Пб = 1024 Тбайт = 2⁵⁰ (1024⁵) байтов.

Количеством информации называют числовую характеристику сигнала, отражающую ту степень неопределенности (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала. Эту меру неопределенности в теории информации называют энтропией.

Случайность любого события заключается в том, что реализация того или иного исхода имеет некоторую степень неопределенности.

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе a. Мерой его неосведомленности о системе является некоторая функция H(a).

После получения некоторого сообщения b получатель приобрел дополнительную информацию Ib(a), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения b) неопределенность состояния системы стала Hb(a).

Тогда количество информации Ib(a) о системе, полученной в сообщении b, определится как Ib(a)=H(a)-Hb(a), т.е. количество информации измеряется уменьшением неопределенности состояния системы.

Иными словами, энтропия системы H(a) может рассматриваться как мера недостающей информации.

В частном случае, для системы, имеющей N возможных состояний, количество информации, может быть вычислено по формуле Шеннона:

i = - (p₁*Log₂p₁+ p₂*Log₂p₂+….+ p_n*Log₂p_n) (1.3)

где, n – количество возможных событий,

p – вероятности отдельных событий.

 

Наиболее просто определить количество информации в случае, когда все исходы события могут реализоваться с равной долей вероятности. В этом случае для вычисления информации используется формула Хартли:

i = log₂N(1.1)

где, i – количество информации,

N – множество сообщений.

Согласно этой формуле процесс получения информации рассматривается как выбор одного сообщения из конечного наперёд заданного множества N равновероятных сообщений, а количество информации i, содержащееся в выбранном сообщении, определяется как двоичный логарифм N.

Наиболее простую форму для формулы (1.1) можно представить следующим образом:

2^I = N (1.2)

Пример_1: Из колоды выбрали 8 карт и положили на стол рисунком вниз. Верхнюю карту перевернули. Сколько информации будет заключено в сообщении о том, какая карта оказалась сверху?

Решение: Все карты одинаковы, поэтому любая из них могла быть перевернута с одинаковой вероятностью. Событие, заключающееся в открытии карты, для нашего случая могло иметь 8 возможных вариантов. Следовательно, информация о реализации одного из них равняется

I = log₂ 8 = 3 бита

Пример_2: Бросают монету. При броске может выпасть «орел» или «решка». Сколько информации будет заключено в сообщении о том, что выпал «орел» или «решка»?

Решение: Воспользуемся формулой Хартли. Для данной задачи N=2, следовательно, I = log₂ 2 = 1 бит.

Пример_3: Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика, если в непрозрачном мешочке находится 50 белых, 25красных, 25 синих шариков

1) всего шаров 50+25+25=100

2) вероятности шаров 50/100=1/2, 25/100=1/4, 25/100=1/4

3)I= -(1/2 log21/2 + 1/4 log21/4 + 1/4 log21/4) = -(1/2(0-1) +1/4(0-2) +1/4(0-2)) = 1,5 бит

 

Пример_4: В корзине лежит 16 шаров разного цвета. Сколько информации несет сообщение, что достали белый шар?

т.к. N = 16 шаров, то I = log2 N = log2 16 = 4 бит.