Синтаксический аспект связан со способом представления информации вне зависимости от ее смысловых и потребительских качеств и рассматривает формы представления информации для ее передачи и хранения (в виде знаков и символов). Данный аспект необходим для измерения информации. Информацию, рассмотренную только в синтаксическом аспекте, называют данными.
Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.
Объем данных в сообщении измеряется количеством символов (разрядов) в этом сообщении.
Бит – минимальная единица количества информации, которое содержит сообщение, уменьшающее неопределенность знаний в два раза. Например, каждое бросание монеты дает нам информацию в 1 бит.
В цифровых ЭВМ информация представляется в виде набора бит, позволяющих описывать различную информацию.
Байт – основная единица измерения информации в ЭВМ.
1 байт = 8 битам.
Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=28).
Существуют производные единицы информации: килобайт (Кбайт, Кб), мегабайт (Мбайт, Мб), гигабайт (Гбайт, Гб), терабайт (Тбайт, Тб), петабайт (Пбайт, Пб).
1 Кб = 1024 байта = 210 (1024) байтов.
1 Мб = 1024 Кбайта = 220 (10242) байтов.
1 Гб= 1024 Мбайта = 230 (10243) байтов.
1 Тб= 1024 Гбайта = 240 (10244) байтов.
1 Пб = 1024 Тбайт = 250 (10245) байтов.
Количеством информации называют числовую характеристику сигнала, отражающую ту степень неопределенности (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала. Эту меру неопределенности в теории информации называют энтропией.
Случайность любого события заключается в том, что реализация того или иного исхода имеет некоторую степень неопределенности.
Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе a. Мерой его неосведомленности о системе является некоторая функция H(a).
После получения некоторого сообщения b получатель приобрел дополнительную информацию Ib(a), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения b) неопределенность состояния системы стала Hb(a).
Тогда количество информации Ib(a) о системе, полученной в сообщении b, определится как Ib(a)=H(a)-Hb(a), т.е. количество информации измеряется уменьшением неопределенности состояния системы.
Иными словами, энтропия системы H(a) может рассматриваться как мера недостающей информации.
В частном случае, для системы, имеющей N возможных состояний, количество информации, может быть вычислено по формуле Шеннона:
i = - (p1*Log2p1+ p2*Log2p2+….+ pn*Log2pn) (1.3)
где, n – количество возможных событий,
p – вероятности отдельных событий.
Наиболее просто определить количество информации в случае, когда все исходы события могут реализоваться с равной долей вероятности. В этом случае для вычисления информации используется формула Хартли:
i = log2N(1.1)
где, i – количество информации,
N – множество сообщений.
Согласно этой формуле процесс получения информации рассматривается как выбор одного сообщения из конечного наперёд заданного множества N равновероятных сообщений, а количество информации i, содержащееся в выбранном сообщении, определяется как двоичный логарифм N.
Наиболее простую форму для формулы (1.1) можно представить следующим образом:
2I = N (1.2)
Пример_1: Из колоды выбрали 8 карт и положили на стол рисунком вниз. Верхнюю карту перевернули. Сколько информации будет заключено в сообщении о том, какая карта оказалась сверху?
Решение: Все карты одинаковы, поэтому любая из них могла быть перевернута с одинаковой вероятностью. Событие, заключающееся в открытии карты, для нашего случая могло иметь 8 возможных вариантов. Следовательно, информация о реализации одного из них равняется
I = log2 8 = 3 бита
Пример_2: Бросают монету. При броске может выпасть «орел» или «решка». Сколько информации будет заключено в сообщении о том, что выпал «орел» или «решка»?
Решение: Воспользуемся формулой Хартли. Для данной задачи N=2, следовательно, I = log2 2 = 1 бит.
Пример_3: Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика, если в непрозрачном мешочке находится 50 белых, 25красных, 25 синих шариков
1) всего шаров 50+25+25=100
2) вероятности шаров 50/100=1/2, 25/100=1/4, 25/100=1/4
3)I= -(1/2 log21/2 + 1/4 log21/4 + 1/4 log21/4) = -(1/2(0-1) +1/4(0-2) +1/4(0-2)) = 1,5 бит
Пример_4: В корзине лежит 16 шаров разного цвета. Сколько информации несет сообщение, что достали белый шар?
т.к. N = 16 шаров, то I = log2 N = log2 16 = 4 бит.
