Понятие и основы теории информации

1) Понятие «информации»

Слово «информация» происходит от латинского и означает сведение, разъяснение, ознакомление.

Понятие информации является базовым, т. е. должно быть пояснено на примерах или выявлено путем их сопоставления с содержанием других понятий.

Понятие «информация» является общенаучным, так как используется в различных науках и при этом в каждой науке это понятие связано с различными системами понятий.

1. Философское понятие информации: «информация есть отражение реального мира». Человек получает информацию с помощью органов чувств: 80-90% с помощью зрения, 10-15% с помощью слуха, 1-2% с помощью других органов чувств (обоняние, осязание и вкус).

Информация – это сведения, изменяющие наши знания об окружающем мире и понимание его.

 

2. Информация в физике. В физике мерой беспорядка, хаоса для термодинамической системы является энтропия системы, тогда как информация (анти энтропия) является мерой упорядоченности и сложности системы. По мере увеличения сложности системы величина энтропии уменьшается, а величина информации увеличивается. Таким образом, в физике информация рассматривается как анти энтропия или энтропия с обратным знаком.

 

3. Математическая теория информации (американский ученый Клод Шеннон): информативность сообщения характеризуется содержащейся в нем полезной информацией – той частью сообщения, которая снимает полностью или уменьшает неопределенность какой-либо ситуации, т. е. информация – это уменьшение неопределенности наших знаний. Такой подход к информации позволяет ее количественно измерять.

Количественная оценка информации

Количество информации

Существует формула, которая связывает между собой количество возможных информационных сообщений и количество информации, которое несет полученное сообщение:

N=2H

 

Где: N -количество возможных информационных сообщений;

H -количество информации, которое несет полученное сообщение;

 

Отсюда следует формула Хартли (для равновероятностных сообщений), которая позволяет определить количество информации.

H=log2N

 

 

В случае, когда вероятность событий неодинакова, для определения количества информации достаточно для выявления сообщения использовать формулу Шеннона:

 

 

Где: -вероятность того, что система находится в состоянии i;

N -количество возможных состояний;

 

В случае равновероятностных сообщений =1/N, тогда формула Шеннона переходит в формулу Хартли.

В случае равновероятностных сообщений Pi = 1/N, тогда формула Шеннона переходит в формулу Хартли:

 

(22.09.2015) Для количественного выражения любой величины необходимо определить единицу измерения. За единицу измерения количества информации принимается такое количество информации, которое содержится в сообщении, уменьшающем неопределенность знания в два раза. Такая единица называется битом. В примере с монетой сообщение несет 1 бит информации (N= )

 

Рассмотрим информационное сообщение, как последовательность знаков определенной знаковой системы (алфавита).

Ограничений на максимальный размер алфавита теоретически не существует, но есть достаточный алфавит, который содержит практически все необходимые символы (латинские и русские буквы, цифры, знаки препинания, знаки арифметики и т.д.). Этот алфавит содержит 256 символов, т.к. 256 = , то 1 символ содержит 8 бит информации, т.е. 1 байт.

Кратные единицы измерения:

1 килобайт (Кбайт) =

1 мегабайт (Мбайт) =

1 гигабайт (Гбайт) =

1 терабайт (Тбайт) =

 

Математическая теория информации не охватывает всего богатства содержания понятия «информация», поскольку отвлекается от содержательной (смысловой) стороны сообщения.