Вопрос 2 Мера Шеннона: ее достоинства и недостатки

Вопрос 1: Понятие информации.

Информация это знания, сведения, данные, получаемые и накапливаемые в процессе развития науки и практической деятельности людей, которые могут быть использованы в общественном производстве и управлении как фактор увеличения объема производства и повышения его эффективности.

Понятие «информация может быть истолковано как некоторая совокупность сведений (сообщений), определяющих меру наших знаний о тех или иных событиях, явлениях, фактах и их взаимосвязи. Информация увеличивает знания и углубляет интеллект.
В первоначальном смысле термин информация означал сведения вообще. С развитием общей теории систем этот термин хотя и сохранил свое первоначальное значение, однако конкретизировался и стал употребляться в более точном смысле — для обозначения сведений, знаний наблюдателя о системе и среде ее функционирования. В более общем случае, когда наблюдателю целесообразно рассматривать систему как совокупность подсистем или элементов, информацией о системе являются сведения об организации, структуре, параметрах системы в целом и отдельных подсистем (элементов) в рамках целого.

Количественные меры информации

Введение количественной меры информации является весьма сложной задачей. Одна и та же информация может вызывать различные эмоции и представлять разную ценность для разных людей. Иногда краткое сообщение из одной - двух фраз несет неизмеримо больше информации для конкретного индивидуума, чем текст из многих страниц. Количество информации при этом есть мера уменьшения неопределенности ситуации. Если все исходы равновероятны, то неопределенность ситуации зависит только от числа исходов, причем неопределенность тем больше, чем больше число исходов. Существуют две количественные меры информции.

Р. Хартли в 1928 г. в качестве меры неопределенности ситуации с N равновозможными исходами предложил использовать величину Н = log N

Эта величина возрастает с ростом N и обладает свойством аддитивности (может рассматриваться как следствие более сильного допущения: что количество информации можно рассматривать как функцию знаний субъекта). Неопределенность сложной ситуации, состоящей из нескольких независимых опытов, равна сумме неопределенностей каждого опыта.

В формуле Хартли выбор основания логарифмов означает выбор единиц, в которых измеряется неопределенность. Когда исходы неравновероятны, то неопределенность зависит не только от числа исходов, но и от их вероятностей.

Р. Хартли понимал, что сообщения имеют различную вероятность и, следовательно, неожиданность их появления для получателя неодинакова. Но, определяя количество информации, он пытался полностью исключить фактор «неожиданности». Поэтому формула Хартли позволяет определить количество информации в сообщении только для случая, когда появление символов равновероятно и они статистически независимы. На практике эти условия выполняются редко. При определении количества информации необходимо учитывать не только количество разнообразных сообщений, которые можно получить от источника, но и вероятность их получения.

Вопрос 2 Мера Шеннона: ее достоинства и недостатки

Наиболее широкое распространение при определении среднего количества информации, которое содержится в сообщениях от источников самой разной природы, получил подход. К Шеннона. Мера Шеннона является обобщением меры Хартли для неравновероятных событий.

В 1948 г. Шеннон предложил в качестве меры неопределенности опыта ξ с N исходами х1, х2,... х_n. энтропию H.

N

Н = - ∑ P_ξ (x_i) log P_ξ (x_i) (6.1.1)

1=i ___

где P_ξ (x_i), i =1,N вероятность исхода x_i. Совокупность различных исходов опыта с их вероятностями может рассматриваться как множество значений случайной величины с

___

дискретным распределением. P_ξ (x_i), i =1,N Поэтому вместо энтропии опыта ξ говорят об энтропии случайной величины или об энтропии дискретного распределения.
Энтропия является естественным обобщением меры Хартли.

Чаще всего за единицу информации принимается количество информации, содержащееся в указании значения случайной величины, принимающей с равной вероятностью два различных значения (например, О и 1). Эта единица количества информации называется двоичной единицей или «бит».
Информация будет измеряться в битах, если в выражении для количества информации логарифм брать по основанию 2. Действительно, тогда количество информации, даваемое результатом опыта с двумя равновероятными исходами и равное его энтропии Н, равно:
1 = Н = —0/2 1о2 1/2 + 1/2 Iо2 1/2) = 1.
Измерение информации в двоичных единицах особенно удобно для технических приложений, так как в системах, хранящих и перерабатывающих информацию, проще всего оперировать с величинами, выраженными в двоичной системе счисления, а одна двоичная единица есть как раз количество информации, необходимое для идентификации одной двоичной цифры.
Введенная количественная мера информации имеет как сильные, так и слабые стороны.
Достоинствами введенной статистической меры информации являются:
• универсальность меры, ибо она применима к информации любого вида и содержания;
• объективность и независимость, ибо статистические показатели устанавливаются на основе эксперимента;
• для анализа работы и выбора оптимальных характеристик большинства технических систем передачи и преобразования информации эта мера оказывается достаточной и наиболее рациональной.

Недостатки

· Для случаев, когда должна приниматься во внимание семантика и ценность информации, эта теория неприменима.