Кибернетика - наука о законах управления и оптимальном использовании информации в сложных динамических системах управления.

1/N - это вероятность появления одного сообще­ния А_i, по­этому, J = -logP(A_i) - информация любого сообщения (осно­вание логарифма не ставим, всегда считая его равным двум). Если в некотором опыте возможно появление несколь­ких сообщений А₁, А₂, А₃,... А_i (симптомы, анализы) и мы проводим опыты п раз (n - боль­ных с одним диагнозом). Причем, А₁ появ­ляется m₁, раз, А₂ - m₂раз, А₃ - m₃ раз и т.д., то общая информа­ция подсчитывается по формуле:

J = - m­_­­1logP(A₁) - m₂logP(A₂) - m₃logP(A3)-... = - ∑m₁ logP(A_i),

а среднее значение информации на одно сообще­ние:

J = - ∑P(A_i)logP(A_i), т.к. m₁/n = P(A_l), m_2­/n = P(А₂),..., m_i­/n = P(А_i)

Эту же формулу можно получить, проделав ряд преобразова­ний:

J = - log1/N, J = - N1/N log1/N, J = - ∑P(A_i)logP(A_i)

Пример: Т.к. использование букв русского алфавита собы­тия не равновероятные и зависи­мые, то реальное количество ин­формации, приходящееся на одну букву, составляет около 4 бит.

Величину H = ∑P(Ai)logP(Ai) называют инфор­мационной энтропией. Энтропия характеризует степень неопределенности системы. Т.к. J и Н имеют различные знаки (J = - Н), то получение инфор­мации от системы уменьшает ее степень неопределенности. Кроме величины информа­ции и энтропии, в информатике введено понятие - ценность информации.

Ценность информации - это изменение вероятности дос­тижения цели, в результате получения информации.

∆J = logP₁ - logP₂,

где Р₁ - вероятность достижения цели до получе­ния информа­ции, Р₂ - после. Ценность информа­ции бывает как положитель­ной, так и отрица­тельной. Это зависит от того, повысило или по­низило получение новой информации вероят­ность достижения цели. Отрицательная инфор­мация называется дезинформацией. Ценность информации измеряется так же в битах. Любое сообщение от отдельных частей системы или от систе­мы к системе передается по специальным путям, получивших на­звание каналов связи. Для того чтобы сообщение можно было пе­редать по каналу связи, его необходимо преобразовать в форму, удобную для передачи по нему, т.е. представить в виде совокуп­ности символов или сигналов. Материальное воплощение сооб­щения в канале связи, как мы уже говорили, называется сигна­лом. Процесс преобразования сообщения в сигналы называется кодированием. Например, вся информация от внешнего мира, поступающая на наши органы чувств, кодируется в виде электри­ческих импульсов в нейронах и в таком виде поступает в цент­ральную нервную систему. На втором конце канала связи сигналы расшиф­ровываются или декодируются и вновь преобра­зуются в сообщение. Посколь­ку передача сигналов в любом канале связи сопровождается по­мехами, то полученное сообщение будет несколько отличаться от первоначального. Американский инженер и математик Клод Шеннон, который считается основоположником теории передачи информации, в своем классиче­ском труде «Теория передачи электрических сиг­налов при наличии помех «(1948 г.) предложил следующую схему передачи сигналов по каналам связи:

Как видно из данной схемы, передача информа­ции предпола­гает наличие источника сообщений и получателя или адресата.

Источник сообщений - это материальный объект, основной особенностью которого является то, что он создает совокупность сведе­ний о своем состоянии.

Получатель или Адресат - это материальный объект, для ко­торого предназначено сообщение.

Если существует взаимосвязь между передавае­мыми сигнала­ми, то их можно использовать не полностью. Применяя различ­ные методы кодирования, можно уменьшить число необхо­димых для передачи сигналов, без уменьшения количества передаваемой информации. Однако избыточность информации желательна, т.к. она ведет к увеличению отношения сигнала к шуму.

Избыточность информации - это разность между макси­мально возможным и реальным количеством информации, пере­носимой ее носителем.

В рассмотренном примере об информации букв русского ал­фавита их избыточность составляет 1 бит (5 бит - 4 бита), т.е. она двукратна. Избыточ­ность снижает степень погрешностей, которые вносятся шумами или помехами. Например, нечеткость шрифта, плохая орфография, недос­таток освещения и т.д. Еще один пример. Так вместо текста: «Приеду в Омск поез­дом номер три в восемь часов, пятнадцать минут», можно пере­дать по телеграфу более короткий текст: «Приеду Омск поездом три, восемь, пятнадцать» или так: «поезд 3, 8 - 15». Вследствие наличия помех в каналах связи, одна из букв или цифр в сообщении может принята не правильно. Но если в пер­вых двух примерах это не несет никаких ошибок в понимании смысла сообще­ния, то в третьем случае может полностью его из­менить. Например: «Подъезд 3, 8—15». Поэтому, как мы уже го­ворили, избыточность информации приводит к повышению на­дежности передачи информации по каналу связи.

Использование теории информации в биоло­гии и медицине:

1.Живые организмы, как открытые термодина­мические сис­темы, обмениваются с окружающей средой и внутри себя веще­ством, энергией и информацией. Поток информации обязательно должен учитываться при рассмотрении механиз­мов, поддержива­ющих постоянство параметров живой системы. Процесс усвое­ния, переработки, использования информации происходит во всех звеньях, начиная с молекул (ДНК) и кончая сложными сообще­ствами живых организмов.

2.Значительным шагом была расшифровка кибернетикой ко­дированных сигналов в заро­дышевых клетках, несущих информа­цию о наследственности (генетика, теория наследствен­ности).

3.Теория информации позволила получить количественные характеристики системы человека (восприятие рецепторами кожи -10⁹бит/с, количество информации, воспринимае­мой центральной нервной системой неосознанно -10⁹бит/с, осознанно -10²бит/с и т.д.), что позво­лило выявить каналы информации, возможности каждого из каналов и проникнуть в структуру мозга.

4.Сейчас доказано, что причины многих тяжелых заболеваний человека, таких как гипертония, рак, сахарный диабет и другие, связаны с наруше­нием процесса управления и переработки ин­формации.

5. В эпидемиологических, санитарно-гигиениче­ских и социаль­но-гигиенических исследованиях.