Основные нейросетевые модели

Интеллектуальные системы обработки информации на основе

Нейросетевых технологий

 

Введение

Среди технологий искусственного интеллекта (ИИ), использующих искусственные нейронные сети, продукционные правила, нечеткую логику, генетические алгоритмы и другие методы и средства, своим разнообразием, универсальностью и эффективностью выделяются нейросетевые технологии (НСТ). И если технологиям ИИ предстоит в будущем слиться воедино, то НСТ могут выступить в качестве основы для их объединения и создания гибридных технологий. Этому способствуют следующие особенности НСТ:

1) НСТ опираются на теорию нейронных сетей, описывающую нейронные структуры как искусственного, так и естественного происхождения, процессы их обучения и развития;

2) Нейронные сети, обладая функциональной полнотой, представляют средства для моделирования всех тех функций, которые реализуются в рамках других технологий ИИ:

3) НСТ позволяют эффективно, легко и быстро распараллеливать решение разнообразных задач (например, при обработке сигналов, распознавании образов, анализе данных реального времени и управлении).

При создании систем ИИ на базе НСТ используется «бионический» подход, который основан на последовательном воспроизведении (по методу «серого ящика») внутренней организации (структуры) высоко организованных биологических систем, для которой интеллект является следствием, её неотъемлемым внутренним свойством. Примером подобной организации может служить организация нейронной сети мозга представителей живого мира, в частности, человека.

В рамках бионического подхода

- рассматриваются строение и функции мозга животных и человека, роль мозга в обеспечении процессов функционирования и развития организма как целостной системы,

- анализируются закономерности эволюции мозга от низших животных к высшим, с учетом того, что организация мозга человека является высшей формой организации мозга живых существ.

На основе этих сведений строятся модели нейрофизиологических и психологических механизмов интеллектуальной деятельности и, в более широком плане, разумного поведения человека, осуществляется поиск технических приложений этих моделей.

Важное место при создании систем ИИ с использованием бионического подхода занимают исследования принципов структурно-функциональной организации нейронных сетей мозга, являющихся прототипами систем ИИ.

Для объяснения особенностей мозга, исходя из свойств его отдельных элементов, используется модель нейронной сети, которая отражает основные свойства нейронов (нервных клеток) и связи между ними. Одновременно в процессе системных исследований нейронных сетей мозга учитываются результаты изучения мозга на двух близких уровнях исследований: на уровне нервной ткани и на уровне целого мозга.

Из свойств нервной ткани выводятся свойства отдельных нейронов и связи между ними.

На основе данных о целом мозге исследования модели нейронной сети направляются на объяснение тех свойств, которыми обладает мозг как единое целое.

Модель нейронной сети

В большинстве бионических моделей нейронных сетей постулируется, что:

1) входные воздействия на нейрон могут быть возбуждающими или тормозящими;

2) реакия нейрона делится на подпороговую и надпороговую;

3) для подпороговой реакции характерна линейность процессов (реакции, вызванные отдельными воздействиями, суммируются), надпороговая реакция связана с надпороговой с помощью нелинейной функцией активации;

4) процессы передачи сигналов по нервному волокну (аксону) не вносят существенных искажений в сигналы, сгенерированные телом нейрона;

5) синаптические связи (синапс – место контакта аксона с мембраной другого нейрона) между активными нейронами усиливаются (правило Хэбба).

Последнее свойство используется как основа для моделирования процессов обучения и памяти в нейронных сетях.

Формально под нейронной сетью понимается любой набор нейронов из данного множества, для которых указано, какие их входы и выходы отождествлены. За выходную величину каждого нейрона в модели принимается характеристика активности аксонного холмика (место выхода аксона из нейрона) нервной клетки – подпороговое возбуждение (net) либо надпороговая активность (out – усредненная частота нервных импульсов аксона). Для других элементов нейронной сети эта величина соответственно считается входной.

Нейронная сеть мозга условно разделяется на подсети, анализирующие сигналы определённой модальности (зрительные, слуховые, тактильные и т.п.),и группы функционально связанных нейронов (центры, ядра, поля, колонки, слои).

Одной из первых математических моделей нейронной сети является модель, предложенная в 1943 году У. Мак-Каллоком и У. Питтсом (США):

Каждой связи между нейронами приписывается некоторое число (вес связи ), подпороговое возбуждение нейрона net рассматривается как взвешенная сумма сигналов, поступающих от других нейронов по связям с ними, надпороговая активность out рассматривается как результат сравнения подпорогового возбуждения с порогом а, т.е. функция активации f(net) считается пороговой. В этом случае модель нейрона описывается соотношениями:

,

Более общим видом функции активации является сигмоидная функция (сигмоида)

.

Данная модель нейрона считается классической и используется в теории нейронных сетей для моделирования памяти, для распознавания образов, обучения и изучения многих других функций, присущих мозгу.

Теорема Колмогорова: любая непрерывная функция n переменных f (x ₁, x ₂,…, x _n) может быть выражена через одномерные непрерывные функции g и y _q

, (**)

где l_р – постоянные.

Соответствующая соотношению (**) сеть Колмогорова может интерпретироваться как двухслойная нейронная сеть:

 

Функции y _q могут быть выбраны сигмоидными (или любыми монотонно возрастающими). Веса связей l_р, как и функции g, выбираются такими, чтобы сеть вычисляла требуемую функцию f (x ₁, x ₂,…, x _n).

Для реализации произвольной булевой функции также достаточно двухслойной нейронной сети с сигмоидными или пороговыми функциями активации у нейронов.

Примерами нейронных сетей являются рецептивные поля – группы нейронов, связывающих отдельный нейрон мозга с рецепторами одного или нескольких органов чувств (глаза, уха и т.п.).

 

Основные нейросетевые модели

За полвека своего развития теория нейронных сетей прошла путь развития от логического исчисления идей, относящихся к нервной активности, до современной развитой теории.

Среди нейросетевых моделей можно выделить наиболее часто используемые в нейросетевых технологиях:

¨ персептрон, который пришел на смену необучаемым сетям из формальных нейронов У. Мак-Каллока и У. Питтса на рубеже 60-х годов; (от латинского слова perceptio - восприятие) имеет следующую архитектуру

W – матрица взаимодействия, которая определяется последовательностью прошлых состояний активности нейронной сети и управляющими сигналами системы подкрепления.

Функции активации реагирующих элементов являются пороговыми функциями. Ассоциативные элементы обычно обладают линейными функциями активации, их связи с сенсорными элементами и между собой, в отличие от связей с реагирующими элементами, остаются постоянными, что существенно ограничивает возможности обучения персептронов решению требуемых задач.

Недостатки персептрона:

А) обучаемым является один слой нейронов, слои ассоциативных элементов выполняют только функции детекторов.

Б) функции активации обучаемых элементов являются пороговыми функциями и позволяют реализовать лишь линейно разделимые функции.

¨ Сети с обратным распространением, которые являются дальнейшим развитием персептрона; в них обучаемыми являются все слои сети и реализована процедура обратного распространения ошибки (ВР – back propagation).

¨ Сети Хопфилда, которые относятся к простым (однослойным) замкнутым нейронным сетям.

В начале 70-х годов американский физик Дж. Хопфилд провел параллель между нейронными сетями и физическими системами: подобно тому, как в физических системах, состоящих из большого числа простых элементов, взаимодействие между большим числом элементарных компонентов производят «коллективные» феномены (постоянные магнитные ориентации и домены в магнитных системах или вихревые образы в жидкостном потоке), в нейронных системах мозга тоже возникают «коллективные» свойства: устойчивость памяти, конструирование категорий обобщения и ассоциативная память.

Модель Хопфилда предполагает наличие у нейронной сети «энергетической функции» (подобной функции Ляпунова системы управления). Нейронная сеть Хопфилда движется к состоянию с минимальным значением энергетической функции.

¨ Машина Больцмана.

¨ Двунаправленная ассоциативная память.

¨ Сеть Гроссберга.

¨ Сеть Кохонена.

¨ Сеть радиальных базисных функций.

¨ Сети, использующие генетические алгоритмы развития.