НЕЙРОСЕТЕВЫЕ СТРУКТУРЫ И ТЕХНОЛОГИИ
Часть 1. Электрические и математические модели нейронов. НС прямого распространения.
Учебное пособие для вузов
Составители: В.И. Клюкин,
Ю.К. Николаенков
Издательско-полиграфический центр
Воронежского государственного университета
Утверждено научно–методическими советами физического факультета 14 февраля 2008 г., протокол № 6 и факультета компьютерных наук 4 декабря 2008 г., протокол № 4.
Рецензент д.т.н., профессор кафедры информационных систем факультета компьютерных наук ВГУ А.А. Сирота.
Предлагаемое пособие содержит материал по основным принципам построения, функционирования и применения искусственных нейронных сетей. В первой части рассмотрены биологические основы функционирования нервных клеток, электрические и математические модели нейронов, а также основные структуры и методы обучения многослойных НС прямого распространения. Пособие подготовлено на кафедре физики полупроводников и микроэлектроники физического факультета Воронежского государственного университета при частичной поддержке гранта РФФИ № 08-07-99018-р_офи.
Рекомендуется для самостоятельной работы студентов 3, 4 курсов факультета компьютерных наук и 4, 5 курсов физического факультета.
Для специальностей: 010300 – Математика. Компьютерные науки
(071900) 230201 – Информационные системы и технологии
(010400) 010803 – Микроэлектроника и полупроводниковые приборы
202100 – Нанотехнологии в электронике
СОДЕРЖАНИЕ
ВВЕДЕНИЕ. 3
1. ЭЛЕКТРИЧЕСКИЕ МОДЕЛИ НЕЙРОНОВ.. 3
1.1. Биологические основы функционирования нервных клеток. 3
1.2. Аналоговая модель Ходжкина–Хаксли. 3
1.3. Оптоэлектронная модель нейрона. 3
2. МАТЕМАТИЧЕСКИЕ МОДЕЛИ НЕЙРОНОВ.. 3
2.1. Персептрон. 3
2.2. Сигмоидальный нейрон. 3
2.3. Адаптивный линейный нейрон. 3
2.4. «Instar» и «Outstar» Гроссберга. 3
2.5. Модель нейрона Хебба. 3
2.6. Нейроны типа WTA.. 3
2.7. Стохастическая модель нейрона. 3
3. АРХИТЕКТУРА, СВОЙСТВА И ПРОБЛЕМЫ ПОСТРОЕНИЯ ИНС.. 3
3.1. Основные конфигурации ИНС и их свойства. 3
3.2. Методы обучения нейронных сетей. 3
3.2.1. Градиентные методы.. 3
3.2.1.1. Алгоритм наискорейшего спуска (АНС) 3
3.2.1.2. Алгоритм переменной метрики (АПМ) 3
3.2.1.3. Алгоритм Левенберга–Марквардта (АЛМ) 3
3.2.1.4. Алгоритм сопряженных градиентов (АСГ) 3
3.2.2. Эвристические методы обучения НС.. 3
3.2.3. Инициализация весов, подбор коэффициентов и сравнение эффективности детерминированных алгоритмов обучения НС.. 3
3.2.4. Методы глобальной оптимизации. 3
3.2.4.1. Метод имитации отжига (ИО) 3
3.2.4.2. Генетические алгоритмы (ГА) 3
3.2.4.3. Метод виртуальных частиц (ВЧ) 3
3.3. Проблемы практической реализации ИНС.. 3
3.3.1. Выбор оптимальной архитектуры.. 3
3.3.2. Методы редукции и наращивания НС.. 3
3.3.3. Методы инициализации весов и подбора обучающих данных. 3
3.3.4. Обеспечение устойчивости функционирования НС.. 3
4. МНОГОСЛОЙНЫЕ НС ПРЯМОГО РАСПРОСТРАНЕНИЯ.. 3
4.1. Многослойный персептрон (МСП) 3
4.2. Алгоритм обратного распространения ошибки (ОРО) 3
4.3. Радиальные нейронные сети (RBF–НС) 3
4.4. Специализированные структуры НС.. 3
4.4.1. НС каскадной корреляции Фальмана. 3
4.4.2. НС Вольтерри. 3
ВВЕДЕНИЕ
Основные тенденции развития кибернетики начала 21-го века – это биологизация и гибридизация. Под первым направлением чаще всего понимается создание моделей и устройств, имитирующих механизмы, реализованные в процессе эволюции в живых существах, второе состоит в совместном применении различных методов для обработки информации об одном и том же объекте, поскольку только многоаспектное изучение проблемы позволяет получить ее оптимальное решение. Обе названные тенденции весьма удачно иллюстрирует наиболее динамично развивающаяся область современной теории интеллектуальных вычислений, связанная с построением и применением искусственных нейронных сетей (ИНС, НС), которые все более серьезно рассматриваются в качестве методологической основы для создания сверхмощных вычислительных систем с параллельной обработкой информации.
Широкую популярность ИНС приобрели благодаря способности сравнительно легко адаптироваться к требованиям различных практических приложений. Они реализуют одну из парадигм искусственного интеллекта – коннекционистскую, когда возможности сети полностью определяются ее топологией, а вместо характерного для традиционных ЭВМ программирования используется обучение НС, сводящееся к настройке весовых коэффициентов межнейронных связей с целью оптимизации заданного критерия качества функционирования сети. Присущие ИНС нелинейность, адаптивность, потенциальная отказоустойчивость делают их универсальным средством обработки информации, особенно эффективным при решении трудноформализуемых задач распознавания образов, построения ассоциативной памяти, динамического управления и т.п.
Характерная особенность ИНС состоит также в возможности их реализации с применением технологий СБИС и наноэлектроники. Все это вызывает в последние годы огромный рост интереса к нейронным сетям и существенный прогресс в их исследовании. Практически создана база для выработки новых приемов восприятия, распознавания и обобщения визуальной информации, управления сложными системами, обработки речевых и биологических сигналов, решения задач аппроксимации, классификации и прогнозирования.
В связи с вышесказанным в предлагаемом пособии предпринята попытка в сжатой форме изложить основные концепции теории нейронных сетей, возможные методы их программной и аппаратной реализации, а также использования в практических задачах и приложениях. Считаем, что представленный материал окажется полезным для студентов и научных работников, специализирующихся в областях компьютерных наук, микро– и наноэлектроники.
ЭЛЕКТРИЧЕСКИЕ МОДЕЛИ НЕЙРОНОВ
Искусственные нейронные сети представляют собой набор математических и алгоритмических методов для решения широкого круга задач. Существуют два подхода к созданию ИНС – информационный и биологический. В первом безразлично, какие механизмы лежат в основе функционирования ИНС, достаточно, чтобы процессы обработки информации были аналогичны биологическим, во втором важно полное биоподобие, но в любом варианте необходимо детальное изучение работы биологических нервных клеток и сетей с точки зрения химии, физики, теории информации и синергетики. При этом желательно знать ответы на следующие основные вопросы:
- как работает биологический нейрон, какие его свойства важны при моделировании;
- каким образом нейроны объединяются в сеть, как передается информация между ними;
- каковы механизмы обучения бионейронных сетей, как оценивается «правильность» выходных сигналов.
