Ограниченность однослойного персептрона

Нейроинформатика

В рамках нейроинформатики рассматриваются устройства структурно и функционально подобные мозгу человека.

Поэтому схематично нейрон можно представить в следующем виде:

Дендриты

Тело клетки

Аксон

 

 

Выделим основные типы задач, успешно решаемых при помощи искусственных нейронных сетей в настоящее время:

1) аппроксимация функций (построение моделей трудно формализуемых зависимостей).

Предположим, что имеется обучающая выборка ((x1, y1), (x2, y2), …, (xn, yn)), представленная парами вход – выход, которая генерируется неизвестной функцией y = f(x), искаженной шумом.

Задача аппроксимации состоит в нахождении оценки неизвестной функции y = f(x), что используется при решении многочисленных инженерных и научных задач моделирования

2) классификация образов (задача состоит в указании принадлежности входного образа, представленного вектором признаков, одному или нескольким предварительно определенным классам)

3) кластеризация (в этом случае отсутствует обучающая выборка с метками классов).

Алгоритм кластеризации основан на подобии образов и размещает похожие образы в один кластер, а не похожие – в другой.

4) прогнозирование

5) задачи оптимизации

6) задачи управления.

Для применения нейронных сетей желательно выполнение следующих условий:

1. Накоплены достаточные объемы данных о поведении системы в предыдущие периоды времени;

2. Не существует традиционных методов или алгоритмов, которые удовлетворительно решают требуемую задачу;

3. Исходные данные частично искажены, противоречивы или не полны и поэтому традиционные методы решения выдают неудовлетворительный результат.

Далее обратимся к истории развития искусственных нейронных сетей.

В модели математического нейрона можно выделить три основных элемента:

1. Набор связей (синапсов), каждая из которых характеризуется своим весом.

2. Сумматор.

3. Функция активации.

В математическом нейроне в качестве функции активации использовалась пороговая функция (рис. 3.2).

Математические нейроны могут реализовывать различные логические функции. Так, математический нейрон, имеющий два входа с единичными силами связей , реализует функцию логического умножения «И» при и функцию логического сложения «ИЛИ» при .

Нейрон с одним входом, у которого , реализует логическую функцию «НЕТ» при .

 

Фактически рассматриваемый персептрон состоит из одного единственного математического нейрона, который вместо реализации логических функций проводит классификацию цифр на четные и нечетные.

 

Ограниченность однослойного персептрона

Когда Ф. Розенблатту удалось обучить персептрон распознаванию букв латинского алфавита, это был колоссальный успех.

Многослойный персептрон

 

Двухслойный персептрон является наиболее общим классом сетей и способен формировать произвольные выпуклые многоугольные решающие области.

Именно двухслойные персептроны, содержащие входной, скрытый и выходной слои нейронов, чаще всего применяются на практике, так как они позволяют воспроизводить достаточно сложные зависимости.

В общем случае можно выделить три фундаментальных класса архитектур нейронных сетей:

Рассмотрим чуть подробнее первый вид архитектуры.

Второй вид архитектуры –

Третий вид архитектуры –

В искусственных нейронных сетях, используемых в научных и практических целях в настоящее время используются различные функции активации. Рассмотрим наиболее распространенные из них. Пусть значение, подаваемое в качестве аргумента для пороговой функции обозначено как и ранее через , а выходной сигнал -

Виды функций активации:

1. Пороговая функция

 

2. Сигмоидальная функция

 

а) логистическая функция

б) гиперболический тангенс

3. Линейная функция

а) с неограниченной областью изменения

б) с ограниченной областью изменения

4. Радиально-базисная функция

 

Рассмотрим алгоритм решения задач при использовании искуссвенных нейронных сетей:

1. Постановка задачи

2. Формирование обучающего множества (обучающей выборки)

3. Выбор нейросетевой модели (структуры нейронной сети), в рамках которой будет производиться решение задачи

4. Выполнение алгоритма обучения сети

5. Тестирование обученной сети на новых данных, которых не было в обучающем множестве.

Далее рассмотрим немного подробнее вопрос обучения нейронных сетей. В целом, суть всего процесса обучения нейросетей состоит в подстройке синаптических весов (то есть величин, обозначенных w_ij). Первоначальные значения указанных величин в большинстве случаев назначаются датчиком случайных чисел, после чего происходит их корректировка в соответствии с некоторыми правилами.

Схему процесса обучения нейронной сети можно представить в следующем виде:

Рассмотрим парадигмы обучения нейронных сетей.

 

Таким образом, для обучения с учителем характерно наличие в обучающей выборке ожидаемых ответов сети. Например, для обучения нейронной сети, используемой для аппроксимации значений неизвестной функции, обучающее множество можно представить в виде:

x
y	0.6

 

Выделим наиболее распространенные алгоритмы обучения нейронных сетей в рамках обучения с учителем:

1. Методы локальной оптимизации с вычислением частных производных 1-го порядка:

а) метод градиентного спуска (наиболее распространенный пример - алгоритм обратного распространения ошибки)

б) методы с одномерной и двумерной оптимизацией целевой функции в направлении антиградиента

в) метод сопряженных градиентов

 

2. Методы локальной оптимизации вычислением частных производных 1-го и 2-го порядков:

а) квазиньютоновские методы

б) методы оптимизации с разреженными матрицами Гессе

в) метод Левенберга-Маркардта

 

3. Методы стохастической оптимизации:

а) методы случайного поиска

б) метод Монте-Карло

в) метод квази Монте-Карло

 

4. Методы глобальной оптимизации (переборные методы).

Задачи глобальной оптимизации решаются с помощью перебора значений переменных, от которых зависит целевая функция.

Для сравнения эффективности методов обучения нейросетей используют следующие критерии:

· количество шагов алгоритма;

· количество дополнительных переменных.

 

 

Выделим наиболее распространенные алгоритмы обучения нейронных сетей в рамках обучения без учителя:

1. Алгоритмы обучения Хебба

а) сигнальный метод обучения Хебба

б) дифференциальный метод обучения Хебба

 

2. Алгоритм обучения Кохонена