В отличие от детерминированных моделей (2.1)…(2.6), в стохастической модели выходное состояние нейрона зависит не только от взвешенной суммы ui, но и от некоторой случайной переменной, выбираемой при каждой реализации из интервала (0,1). Это означает, что yi структуры ФН (рис. 2.1) принимает значения ±1 с вероятностью
(2.22)
где ui определяется (2.4), а b > 0 (чаще всего b = 1).
Процесс обучения нейрона стохастической модели состоит из следующих этапов:
1) расчет ui (2.4) для каждого нейрона сети;
2) расчет вероятности P (yi =±1) по формуле (2.22);
3) генерация значения случайной переменной R Î(0,1) и формирование выходных сигналов yi, если P (yi)> R, или – yi, если P (yi)< R;
4) адаптация весовых коэффициентов wij (при фиксированных yi) по используемым правилам, например, при обучении с учителем – по правилу Видроу–Хоффа
(2.23)
Доказано, что такой подбор wij минимизирует целевую функцию
(2.24)
где n – число нейронов, р – количество обучающих выборок.
Контрольные вопросы и задачи
1. Какие процессы в нервной клетке отражает структура ФН МакКаллока–Питтса?
2. Какие особенности имеют сигмоидальные функции активации?
3. Какие стратегии обучения НС Вы знаете? Каковы их особенности?
4. Приведите структуру и алгоритм обучения персептрона.
5. Почему проблему обучения нейрона можно свести к минимизации некоторой функции?
6. Опишите достоинства и недостатки градиентных методов оптимизации.
7. Почему «ADALINE» с функцией активации типа signum называют линейным нейроном?
8. Каковы основные особенности структур нейронов «Instar» и «Outstar» Гроссберга?
9. Расскажите о структуре и правилах обучения нейрона Хебба.
10. Какие методы преодоления расходимостей весов при обучении по Хеббу Вы знаете?
11. В чем заключается механизм конкуренции и правила обучения нейронов типа WTA?
12. В чем заключается и как решается проблема «мертвых» нейронов при обучении структур WTA?
13. Укажите принципиальное отличие стохастической модели нейрона от остальных моделей и что это дает?
14. Приведите алгоритм обучения стохастической модели нейрона?
15. В чем заключается правило обучения Видроу–Хоффа?
16. Определите область значений, выражение для производной и ее значение в начале координат для функции активации типа алгебраической сигмоиды 
17. Пусть х 1, х 2, … хN – компоненты вектора входных сигналов, подаваемых на вход нейрона с порогом w 0 и логистической функцией активации (табл. 2.1), где a – произволен. Как нужно изменить компоненты х 1, х 2, … хN, чтобы получить на выходе прежний сигнал при a =1?
18. Нейрон j получает входной сигнал от четырех других нейронов, уровни возбуждения которых равны 10; –20; 4; –2, а соответствующие веса связей – 0.8; 0.2; –1.0; –0.9. Вычислите выходной сигнал нейрона, если его функция активации:
а) пороговая; б) линейная (с k =1); в) логистическая (с a =1).
19. Покажите, в каких случаях ФН МакКаллока–Питтса можно аппроксимировать сигмоидальным нейроном?
20. При каких условиях нейрон с сигмоидальной функцией активации может аппроксимировать линейный нейрон?
