Вероятностная нейронная сеть

Вероятностная нейронная сеть была разработана Дональдом Спехтом.

Выходы сети можно интерпретировать, как оценки вероятности принадлежности элементу к определенному классу. Вероятностная сеть учится оценивать функцию плотности вероятности, ее выход рассматривается как ожидаемое значение модели в данной точке пространства входов. Это значения связано с плотностью вероятности общего распределения входных и выходных данных.

Задача оценки плотности вероятности относится к области байесовской статистики. Обычная статистика по заданной модели показывает, какова вероятность того или другого выхода (например, на игральной кости 6 очков будет выпадать в среднем в одном случае с шести). Байесовская статистика интерпретирует по-другому: правильность модели оценивается по имеющимся достоверным данным, то есть дает возможность оценивать плотность вероятности распределения параметров модели по имеющимся данным.

При решении задач классификации можно оценить плотность вероятности для каждого класса, сравнить между собой вероятности принадлежности к разным классам и выбрать модель с параметрами, при которых плотность вероятности будет большей.

Оценка плотности вероятности в сети основана на ядерных оценках. Если пример расположен в данной точке пространства, тогда в этой точке есть определенная плотность вероятности. Кластеры из рядом расположенных точек, свидетельствуют, что в этом месте плотность вероятности большая. Возле наблюдения имеется большее доверие к уровню плотности, а по мере отдаления от него доверие уменьшается и стремится к нулю. В методе ядерных оценок в точке, которая отвечает каждому примеру, помещается некоторая простая функция, потом они все прибавляются и в результате получается оценка для общей плотности вероятности. Чаще в качестве ядерных функций берут колоколоподобные функции (гауссовские). Если имеется достаточное количество обучающих примеров, такой метод дает хорошие приближения к истинной плотности вероятности.

Вероятностная сеть имеет три слоя: входной, радиальный и выходной. Радиальные элементы берутся по одному на каждый пример. Каждый из них имеет гауссовскую функцию с центром в этом примере. Каждому классу отвечает один выходной элемент. Выходной элемент соединен лишь с радиальными элементами, относящихся к его классу и подытоживает выходы всех элементов, принадлежащих к его классу. Значения выходных сигналов получаются пропорционально ядерным оценкам вероятности принадлежности соответствующим классам.

Базовая модель вероятностной нейронной сети имеет модификации. Предположим, что пропорции классов в обучающем множестве отвечают их пропорциям во всем исследуемом множестве (априорная вероятность). Например, если среди всех людей больными являются 2%, то в обучающем множестве для сети, диагностирующей заболевание, больных также должно быть 2%. Если же априорные вероятности отличаются от пропорции в обучающей выборке, сеть будет выдавать неверный результат. Это можно учесть, вводя корректирующие коэффициенты для разных классов.