Научение на основе образования инструментальных условных рефлексов

Отцом инструментальной формы научения (оперантного научения) считается Э. Торндайк, который еще в конце XIX в. назвал ее обучением «методом проб, ошибок и случайного успеха». Основной же вклад в изучение закономерностей образования инструментальных условных рефлексов внес американский ученый Б. Ф. Скиннер. Предложенное им определение оперантного научения и оперантного условного рефлекса сейчас наиболее употребимы при характеристике инструментальной формы научения. Может быть не очень систематично, но популярно и талантливо оперантные методы научения и дрессировки изложены в работах К. Прайор.

В противовес методике И. П. Павлова Скиннер разработал методику свободного оперантного поведения, при которой животному позволяют совершать различные действия и нужные подкрепляют. Чаще всего для таких опытов выбирали крыс и голубей, хотя использовались и другие животные. Знаменитый «ящик Скиннера» с одной из сторон имеет педаль (рычаг), который соединен с кормушкой. Снаружи за стенкой расположен сложный механизм. После каждого нажатия на педаль в кормушку падает гранула корма. Как только крысу сажали в ящик, она начинала активно исследовать его – обнюхивать и карабкаться на стенки. При этом случайно нажимала на педаль, после чего в кормушку падал корм. Обычно животное этого не замечало, но, найдя пищу, съедало ее. Продолжая обследовать ящик, крыса вновь случайно нажимала на педаль… Постепенно она обнаруживает зависимость между этим действием и результатом. Как только временная связь стала для нее понятной, она начинала нажимать на педаль, когда хотела есть. Характерно, что вначале крыса нажимала на рычаг лишь изредка, но затем стала это делать все чаще и чаще. После примерно 140 мин опыта число нажатий вдруг значительно возросло.

Совсем не обязательно ждать от животного случайного нажатия на рычаг. Это действие можно спровоцировать (инициировать) различными способами. Например, при обучении голубя клевать к педали можно приклеить зернышко. Если говорить о наработке форм поведения связанных с пищевой потребностью, то рекомендуется понизить массу тела животного до 80% (!) от первоначальной, т. е. вызвать у животного сильную пищевую потребность (мотивацию).

Хотя открытие и изучение инструментальных условных рефлексов считается заслугой американской науки, они исследовались и в школе И. П. Павлова (например, А. Г. Ивановым-Смоленским, Г. Зеленым). Известный польский ученый Ю. М. Конорски, который был учеником Павлова, считается одним из создателей теории об инструментальных условных рефлексах, которые он называл условными рефлексами второго типа. Однако еще раньше описал эту форму научения талантливый цирковой дрессировщик В. Л. Дуров.

Обстоятельства и ситуации, в которые попадают животные, вынуждают их проявлять разные формы поведения, приспосабливаясь или активно сопротивляясь. Ученые назвали такое поведение оперантным (от лат. operatio – «действие»). Действия животных приводят к определенным последствиям или результатам, от которых зависит, будут ли они повторять эти действия или нет. Другими словами, инструментальные условные рефлексы строятся на основе активной целенаправленной деятельности животного. Последовательность событий и результат в данном случае зависят не только от внешней сигнализации, но и от поведения самого животного. Таким образом, первое отличие инструментального условного рефлекса от классического заключается в активной, целенаправленной деятельности обучающегося животного. Второе отличие в том, что инструментальный рефлекс не воспроизводит лежащую в его основе безусловную реакцию, в то время как классический частично или полностью воспроизводит ее.

При образовании инструментальных условных рефлексов основную роль играет внутрення активность животного – его потребность и мотивация. Иначе говоря, в основе поведения лежит не внешняя сигнализация, а внутренняя потребность животного. Считается, что выбор животным реакции определяется не вызывающим ее раздражителем, а установлением временной последовательности между реакцией, выполняемой в данной ситуации, и подкрепляющим раздражителем. При классических условных рефлексах связь устанавливается между стимулами и результатом, а при инструментальном научении она возникает между реакцией и результатом. Таким образом, действие животного приобретает сигнальную функцию по отношению к результату (подкреплению).

Эффективность научения с использованием инструментальных условных рефлексов заключается не только в том, что животное само стремится совершить какое-либо действие, но и в том, что подкрепление – это не просто событие, связанное временной последовательностью с каким-либо сигналом, а всегда удовлетворение доминирующей потребности. Поэтому оно и становится биологически важным, а действия, приводящие к нему, – биологически целесообразными.

Несмотря на кажущееся сходство инструментальных условных рефлексов и двигательных классических, специальными исследованиями было доказано существование различий между ними. В одном из них собака должна была до тех пор реагировать на первый раздражитель, пока ей не предъявляли второй, за которым следовало пищевое подкрепление. Оказалось, что первый раздражитель вызывал инструментальную реакцию, не сопровождающуюся выделением слюны, тогда как второй вызывал слюноотделение.

Следует отметить, однако, что хотя естественное поведение животных в основном инструментально, в формировании поведенческого акта трудно различить роль и участие того или иного вида условного рефлекса.

Этапы оперантного научения

1. Создание состояния выраженной потребности у животного.

2. Первичная инициация нужного поведения (поведенческого акта) одним из способов дрессировки. При этом избегают способа болевого воздействия (оборонительного поведения), предпочитая те, что основаны на отборе поведения.

3. Создание условий, при которых животные самостоятельно воспроизводят первично инициированное поведение.

4. Введение стимула, санкционирующего данный поведенческий акт.

5. Использование свойств подкрепления и тренировочного процесса для закрепления поведенческого акта до навыка.

Оперантное научение может быть основано на любой потребности, выбор которой определяется задачами дрессировки и особенностями животного. Например, при отработке навыка подхода к дрессировщику для одной собаки эффективней использовать социальную потребность (потребность в стае), для другой – пищевую, для третьей – потребность в самосохранении или оборонительную.

Инициировать нужное поведение можно любым способом, однако в оперантной дрессировке наиболее употребимы способы отбора поведения, усиления поведенческого акта или его элемента и способ наведения. Важно вовремя прекратить применение вспомогательных способов, добиваясь самостоятельности животного. Ввести команду можно как на втором этапе, так и после отработки необходимого действия. При оперантном научении подкреплению придается особое значение, так как оно определяет скорость и эффективность этого процесса. При этом учитывают знак, величину, режим и время подкрепления. С подкреплением связано несколько «золотых правил» дрессировки.

1. Закрепляется то, что подкрепляется.

2. Отмена положительного подкрепления несет информацию отрицательного подкрепления.

3. Вариабельный режим подкрепления способствует более быстрому закреплению действия и более медленному его угашению.

Многократное повторения действия, связанное с изменением режима подкрепления и сменой мотивации, обеспечивает автоматизацию поведенческого акта до навыка.

В рамках оперантного метода дрессировки в последнее время разработаны оригинальные методики формирования поведения известные как кликер-дрессировка и дрессировка с помощью дисков.

Кликер-дрессировка. Диски

Многие считают, что кликер-дрессировка^[1] была изобретена в Центре подготовки водных млекопитающих морской пехоты, но это не совсем так. Еще в Египте объездчики лошадей использовали целевую палку (палку-мишень) и кликер из папируса. А в 1864 г. в штате Вирджиния (США) была предпринята первая попытка использования кликер-дрессировки для подготовки военных собак.