Дополнительные источники информации

Превосходное общее введение а проблематику машинного обучения приведено в [105]. В [97] описаны программы машинного обучения для самых различных облас­тей, начиная от инженерного проектирования и закачивая медициной, биологией и музыкой. Результаты современных исследований в области машинного обучения публикуются в литературе по искусственному интеллекту; наиболее известными из этих источников являются журналы Machine Learning (Boston: Kluwer) и Artificial Intelligence (Amsterdam: North-Holland), а также сборники материалов ежегодных конференций ICML (International Conference on Machine Learning - международная

Глава 18. Машинное обучение

конференция по машинному обучению), ECML (European Conference on Machine Learning - европейская конференция по машинному обучению) и COLT (Computational Learning Theory - теория компьютерного обучения). Значительное количество классических статей по машинному обучению включено в [75], [98] и [99]. В [59] приведены результаты изучения важности технических достижений в об­ласти машинного обучения и перспектив применения этого направления искусствен­ного интеллекта для разрешения традиционного противоречия в философии науки.

Большое количество наборов данных для проведения экспериментов с новыми ме­тодами машинного обучения приведено в электронном виде в репозитарии UCI (Калифорнийский университет, г. Ирвин; http: //www. ics.aci.edu/~mlearn/ MLReposirory.html).

Приведенный в данной главе пример реляционных описаний, сформированных с помощью обучения (раздел 18.3), основан на идеях, которые воплощены в одной из первых обучающихся программ ARCHES [169]. Программа, приведенная в разделе 18.4, которая формирует описания на основе атрибутов, представляет собой упро­щенную версию алгоритмов обучения типа AQ, Семейство AQ обучающихся про­грамм было разработано Михальски (Michalak!) и его сотрудниками (см., например, [96]). Широко известной программой для формирования правил вывода в результате обучения является CN2 [31].

Одним из наиболее широко применяемых подходов к обучению является логиче­ский вывод деревьев решения; этот метод известен также под названием TDIDT (Тор-Down Induction of Decision Trees - нисходящий логический вывод деревьев реше­ния), предложенный в [128]. На разработку метода обучения TDIDT большое влияние оказала одна из первых программ Куинлана. (Quinlan) ID3 - Iterative Dichotomizer 3 [127], поэтому алгоритм логического вывода дерева решения часто называют просто ID3. Тема логического вывода деревьев изучалась также вне проблематики искусст­венного интеллекта Брейманом (Breiman) и его сотрудниками [23], которые незави­симо открыли несколько относящихся к этой теме механизмов, включая отсечение поддеревьев дерева решения. Метод отсечения дерева с минимальной ошибкой был предложен в [114] и усовершенствован в результате введения ш-оценки в [27]. Фор­мула т-оцсшш Выла выведена в [26] с использованием байесовской процедуры оцен­ки вероятности. В [47] приведены результаты подробного экспериментального сопос­тавления различных методов усечения дерева. Кроме отсечения, в основной алгоритм логического вывода дерева решения необходимо внести другие усовершенствования для того, чтобы он мог применяться в качестве практичного инструментального средства в сложных приложениях, связанных с обработкой реальных данных. Не­сколько подобных усовершенствований наряду с результатами первых эксперимен­тов, в которых качество знаний, полученных в результате машинного обучения, пре­взошло качество знаний экспертов-людей, представлены в [28] и [128]. Результаты исследования в области структуризации деревьев решения для улучшения их на­глядности приведены в [145].

Необходимо также упомянуть некоторые из наиболее интересных исследований и подходов к машинному обучению, которые не описаны в этой главе.

Одной из первых попыток реализации идей машинного обучения является обу­чающаяся программа, которая играет в шашки, описанная в [137]. Эта программа постоянно совершенствовала применяемую функцию оценки позиции благодаря опы­ту, полученному в сыгранных ею партиях.

В [104] предложена идея пространства версий, которая представляет собой по­пытку повысить эффективность поиска среди альтернативных описаний понятия.

Б процессе активного обучения ученик исследует свою среду, выполняя действия и получая поощрения и наказания из этой среды [155]. В ходе обучения таким дей­ствиям, которые приводят к максимальному увеличению количества поощрений, сложность состоит в том, что поощрение и наказание могут запаздывать, поэтому не всегда ясно, какие именно действия послужили причиной успеха или неудачи.

Часть II. Применение языка Prolog в области искусственного интеллекта

При обучении на основе конкретных ситуаций, которое относится к обучению по принципу формирования рассуждений об определенных случаях [76], ученик рассу­ждает об указанном случае, сравнивая его с аналогичными предыдущими случаями.

Одним из важных направлений исследований в области обучения являются ней­ронные сети (представленные также в [105]), которые позволяют в определенной сте­пени имитировать обучение биологических объектов. Обучение происходит в резуль­тате корректировки числовых весовых коэффициентов, связанных с искусственными нейронами сети. Нейронные сети никогда не были в фокусе исследований по искус­ственному интеллекту, поскольку они не допускают явного символического пред­ставления полученных результатов обучения. Гипотезы, сформированные в ходе ней­ронного обучения, могут обеспечивать очень качественное прогнозирование, но лю­дям их трудно понимать и интерпретировать.

Одним из интересных подходов к обучению является обучение на основе объясне­ния (например, [106]); этот подход известен также под названием аналитического обучения. В данном случае обучающаяся система использует исходные знания для "объяснения" предъявленного примера с помощью дедуктивного процесса. В резуль­тате исходные знания преобразуются в форму, допускающую более эффективное ис­пользование. Один из методов обобщения на основе объяснения реализован в виде программы в главе 23 этой книги в качестве своего рода упражнения по метапро-граммированию.

Некоторые обучающиеся программы обучаются по принципу самостоятельного совершения открытий. Они открывают новые понятия в результате исследований, проводя свои собственные эксперименты. Знаменитым примером программы такого рода является AM (Automatic Mathematician - автоматический математик) [88]. На­пример, программа AM начала свою работу с понятий множества и мультимножества (множества, допускающего вхождение одинаковых элементов), открыла понятия числа, сложения, умножения, простого числа и т.д. В [149] приведен сборник статей по использованию машинного обучения для научных открытий.

Средства формальной логики используются в качестве языка гипотез в одном из подходов к обучению, получившим название индуктивного логического программи­рования (Inductive Logic Programming - ILP), который рассматривается в следую­щей главе этой книги.

Математическая теория обучения известна также под названием COLT (Computational Learning Theory - теория компьютерного обучения) [71]. Этот подход направлен на получение ответов на следующие вопросы: "Каким должно быть коли­чество примеров для того, чтобы они позволили добиться некоторой заданной точно­сти логически выведенных гипотез? Каковыми являются различные теоретические показатели измерения сложности обучения для разных классов языков гипотез?"

Глава 18. Машинное обучение