Системы обработки естественного языка

Междисциплинарное прикладное направление с несколько неудач­ным названием «обработка естественного языка» (перевод английского термина Natural Language Processing) возникло в конце 60-х гг. и раз­вивалось в рамках научно-технологической дисциплины «искусствен­ный интеллект». По своей внутренней форме словосочетание «обработка естественного языка» охватывает все области, в которых компьютеры используются для обработки языковых данных. Между тем в практике за­крепилось более узкое понимание этого термина — разработка методов, технологий и конкретных систем, обеспечивающих общение человека с ЭВМ на естественном или ограниченном естественном языке.

Возникновение и бурное развитие этого направления в 70-е гг., рассматриваемого в прикладной лингвистике как часть проблематики компьютерной лингвистики, связано в первую очередь с неожиданным экспоненциальным ростом количества конечных пользователей ЭВМ. Поскольку обучение языкам и технологии программирования всех поль­зователей невозможно[22], то возникла проблема организации взаимодей­ствия с компьютерными программами. Решение этой проблемы коммуни­кации шло по двум основным путям. В первом случае предпринимались попытки адаптации языков программирования и операционных систем к конечному пользователю. Языки низкого уровня типа Ассемблера заме­нялись языками высокого уровня типа Visual Basic; происходило развитие

операционных систем в сторону большей изобразительности и наглядно­сти; для создания коммуникативного комфорта и облегчения понимания в операционных системах стали использоваться привычные человеку метафоры ПИСЬМЕННОГО СТОЛА, БИБЛИОТЕКИ. Эта тенденция в настоящее время в явной форме отразилась в дизайне и организа­ции интерфейса в операционных средах корпорации «Microsoft Windows», но еще раньше (как минимум, на десятилетие!) аналогичная идеология приближения к конечному пользователю была реализована в операцион­ных системах компьютеров фирмы «Apple-Macintosh».

Второе направление — разработка систем, которые позволяли бы взаимодействовать с ЭВМ в конкретной проблемной области на есте­ственном языке или каком-то его ограниченном варианте. В центре вни­мания исследований в области обработки естественного языка оказался опыт изучения общения, диалога, коммуникации в гуманитарных науках. Основное отличие компьютерного моделирования коммуникации в си­стемах взаимодействия с ЭВМ заключается в том, что при ограничении проблемной сферы разработчикам приходится тем не менее учитывать все аспекты, все уровни реального общения, что представляет собой се­рьезную проблему не только практического, но и теоретического плана. Достаточно сказать, что до сих пор не существует общепринятой теории диалога на естественном языке, которая включала бы лингвистические, социологические и психологические составляющие.

Базовая структура человеко-машинного взаимодействия. Общение с ЭВМ осуществляется в виде диалога, включающего в обычном слу­чае двух участников — человека и ЭВМ. Роли участников меняются — инициатором может выступать и машина, и человек. Имеются системы, которые настроены только на одну стратегию. Например, информацион­но-поисковые системы ориентированы, преимущественно, на пассивную стратегию ответа на вопросы, задаваемые пользователем. Перехват ини­циативы компьютером возможен только для уточнения вопроса или информационной потребности. Такие системы называются системами с жесткой структурой диалога. С другой стороны, многие экспертные системы на определенном этапе должны использовать стратегию опроса пользователя. Если допускается смена ролей участников диалога, такая структура коммуникативного взаимодействия называется мягкой.

Базовые компоненты систем, обеспечивающих взаимодействие с ЭВМ на ЕЯ. Архитектура систем обработки естественного языка в общем случае включает блок анализа речевого сообщения пользователя, блок интер­претации сообщения, блок порождения смысла ответа и блок синтеза поверхностной структуры высказывания. Особой частью системы явля­ется диалоговый компонент, в котором фиксированы стратегии ведения диалога, условия применения этих стратегий, способы преодоления воз­можных коммуникативных неудач.

Диалоговый компонент. Диалоговый компонент системы общения на ЕЯ должен обеспечивать коммуникативное взаимодействие на гло-