Опыт разработки корпусов текстов

К настоящему времени накоплен серьезный опыт разработки корпусов текстов для различных языков. Наибольший интерес представляют фундаментальные корпусы текстов, отражающие состояние языка в целом, а не каких-то его отдельных феноменов, подсистем.

Фундаментальные корпусы. Наиболее известен Брауновский корпус американского варианта современного английского языка, создававшийся в Брауновском университете в 1962—1963 гг. под руководством У. Фрэнсиса. Брауновский корпус существует в компьютерном варианте и на микрофишах. Объем корпуса около 1 млн словоупотреблений. Корпус состоит из 500 текстов, каждый из которых включает 2 000 словоупотреблений. В корпус вошли тексты, впервые вышедшие в 1961 г. и относящиеся к литературному варианту английского языка. Тексты охватывают 15 различных жанров американского английского: газетные статьи (репортажи, передовицы, обзоры); религиозную литературу; профессиональную литературу; научно-популярную литературу; беллетристику; образцы деловой прозы (в том числе правительственные документы); научную литературу; художественную прозу; детективы и научную фантастику; приключенческую литературу и вестерны; романтическую литературу; юмористические истории и рассказы. В 1980 г. появилась индексированная (аннотированная) версия Брауновского корпуса, в которой была проведена лемматизация словоформ, маркировка их поверхностно-синтаксических функций и пр.

Британским аналогом Брауновского корпуса является Ланкастерско-Осло-Бергенский корпус (принятое сокращение LOB). Он создавался несколько позже Брауновского, но включал тексты того же временного периода и тех же жанров, но британского варианта английского языка. Аннотированная версия корпуса LOB появилась уже в 1985 г. Существование двух фундаментальных корпусов-аналогов для американского и британского вариантов английского языка стимулировало проведение сравнительных исследований в этой области и дало весьма интересные результаты.

Существенно отличается от Брауновского корпуса — Лондонско-Лундский корпус, разработанный в рамках проекта «Обзор употребления английского языка». Цель проекта заключалась в том, чтобы по возможности полно зафиксировать особенности грамматической системы английского языка в речи взрослого образованного носителя. Проект разрабатывался с 1960 г. под руководством Рэндола Квирка в Лондонском университетском колледже. Объем корпуса — 1 млн словоупотреблений. Лондонско-Лундский корпус, кроме письменных текстов, включает и тексты устной речи (100 письменной и 100 устной), представленные в орфографической записи с маркировкой некоторых просодических и паралин-гвистических особенностей естественного дискурса. Текстами устной речи были записи радиопередач, заседаний официальных структур, а также неформальных бесед. Машинный вариант корпуса создавался в Лундском университете (Швеция) и был готов для использования с 1979 г. Машинная версия содержит подробный указатель словоформ, а также маркеры некоторых просодических особенностей речи. На основе корпуса была подготовлена и выпущена в 1985 г. Полная грамматика английского языка.

Еще один интересный опыт создания фундаментального корпуса — Бирмингемский корпус. В отличие от ранее рассмотренных примеров Бирмингемский корпус основан на идеологии мониторного или динамического корпуса. Идеологом этого проекта стал Дж. Синклер — один из отцов современного дискурс-анализа. Мониторный корпус отличается от обычного по следующим параметрам: 1) объем такого корпуса достигает нескольких десятков миллионов словоупотреблений; 2) корпус постоянно пополняется и изменяется, отражая те изменения, которые происходят в языке; 3) пользователь получает возможность в автоматическом или полуавтоматическом режиме создавать рабочие корпусы из генерального корпуса.

Первым этапом на пути создания корпуса стала Бирмингемская коллекция английских текстов, предназначенная для поддержки проекта «Словаря современного английского языка». Для реализации проекта было организовано специальное подразделение COBUILD (Corpus Building). К 1986 г. объем коллекции текстов достигал 20 млн словоупотреблений. Единицей хранения коллекции является целый текст или его достаточно большой фрагмент. Объем каждой единицы хранения порядка 70 тыс. словоупотреблений. Отбор текстов — с 1970 г., периодика привлекалась с 1979 г. Коллекция объединяет тексты всех вариантов английского языка — 65-70% британский английский, 25-30% американский английский, 5 % прочие варианты английского языка. Сфера письменных текстов не ограничивается опубликованными материалами: в коллекцию входят образцы эпистолярного жанра, неопубликованные рукописи. Часть коллекции представлена устными затранскрибированными текстами. В настоящее время исследователям доступен фрагмент Бирмингемской коллекции — Бирмингемский корпус, достигающий 7,3 млн словоупотреблений (6 млн письменные тексты, 1,3 млн — устные тексты). Общий состав Бирмингемского корпуса таков: нехудожественная литература (66 текстов), художественная литература (25 текстов), газеты (4 текста), журналы (12 текстов), деловая проза (правительственные документы) — 5 документов, письма — 6 документов. Среди текстов устной речи наиболее частотны радиодискуссии (44 текста), неформальные личные диалоги (15 документов), радиоинтервью (60 текстов), университетские лекции (18 текстов).

Корпусная лингвистика в Германии. В Германии появление Брауновского корпуса дало толчок разработке проекта LIMAS-корпуса, создававшегося в рамках проекта системы немецко-английского машинного перевода²⁷⁾. LIMAS-корпус состоит из 500 подкорпусов по 2 000 слово-

27)LIMAS — сокращение от названия исследовательской группы Llnguistische und MAschinelle Sprachubersetzung, работавшей в Институте исследования проблем коммуникации и фонетики Боннского университета с 1965 по 1976 гг.

употреблений каждый, представляющих тексты различных типов, опубликованные в 1968 г. Объем корпуса — 1 млн словоупотреблений. Хотя внешне LIMAS-корпус идентичен Брауновскому, жанровая классификация текстов LIMAS-корпуса существенно отличается от него. В основу жанровой классификации положена тематическая классификация предметных областей, принятая в Немецкой библиографии за 1971 г. Всего было выделено 33 области; наиболее значимые из них — религия, культура, право, политика/управление, общество, экономика, литература, искусство, история, география, медицина, техника, беллетристика. Оттуда же заимствованы и пропорции представления текстов. LIMAS-корпус считается представительным для современного немецкого языка.

Корпусы текстов немецкой разговорной речи. Создание разговорных корпусов текстов в Германии началось довольно давно. Разумеется, исходная форма хранения корпусов разговорной речи — запись на магнитной ленте. Однако в последующем акустическая форма переводилась в фонетическую транскрипцию. Полный вариант фонетической транскрипции из-за сложности транскрибирования и восприятия пользователем оказался неудачным. В результате нескольких опытов графической фиксации разговорной речи выработался неполный вариант фонетической транскрипции, сохраняющий некоторые особенности произношения и отражающий последовательность и/или одновременность произнесения речевых актов. В сокращенном варианте фонетической транскрипции использовались средства фиксации интонации, диалектных черт произношения, степени разборчивости речи и т. п. Неполный вариант фонетической транскрипции существует в двух нотациях — драматургической и партитурной. Драматургическая нотация предусматривает оформление реплик участников диалога как персонажей пьесы, причем «режиссерские» ремарки указывают на характер наложения реплик говорящих друг на друга, темп речи, громкость и пр. Партитурная нотация, считающаяся более удачной, строится как музыкальная партитура, но вместо инструментов выступают участники коммуникации. Это позволяет более точно отразить процесс общения в абсолютном измерении (на временной оси) и в относительном измерении, характеризующем речь участников коммуникации в сравнении друг с другом [Menge 1993]. Чисто технически партитурная нотация требует большей точности и более сложна в написании. Однако использование специальных средств компьютерной поддержки позволяет упростить создание партитурных транскриптов речи. Таким образом, графическое представление разговорной речи в настоящее время уже не является такой сложной технологической проблемой, как раньше.

Хотя в области графической фиксации устной речи даже при отсутствии единого и обязательного для всех стандарта достигнут некоторый прогресс (связанный прежде всего с наличием прецедентов), то в описании невербальной составляющей естественноязыковой коммуникации — чрезвычайно важной для обыденной речи — царит полнейший произвол, что затрудняет дальнейшее продвижение в этой области. Проблема невербального в общении осложняется еще и тем, что относительно лингвистической релевантности тех или иных невербальных компонентов естественного диалога нет единого мнения, как нет и общепризнанной теории невербальной коммуникации.

К числу наиболее известных корпусов текстов немецкой разговорной речи можно отнести «Корпус базового немецкого» (Grunddeutsch-Korpus), который начал создаваться с 1961 г. в Стэнфорде (Institute for Basic German). Метод сбора материала предполагал охват всех основных областей функционирования немецкого языка. Всего в корпусе содержится 401 интервью, средней продолжительностью 12 мин. (общая продолжительность звучания — около 80 часов). Записи производились в 36 городах ФРГ и 10 городах ГДР, шести городах Австрии и четырех городах Швейцарии. Методика сбора материала не давала возможности получать по-настоящему естественный диалог, поскольку ситуация общения искусственно конструировалась: эксплицитно задавалась тема коммуникации, участники диалога были информированы о целях опроса и т. д. Письменный вариант корпуса, созданный на основе полной транскрипции, а затем (для упрощения восприятия) приближенный к орфографической норме, был опубликован в 1984 г. [Pfeffer, Lohnes 1984]. Книга, кроме собственно текстов, включает приложения, в которых указаны результаты предварительной обработки (список «фонетических маркеров хезитации», частотный список словоформ, список незавершенных высказываний и т.д.). Корпус существует также и в компьютерной форме. Существенно, что «Корпус базового немецкого» доступен для исследователя и в фонетической, и в письменной, и в компьютерной форме.

«Саарбрюккенский корпус», опубликованный в 1987 г. [Rath, Immels-berger, Schu 1987], содержит транскрипции речи (диалоги с интервьюером) итальянских, турецких и немецких детей. Цель создателей корпуса состояла в демонстрации особенностей спонтанного овладения вторым языком в детском возрасте. Записи речи немецких детей привлекались как эталон для возможного сравнения. Всего записан 231 час, а опубликовано около 36 часов звучания. О компьютерном аналоге этого корпуса информация отсутствует.

Та же проблемная область — детская речь — представлена в «Дорт-мундском корпусе спонтанной детской речи» (DOKO). Корпус включает тринадцать полкорпусов; каждый подкорпус представляет собой запись речевого поведения одного и того же ребенка в нормальных жизненных ситуациях. Запись, как правило, производилась родителями, которые вели подробный протокол условий протекания коммуникации. По результатам обработки Дортмундского корпуса был создан словарь словоформ, характеризующий речевую активность каждого ребенка. Материалы корпуса доступны как в акустической записи, так и в компьютерной форме. Дортмундский корпус является частью международного банка данных «Система обмена данными по детской речи», хранящегося на психологическом факультете университета «Карнеги-Меллон» в Питтсбурге (США) и в Институте психолингвистики им. Макса Планка в Неймегене (Нидерланды) [Mac Whinney 1991; Mac Whinney, Snow 1985].

Проблемная область Фрейбургского корпуса — обыденная и официальная речевая коммуникация. Фрейбургский корпус, создававшийся с 1968 по 1974 гг., состоит из двух частей. Первая часть — «Корпус основных структур» (224 текста, из которых 80 текстов опубликовано [Texte gesprochener deutscher Standardsprache 1971-1979]), вторая часть — «Корпус диалоговых структур» (72 текста). Для опубликованных фрагментов корпуса был разработан специальный транскрипционный формат представления. В настоящее время Фрейбургский корпус на машинных носителях находится в Институте немецкого языка в Мангейме. Имеющееся программное обеспечение позволяет удовлетворять самые различные запросы — по частоте слов и словоформ, по совместной встречаемости в рамках предложения, абзаца, текста и пр.

Существенно, что Фрейбургский корпус объединяет тексты двух различных типов. К первому типу относятся тексты радио- и телевизионных передач, предполагающих свободное ведение коммуникации — интервью, дискуссии и репортажи. Разумеется, свобода порождения текстов такого рода весьма относительна, поскольку часто первичным для них является письменный сценарий. Второй тип — записи спонтанных бесед, которые в ряде случаев производились без предварительного предупреждения. В этом отношении Фрейбургский корпус оказывается чрезвычайно ценным, поскольку с этической точки зрения запись речи без предупреждения говорящего не вполне корректна и считается противоправным действием, что затрудняет получение таких данных.

Кроме рассмотренных выше чисто текстовых корпусов, в Германии представлены также корпусы, которые условно можно было бы назвать мультимедиальными или мультимедийными. Корпусы такого рода, кроме текстовой составляющей, включают видеозаписи процесса коммуникации с привязкой к тексту. Примером такого корпуса может служить созданный на секции психоаналитических методов университета Ульма корпус терапевтического дискурса [Mergenthaler 1986]. Корпус состоит из видео- и аудиозаписей бесед, отражающих различные формы и методы психоанализа (парная терапия, семейная терапия, групповая терапия, анализ снов и пр.). Объем корпуса 8,2 млн словоупотреблений. Хотя этот корпус создавался не для лингвистов, тем не менее он представляет значительный интерес для лингвистических исследований различного рода, в том числе для проведения работ в области дискурс-анализа. К сожалению, для российской лингвистики мультимедиальные корпусы пока остаются красивой мечтой. Они требуют, кроме наличия чисто технических возможностей, затрат значительных ресурсов времени. Однако перспективность корпусов такого рода для исследования взаимодействия вербальной и невербальной составляющей естественного диалога не вызывает сомнений.

Корпусы письменных текстов немецкого языка. Сейчас в распоряжении лингвистов имеется значительное количество текстов в машиночитаемой форме. Это, однако, не приводит автоматически к появлению хороших корпусов текстов — коллекций текстов, отобранных по фиксированным параметрам, которые определяются некоторой исследовательской задачей. В немецкой традиции принципы отображения проблемной области в корпусе текстов в явном виде не обсуждаются. Большая часть корпусов образует замкнутые множества текстов — совокупность произведений одного автора на машинных носителях с необходимой компьютерной поддержкой [Kammer 1993]. В Мангейме в Институте немецкого языка представлены на машинных носителях корпусы текстов Томаса Манна и Гёте; в Бонне имеется также корпус текстов Канта, в Аахене/Зигене — корпусы текстов Гельдерлина, Клейста и Новалиса. К сожалению, точного и полного описания этих корпусов обнаружить не удалось.

Кроме корпусов художественных текстов, в Институте немецкого языка в Мангейме в распоряжении исследователей имеются: 1) Боннский корпус газетных текстов, объемом в 3 млн словоупотреблений (в качестве единицы хранения выступает текст всего номера газеты); 2) Корпус текстов справочников (Handbuchkorpora, около 11 млн словоупотреблений); 3) два корпуса текстов различных типов (Mannheimer Korpora I & II); 4) так называемый LIMAS-корпус (LIMAS сокр. от Lln-guistische und MAschinelle Sprachubersetzung). Последний корпус состоит из 500 подкорпусов по 2 000 словоупотреблений каждый, представляющих тексты различных типов, опубликованные в 1968 г.

Все эти корпусы имеются на машинных носителях, что позволяет, используя необходимое программное обеспечение, проводить обработку массивов текстов по различным параметрам. Так, например, возможен поиск на любую комбинацию слов в рамках любого фрагмента корпуса (строки, предложения, абзаца, главы и т.п.). Имеющаяся система лемматизации дает возможность пользователю не перечислять всех словоформ слова при поиске, что особенно важно для глаголов. Лемматизация позволяет, кроме того, осуществлять поиск разрывных составляющих.

Значительный интерес представляет «Wendekorpus», занимающий промежуточное положение между корпусами разговорной речи и письменных текстов [Teubert 1990]. Он включает, с одной стороны, газетные и журнальные тексты, а с другой — транскрипты интервью, круглых столов, радиодискуссий и т. п. Объем корпуса — 3,3 млн словоупотреблений. Проблемная область корпуса — тексты публичной политики за период 1989-1990 гг., касающиеся политических изменений в бывшей ГДР и объединения Германии. Наполовину корпус состоит из текстов средств массовой информации бывшей ГДР, наполовину — из текстов средств массовой информации ФРГ. «Wendekorpus» находится в Институте немецкого языка в г. Мангейм и доступен для работы по Интернету в режиме on-line.

С 1993 г. несколько общенациональных немецких газет выпускают компьютерные варианты своих текстов на CD-ромах — «Frankfurter Allge-meine», «Neue Ziircher Zeitung», «Tageszeitung». CD-ромы, кроме текстов газет, содержат программное обеспечение, которое позволяет/проводить поиск информации по ключевым словам, названиям статей, авторам и некоторым другим параметрам. Впрочем, возможности обработки текстовой информации с помощью содержащихся на CD-ромах программ сравнительно невелики [Wagner 1996].

Корпусная лингвистика во Франции. Один из наиболее грандиозных французских проектов — создание «Сокровищницы французского языка», включающей корпус текстов в 90 млн словоупотреблений. Разработка проекта началась в 1963 г. Ввод основного материала закончен в 1968 г. Введены тексты XIX-XX вв. Корпус уже используется для создания 15-томного словаря французского языка XIX-XX вв. — «Tresor de la langue francaise», включающего 80 тыс. лексических входов [Tresor 1988].

Корпусы текстов по русскому языку. Работа над созданием корпусов текстов по русскому языку начата сравнительно недавно. Первые разработки в этой области относятся к началу 1970-х годов. Реально используемых корпусов сравнительно немного. В первую очередь здесь следует упомянуть «Уппсальский машинный фонд русского языка», создававшийся с 1987 г. в Уппсальском университете. Общий объем корпуса — около 1 миллиона словоупотреблений. В корпус отбирались художественные тексты с начала 1960 г., специальные журнальные тексты — с начала 1985 г. и газетные статьи — с начала 1987 г. По замыслу корпус должен отражать современное состояние русского языка; временное распределение статей в корпусе из различных источников отражает взгляды составителей на процессы старения лексики. Цель формирования корпуса заключалась в том, чтобы представить в первую очередь литературный язык, поэтому в массив не включались образцы разговорной речи. Минимальной единицей хранения Уппсальского корпуса является целый текст, а не фрагменты текстов. Корпус состоит из 200 подмас-сивов по 5 000 словоупотреблений в каждом. Подмассив может состоять из одного текста. В текстах корпуса в равной пропорции представлена художественная и специальная литература. Классификация специальной литературы осуществляется по тематике (биология, химия, физика и т. д.), а художественной литературы — по авторам. Если автор тематически разнообразен, то в выборку включаются все важные тематические области. Например, В. Астафьев представлен военной прозой, описаниями природы и сельской тематикой. Каждому тексту сопоставлено формальное описание, в котором содержится информация о типе текста (специальная vs. художественная литература), об источнике, тематике, авторе. Кириллический алфавит исходных текстов передается латиницей.

Собственно российский опыт составления корпусов. В рассматриваемом подходе формированию корпуса текстов должен предшествовать анализ исследовательской программы возможного или реального пользователя, а также предварительная инвентаризация проблемной области. Инвентаризация проблемной области в качестве результата предполагает получение некоторого комплекса параметров, которые достаточно полно характеризуют содержащиеся в ней тексты. Фактически параметризуя проблемную область, лингвист выделяет из объекта исследования предмет исследования. В настоящее время не разработано более или менее ясных принципов выделения параметров в связи с поставленной задачей лингвистического описания. Создатель корпуса текстов по большей части действует, основываясь на интуиции и здравом смысле.

Особая задача — выявление информационной потребности пользователя корпуса, если создатель корпуса и исследователь — не одно и то же лицо. В описываемых примерах потребители и составители корпусов практически выступают в одном лице, тем самым проблема выявления информационной потребности (исследовательской программы) существенно упрощается.

Корпус по дискурсивным словам русского языка²⁸⁾. Составление корпуса по дискурсивным словам преследовало две основных задачи. Первая — обеспечение исследователя контекстами употребления дискурсивных слов, которые в должной мере отражали бы функционирование этих единиц в проблемной области. Первая задача типична для исследовательского корпуса. В рамках второй задачи корпус использовался как источник примеров для словарных статей словаря дискурсивных слов, и здесь корпус должен был иметь некоторые характеристики иллюстративного. В качестве источников выступали тексты, в которых широко используются частицы различных семантических групп.

Для формирования корпуса текстов по дискурсивным словам (единица хранения — связный текст, объемом три-четыре абзаца и более) были учтены следующие факторы исходных массивов исходной проблемной области:

²⁸⁾ Корпус словаря языка Достоевского разрабатывается в рамках проекта, поддержанною РГНФ; корпус текстов по дискурсивным словам русского языка создавался в совместном российско-французском проекте описания дискурсивных слов русского языка, частично финансировавшемся INTAS.

· временное распределение (периоды: классическая литература XIX в художественная литература первой половины XX в.; художественная литература второй половины XX в., а также публицистика 90-х гг.); привлечение публицистики 90-х двадцатого века объясняется прежде всего тем, что многие газеты и журналы имеют электронные версии; сканирование газетного и журнального текста изданий 60-80-х гг. сильно затруднено из-за низкого качества бумаги;

· авторское распределение — Ф. Достоевский, И. Бунин, Л. Толстой, А. и Б. Стругацкие, Ф. Искандер, А. Вампилов, К. Симонов, Б. Окуджава, Ю.Трифонов, С. Довлатов и т.д.;

· жанровое распределение (предпочтение отдавалось жанрам, отражающим такие сферы функционирования языка, для которых типично употребление частиц: газетные и журнальные интервью; тексты радио- и телевизионных дискуссий; драматургические произведения; поэзия представлена минимально; классическая литература также представлена образцами, в которых широко используются дискурсивные слова).

В настоящее время корпус по дискурсивным словам русского языка включает около 30 мегабайт (приблизительно 15 тысяч страниц) текстов.

Корпус текстов словаря языка Достоевского. Текстовый корпус Достоевского создавался как источник для словаря языка Достоевского. Параметры организации корпуса определялись правилами построения словарной статьи: поскольку словарная статья предполагала составление указателя ко всем употреблениям слова, то корпус должен был охватывать все тексты Достоевского — как художественные, так и публицистические. Тем самым сложности, связанные с разработкой теоретических оснований отображения проблемной области, отсутствовали. В качестве основного текстового источника использовалось академическое полное собрание сочинений Ф. М. Достоевского. Единицей хранения в корпусе текстов словаря является отдельное произведение (любого размера — от романа до письма). К настоящему времени на машинных носителях находятся все художественные произведения, публицистика и эпистолярное наследие писателя. Корпус хранится в ASCII формате с минимальной разметкой, позволяющей осуществлять адресацию к произведению и странице по полному собранию сочинений. Для программной поддержки был разработан специальный пакет программ DIALEX-DIAWIN, идейную основу которого заложил М. Марон. Окончательное оформление пакета, доведение его до рабочего вида и дальнейшее развитие осуществлено И.Исаевым [Исаев 1996].

Основное направление развития Корпуса текстов словаря Достоевского в настоящее время — совершенствование программного обеспечения и технологии подготовки словаря. Кроме того, осуществляется ряд исследований, в результате которых предполагается получить словари, которые можно будет использовать для лингвистического изучения корпуса текстов Достоевского. Сейчас готов частотный словарь, составленный А. Я. Шайкевичем. Сформирована база данных по идиоматике Достоевского для словаря идиом писателя.

Корпус текстов словаря языка Достоевского существует также в CD-ромной версии («Достоевский: Тексты, исследования, материалы»), распространяемой вместе с программами обработки корпуса, базой данных по идиоматике и базой данных по частотному словарю, составленному А. Я. Шайкевичем.