Особенности поисковых систем

 

В работе поисковый процесс представлен четырьмя стадиями: формулировка (происходит до начала поиска); действие (начинающийся поиск); обзор результатов (результат, который пользователь видит после поиска); и усовершенствование (после обзора результатов и перед возвращением к поиску с иной формулировкой той же потребности). Более удобная нелинейная схема поиска информации состоит из следующих этапов:

1. Фиксация информационной потребности на естественном языке;

2. Выбор поисковых сервисов сети и формализация записи информационной потребности на конкретных информационно-поисковых языках (ИПЯ);

3. Выполнение созданных запросов;

4. Предварительная обработка полученных списков ссылок на документы;

5. Обращение по выбранным адресам за искомыми документами;

6. Предварительный просмотр содержимого найденных документов;

7. Сохранение релевантных документов для последующего изучения;

8. Извлечение из релевантных документов ссылок для расширения запроса;

9. Изучение всего массива сохраненных документов;

10. Если информационная потребность не полностью удовлетворена, то возврат к первому этапу.

Процесс поиска имеет чрезвычайно глубокий дидактический аспект – так, установлено что применение диалоговых информационных систем приводит к формированию у рядовых пользователей такого стиля информационно-поисковой деятельности, который обычно свойственен наиболее выдающимся ученым.

В большинстве случаев информационная потребность возникает после изучения какой-либо новой информации, полученной пользователем. Часто возникает ситуация, когда пользователь уже обладает некоторым массивом документов по искомой тематике. Предлагается использовать эти документы для автоматизированного составления поискового запроса с помощью специализированной системы управления документами (СУД) (система находится в стадии разработки).

Система должна осуществлять индексацию всех документов пользователя. В процессе индексации все слова, содержащиеся в документах, разбиваются по следующим семантическим классам: стоп-слова; наиболее частотные слова бытового (разговорного) языка; общекультурная терминология; общенаучная терминология; известные системе термины предметной области; неизвестные слова. Разбиение осуществляется на основе соответствующих словарей, которые должны быть составной частью системы. К неизвестным словам будут отнесены в первую очередь многие специальные слова предметной области. Туда же попадут новообразованные термины и слова, содержащие ошибки.

На основе индекса осуществляется построение векторного представления документов, после чего СУД производит иерархическую кластеризацию множества документов, в результате чего получается разбиение этого множества на тематические группы. В ходе диалога с пользователем происходит выбор одного или нескольких наиболее релевантных кластеров документов и задание характеристик поискового процесса.

Поисковый запрос следует строить на основе вектора центроида выбранного кластера. Оптимальный размер запроса составляет от 8–12 до 25–30 терминов. Последняя подготовительная операция, осуществляемая СУД заключается в записи запроса на ИПЯ.

 

Структура сети

 

Как известно, наиболее простой способ расширения информационного поиска в сети Интернет применен в метапоисковых системах и заключается в увеличении количества используемых первичных ИПС. Этот механизм должен быть реализован в любой разрабатываемой системе. Задача распределения ресурсов поисковой системы по различным ИПС глобальной сети должна решаться адаптивно, на основании учета доли ссылок признанных релевантными во время предыдущих сеансов поиска.

Второй блок автоматизированной поисковой системы отправляет созданный запрос и осуществляет сортировку и отбор полученных ссылок, после чего обращается по выбранным адресам и получает из сети некоторое множество документов, также содержащих гиперссылки.

В исследовании [8] показано, что распространенное мнение о хаотичности информационного наполнения глобальной сети и об отсутствии какой-либо структуры связей является заблуждением. Выявлено наличие так называемых «сообществ» – хорошо связанных групп сайтов, содержащих материалы близкой тематики. Выделяются «центральные» страницы – содержащие большие списки ссылок и страницы, на которые ведут многие ссылки, – «авторитетные» страницы. Таким образом, целью 8-го этапа поиска является обнаружение таких групп и выявление среди их членов наиболее «авторитетных». Как показано в [9], алгоритм решения этой задачи достаточно прост.

Обработка результатов поиска. После получения в результате поиска в сети некоторого множества документов, среди них необходимо выделить наиболее релевантные. Наличие «сообществ» не облегчает эту задачу. Можно выделить следующие несколько классов наиболее частых ситуаций:

1. Отсутствие в исследуемом сегменте сети искомой информации. Подобная ситуация описана в [10]. В этом случае следует перейти к другому сегменту, т.е. обычно исследовать ресурсы, созданные на других языках.

2. Найденные «сообщества» содержат информацию не по требуемой тематике, а главным образом по другим, близким к искомой.

3. Обнаружено слишком большое количество информационных ресурсов.

В последних двух случаях необходимо осуществить автоматический перебор всех найденных документов и определить степень близости их к исходному запросу. Более 20 метрических мер близости, пригодных для сравнения документов в векторном представлении, рассмотрены в работе [11]. Оптимальное решение задачи ранжирования достигается путем применения системы, основанной на агентно-ориентированном подходе.

Во многих случаях поиска в новой области, когда общий уровень пользователя недостаточно высок, желательно осуществлять фильтрацию выдаваемой информации по стилю текста так, чтобы начальное ознакомление с материалом происходило с использованием популярных и научно-популярных текстов.

Для уменьшения объема рассматриваемых материалов следует также осуществить фильтрацию результатов поиска по типу источников. Так очевидно, что документы, расположенные на научных сайтах, на коммерческих, или на серверах СМИ будут существенно различаться по своему характеру.