Сбор экспертных заключений и обработка результатов

Составляя анкеты для проведения экспертизы, следует иметь в виду, что при их заполнении определенную роль играет порядок постановки вопросов и их формулировка. Вопросы не должны допускать двойного толкования или побуждать эксперта выразить мнение в малознакомой ему предметной области. Мера конкретизации вопросов должна учитывать реальную возможность специалиста дать правильный ответ. Излишняя детализация создает иллюзию максимальной точности суждения, тогда как на самом деле она может отвлекать от главных вопросов. Практика показывает, что сначала лучше искать ответы на общие вопросы, а затем постепенно переходить к более частным.

Важное значение имеет и количество объектов, предъявляемое эксперту. Самые надежные результаты достигаются при числе объектов, равном 7±2. Показатель 7±2 отмечается в психологии как мак-симальное количество факторов, тем, вопросов, над которыми человек способен думать одновременно.

Сбор экспертных заключений может проводиться заочно, когда личный контакт аналитиков с экспертами отсутствует, либо очно, когда заполнение анкеты осуществляется в рамках беседы с экспертом. Преимущества и недостатки очной или заочной процедуры аналогичны тем, с которыми сталкиваются социологи, проводя опросы общественного мнения. Заочный опрос относительно дешев, однако при нем возможны искажения в случае неправильного заполнения анкет. При личной беседе этот недостаток исключается, но зато требуются значительные затраты труда и времени. Кроме того, аналитик, проводящий личный опрос, может сознательно или бессознательно влиять на ответы эксперта.

Очные способы выражения экспертами своих оценок классифицируются по тому, насколько анонимно они совершаются. Анонимный опрос подразумевает, что никто из экспертов не знает оценок своих коллег. Допускается также анонимное обсуждение оценок, не совпадающих с мнением большинства, оно проводится в письменном виде. Полную противоположность анонимному опросу составляет процедура сбора экспертных заключений в ходе открытого группового обсуждения всех оценок. И тот и другой способ имеет свои преимущества: анонимность позволяет откровенно высказывать персональное мнение, а атмосфера открытого обсуждения способствует пробуждению творческой активности экспертов.

Экспертные процедуры возникли на фоне традиционных методов принятия политических решений и во многом воспроизводят сложившийся формат открытых и закрытых совещаний. Но их главным отличием является стремление избегать жестких ограничений для выдвижения экспертами своих суждений. Благодаря этому подходу возникает благоприятная интеллектуальная среда творческого осмысления сложных проблем и преодоления устаревших стереотипов восприятия. Поэтому обычно атмосфера, свойственная экспертным совещаниям, определяется в профессиональном лексиконе термином «мозговой штурм». Но для того чтобы его возможности были полностью реализованы, необходимо соблюсти несколько правил повышения эффективности мышления.

Основные правила «мозгового штурма»

рамках достаточно общей формулировки поставленной проблемы выделить единственный главный вопрос.

— Не объявлять ложной и не прекращать обсуждать ни одну идею, которая высказывается по ходу дискуссии.

— Подхватывать необычную идею любого рода, даже если ее уместность кажется первоначально сомнительной.

— Поощрять активность высказываний, чтобы освободить участников заседания от скованности.

Использование опыта «мозгового штурма» позволяет, во-первых, увеличить результативность анализа, во-вторых, облегчает радикальную критическую переработку ранее подготовленных проектов, в-третьих, предоставляет возможность разработать заключения, опирающиеся на согласованные мнения.

Среди основных методов сбора экспертных заключений наиболее распространенным является метод открытых обсуждений. Но, привлекая своей демократичностью, он не всегда дает удовлетворительные с точки зрения практических потребностей результаты. Поэтому часто экспертные совещания, начавшись в широком составе, продолжаются уже в закрытом формате и при значительных изменениях круга участников. В ходе закрытых совещаний иногда применяют метод обсуждения, называемый «методом фаворита». Экспертная группа выделяет лицо, оценка которого является решающей при формулировании обобщающих заключений и обязательной для всех участников.

Завершающая часть второго этапа исследования с применением экспертных оценок — обработка результатов экспертизы. Главная задача обработки результатов опроса — представить экспертные заключения в стандартизованном виде. Стандартизация делает возможной процедуру сравнения результатов, полученных разными способами. Но сам статистический анализ начинается с определения согласованности оценок разных экспертов.

Если все оценки одинаковы, то проблема измерения решена. Однако обычно не все оценки совпадают. Более того, иногда мнения участников обсуждения сильно расходятся. Тогда в задачи обработки входит выявление специфики представлений экспертов. Этого можно достичь, предлагая экспертам объяснять свои оценки или путем формального сравнения их мнений. Если полученные результаты не согласованы, то одним из решений может быть

повторение экспертизы (с разъяснением имеющихся разногласий). Так применяется известный метод проведения экспертизы Дельфи.

ельфы — город Древней Греции, заслуживший известность предсказателями будущего, которые назывались оракулами. Основные принципы, положенные в основу метода Дельфи, заключаются в обеспечении анонимности опроса путем исключения непосредственного взаимодействия экспертов. Обратная связь, регулируемая аналитиками, позволяет выявить преобладающие суждения специалистов и сблизить их точки зрения на проблему. Вместе с тем метод не имеет целью достижение полного единства мнений, так как учитывается, что, несмотря на сближение точек зрения, различие будет существовать и в конце опроса.

Обычно для «сходимости» мнений, полученных в соответствии с процедурой Дельфи, достаточно трех туров. Если степень согласованности остается недостаточной, то следует предпринять дополнительные шаги, в частности изменить состав группы экспертов либо изменить перечень факторов (объектов), подлежащих оценке.

Регулярное проведение экспертиз по какому-либо вопросу может довести процедуру получения экспертных оценок до высокой степени стандартизации и воспроизводимости результатов. При этом часто экспертные заключения предоставляются в числовом виде, и тем самым их обработка сводится к процедурам, разработанным в области вычислительной математики и статистики. Статистический анализ и анализ чувствительности полученного массива экспертных данных составляют математическое обеспечение экспертиз, и лучше, если они выполняются соответствующими специалистами.

татистический анализ имеет дело, главным образом, с количественными данными, обусловленными множественностью признаков или факторов. Его применение позволяет определять основные закономерности распределения данных (параметров экспертных оценок) и степень корреляции между отдельными показателями.

Анализ чувствительности вариантов решений обусловлен тем, что веса факторов определяются как случайная величина. Если результат очень чувствителен к изменению исходных данных, то решение может быть принято необоснованно. Кроме того, эксперты могли дать данные с некоторой степенью неточности. Анализ чувствительности может быть проведен и по отношению к составу группы экспертов — изменение в составе группы не должно сильно влиять на результаты.

Целью процедуры количественной обработки результатов экспертного анализа является содержательная характеристика множества профессионально выделенных точек зрения на рассматриваемое явление. Дальнейшее зависит оттого, кто в конечном счете должен принять решение. Целью экспертизы никогда не является и не должно являться освобождение конкретного лица от ведомственной, моральной или политической ответственности за события, наступившие вследствие его действий.

Практически при любой обработке результатов работы экспертной группы встает проблема перехода от индивидуальных предпочтений к групповому предпочтению, т.е. получение агрегированного заключения. Существует несколько основных типов проблемной ситуации:

■ члены экспертной группы придерживаются противоположных точек зрения. Усреднение в такой ситуации может способствовать победе экспертов, обладающих не самым высоким уровнем квалификации;

■ члены экспертной группы используют разные принципы начисления «очков», что приводит к разноплановости оценок;

■ члены экспертной группы демонстрируют цикличность предпочтений и не могут однозначно определить иерархию признаков объекта. Основной причиной такого результата является переход экспертов с оценивания объектов по одному признаку к оцениванию по другому.

Одним из главных требований, предъявляемым к процессу обработки экспертных заключений, является исключение негативного эффекта усреднения, разноплановости и цикличности.

При формулировании итоговых экспертных оценок неизменно встает вопрос о соотношении количественных и качественных характеристик объекта наблюдения и о возможностях учета этого соотношения. Хотя далеко не все политические феномены могут быть описаны на основе точных измерений, очень часто отображение традиционно качественных представлений людей в числовом виде или даже указание на относительную значимость определенных факторов по сравнению с другими повышает точность аналитических заключений. Поэтому использование экспертных оценок позволяет подготовить количественную базу для выбора оптимальных решений как в жестком цифровом выражении, так и в более мягких «рейтинговых», «ранговых» или аналогичных им вариантах.

риведем общую постановку задачи измерений в рамках всего множества экспертных методов. Так, дан набор некоторых объектов (факторов) и эксперта просят поставить каждому объекту (фактору) числовую или ранговую оценку значимости этого фактора. Под объектом можно понимать также и один объект, но в разные моменты времени. В этом случае надежность экспертных оценок зависит от возможности измерения содержащейся в них информации с помощью различных шкал и показателей. Когда проводится экспертиза, то предполагается, что эксперт в состоянии сравнить объекты, варианты или факторы, приписав каждому из них число. В зависимости от того, по какой шкале могут быть заданы эти сравнения, экспертные оценки содержат больший или меньший объем информации.

Чаще всего экспертные оценки качественных признаков воспринимаются как измеренные по порядковой шкале, и для их математической обработки применяются методы упорядочения. Методы упорядочения могут быть применены в нескольких случаях. Так, весьма типичной является ситуация, когда из общего числа факторов необходимо выделить наиболее важные. В практике нередко случается, что одна из альтернатив превосходит другую по какому-либо показателю, хотя другая тоже является привлекательной, но уже на ином основании. В таких случаях выбирается какой-либо один важный признак (или несколько), на основе которого производится выбор оптимального варианта. Достаточно сложные проблемы возникают и тогда, когда необходимо оценить какие-либо качественные факторы, которые нельзя точно измерить. Упорядочить их совокупность можно, сопоставив степень каждого из них этим качеством. В повседневной жизни мы часто оцениваем такие факторы с помощью слов: «лучше», «ценнее», «полезнее», «красивее», «талантливее» и т.д. Наиболее распространенными методами упорядочения альтернатив (факторов) являются ранжирование, нормирование и сравнение. Совпадение выводов, полученных на основе применения двух различных подходов, позволяет предположить, что они основаны на самом материале, а не на методах его обработки.

Математический аппарат, используемый при экспертной оценке значимости объектов, факторов, альтернатив, постоянно развивается и не исчерпывается методами упорядочения. Основной областью математики, которая обеспечивает количественную обработку экспертных оценок, является статистика. В плане электронного обеспечения экспертных методов существуют пакеты при-

кладных программ, которые используются как индивидуальными, так и ведомственными пользователями.