Сбор экспертных заключений и обработка результатов

Составляя анкеты для проведения экспертизы, следует иметь в виду, что при их заполнении определенную роль играет порядок постановки вопросов и их формулировка. Вопросы не должны до­пускать двойного толкования или побуждать эксперта выразить мнение в малознакомой ему предметной области. Мера конкрети­зации вопросов должна учитывать реальную возможность специа­листа дать правильный ответ. Излишняя детализация создает ил­люзию максимальной точности суждения, тогда как на самом деле она может отвлекать от главных вопросов. Практика показывает, что сначала лучше искать ответы на общие вопросы, а затем по­степенно переходить к более частным.

 

Важное значение имеет и количество объектов, предъявляемое эксперту. Самые надежные результаты достигаются при числе объек­тов, равном 7±2. Показатель 7±2 отмечается в психологии как мак-симальное количество факторов, тем, вопросов, над которыми человек способен думать одновременно.

Сбор экспертных заключений может проводиться заочно, ког­да личный контакт аналитиков с экспертами отсутствует, либо очно, когда заполнение анкеты осуществляется в рамках беседы с экспертом. Преимущества и недостатки очной или заочной проце­дуры аналогичны тем, с которыми сталкиваются социологи, про­водя опросы общественного мнения. Заочный опрос относительно дешев, однако при нем возможны искажения в случае неправиль­ного заполнения анкет. При личной беседе этот недостаток исклю­чается, но зато требуются значительные затраты труда и времени. Кроме того, аналитик, проводящий личный опрос, может созна­тельно или бессознательно влиять на ответы эксперта.

Очные способы выражения экспертами своих оценок класси­фицируются по тому, насколько анонимно они совершаются. Ано­нимный опрос подразумевает, что никто из экспертов не знает оценок своих коллег. Допускается также анонимное обсуждение оценок, не совпадающих с мнением большинства, оно проводит­ся в письменном виде. Полную противоположность анонимному опросу составляет процедура сбора экспертных заключений в ходе открытого группового обсуждения всех оценок. И тот и другой спо­соб имеет свои преимущества: анонимность позволяет откровенно высказывать персональное мнение, а атмосфера открытого обсуж­дения способствует пробуждению творческой активности экспер­тов.

Экспертные процедуры возникли на фоне традиционных ме­тодов принятия политических решений и во многом воспроизво­дят сложившийся формат открытых и закрытых совещаний. Но их главным отличием является стремление избегать жестких ограни­чений для выдвижения экспертами своих суждений. Благодаря этому подходу возникает благоприятная интеллектуальная среда твор­ческого осмысления сложных проблем и преодоления устаревших стереотипов восприятия. Поэтому обычно атмосфера, свойствен­ная экспертным совещаниям, определяется в профессиональном лексиконе термином «мозговой штурм». Но для того чтобы его воз­можности были полностью реализованы, необходимо соблюсти несколько правил повышения эффективности мышления.

 

Основные правила «мозгового штурма»

В

рамках достаточно общей формулировки поставленной пробле­мы выделить единственный главный вопрос.

— Не объявлять ложной и не прекращать обсуждать ни одну идею, которая высказывается по ходу дискуссии.

— Подхватывать необычную идею любого рода, даже если ее уместность кажется первоначально сомнительной.

— Поощрять активность высказываний, чтобы освободить уча­стников заседания от скованности.

Использование опыта «мозгового штурма» позволяет, во-пер­вых, увеличить результативность анализа, во-вторых, облегчает радикальную критическую переработку ранее подготовленных про­ектов, в-третьих, предоставляет возможность разработать заклю­чения, опирающиеся на согласованные мнения.

Среди основных методов сбора экспертных заключений наибо­лее распространенным является метод открытых обсуждений. Но, привлекая своей демократичностью, он не всегда дает удовлетво­рительные с точки зрения практических потребностей результаты. Поэтому часто экспертные совещания, начавшись в широком со­ставе, продолжаются уже в закрытом формате и при значительных изменениях круга участников. В ходе закрытых совещаний иногда применяют метод обсуждения, называемый «методом фаворита». Экспертная группа выделяет лицо, оценка которого является ре­шающей при формулировании обобщающих заключений и обяза­тельной для всех участников.

Завершающая часть второго этапа исследования с применени­ем экспертных оценок — обработка результатов экспертизы. Глав­ная задача обработки результатов опроса — представить эксперт­ные заключения в стандартизованном виде. Стандартизация делает возможной процедуру сравнения результатов, полученных разны­ми способами. Но сам статистический анализ начинается с опре­деления согласованности оценок разных экспертов.

Если все оценки одинаковы, то проблема измерения решена. Однако обычно не все оценки совпадают. Более того, иногда мне­ния участников обсуждения сильно расходятся. Тогда в задачи об­работки входит выявление специфики представлений экспертов. Этого можно достичь, предлагая экспертам объяснять свои оцен­ки или путем формального сравнения их мнений. Если получен­ные результаты не согласованы, то одним из решений может быть

 

повторение экспертизы (с разъяснением имеющихся разногласий). Так применяется известный метод проведения экспертизы Дельфи.

Д

ельфы — город Древней Греции, заслуживший известность предсказателями будущего, которые назывались оракулами. Основные принципы, положенные в основу метода Дельфи, зак­лючаются в обеспечении анонимности опроса путем исключения непосредственного взаимодействия экспертов. Обратная связь, ре­гулируемая аналитиками, позволяет выявить преобладающие суж­дения специалистов и сблизить их точки зрения на проблему. Вме­сте с тем метод не имеет целью достижение полного единства мнений, так как учитывается, что, несмотря на сближение точек зрения, различие будет существовать и в конце опроса.

Обычно для «сходимости» мнений, полученных в соответствии с процедурой Дельфи, достаточно трех туров. Если степень согласо­ванности остается недостаточной, то следует предпринять дополни­тельные шаги, в частности изменить состав группы экспертов либо изменить перечень факторов (объектов), подлежащих оценке.

Регулярное проведение экспертиз по какому-либо вопросу мо­жет довести процедуру получения экспертных оценок до высокой степени стандартизации и воспроизводимости результатов. При этом часто экспертные заключения предоставляются в числовом виде, и тем самым их обработка сводится к процедурам, разработанным в области вычислительной математики и статистики. Статистический анализ и анализ чувствительности полученного массива экспертных данных составляют математическое обеспечение экспертиз, и луч­ше, если они выполняются соответствующими специалистами.

С

татистический анализ имеет дело, главным образом, с количе­ственными данными, обусловленными множественностью при­знаков или факторов. Его применение позволяет определять основные закономерности распределения данных (параметров экспертных оце­нок) и степень корреляции между отдельными показателями.

Анализ чувствительности вариантов решений обусловлен тем, что веса факторов определяются как случайная величина. Если ре­зультат очень чувствителен к изменению исходных данных, то ре­шение может быть принято необоснованно. Кроме того, эксперты могли дать данные с некоторой степенью неточности. Анализ чув­ствительности может быть проведен и по отношению к составу группы экспертов — изменение в составе группы не должно силь­но влиять на результаты.

 

Целью процедуры количественной обработки результатов экс­пертного анализа является содержательная характеристика мно­жества профессионально выделенных точек зрения на рассматри­ваемое явление. Дальнейшее зависит оттого, кто в конечном счете должен принять решение. Целью экспертизы никогда не является и не должно являться освобождение конкретного лица от ведом­ственной, моральной или политической ответственности за собы­тия, наступившие вследствие его действий.

Практически при любой обработке результатов работы экспер­тной группы встает проблема перехода от индивидуальных пред­почтений к групповому предпочтению, т.е. получение агрегиро­ванного заключения. Существует несколько основных типов про­блемной ситуации:

■ члены экспертной группы придерживаются противополож­ных точек зрения. Усреднение в такой ситуации может спо­собствовать победе экспертов, обладающих не самым высо­ким уровнем квалификации;

■ члены экспертной группы используют разные принципы на­числения «очков», что приводит к разноплановости оценок;

■ члены экспертной группы демонстрируют цикличность пред­почтений и не могут однозначно определить иерархию при­знаков объекта. Основной причиной такого результата яв­ляется переход экспертов с оценивания объектов по одно­му признаку к оцениванию по другому.

Одним из главных требований, предъявляемым к процессу об­работки экспертных заключений, является исключение негатив­ного эффекта усреднения, разноплановости и цикличности.

При формулировании итоговых экспертных оценок неизменно встает вопрос о соотношении количественных и качественных ха­рактеристик объекта наблюдения и о возможностях учета этого соотношения. Хотя далеко не все политические феномены могут быть описаны на основе точных измерений, очень часто отображе­ние традиционно качественных представлений людей в числовом виде или даже указание на относительную значимость определен­ных факторов по сравнению с другими повышает точность анали­тических заключений. Поэтому использование экспертных оценок позволяет подготовить количественную базу для выбора оптималь­ных решений как в жестком цифровом выражении, так и в более мягких «рейтинговых», «ранговых» или аналогичных им вариантах.

 

П

риведем общую постановку задачи измерений в рамках всего множества экспертных методов. Так, дан набор некоторых объектов (факторов) и эксперта просят поставить каждому объек­ту (фактору) числовую или ранговую оценку значимости этого фактора. Под объектом можно понимать также и один объект, но в разные моменты времени. В этом случае надежность эксперт­ных оценок зависит от возможности измерения содержащейся в них информации с помощью различных шкал и показателей. Когда проводится экспертиза, то предполагается, что эксперт в состоя­нии сравнить объекты, варианты или факторы, приписав каждому из них число. В зависимости от того, по какой шкале могут быть заданы эти сравнения, экспертные оценки содержат больший или меньший объем информации.

Чаще всего экспертные оценки качественных признаков воспри­нимаются как измеренные по порядковой шкале, и для их матема­тической обработки применяются методы упорядочения. Методы упо­рядочения могут быть применены в нескольких случаях. Так, весьма типичной является ситуация, когда из общего числа факторов необ­ходимо выделить наиболее важные. В практике нередко случается, что одна из альтернатив превосходит другую по какому-либо пока­зателю, хотя другая тоже является привлекательной, но уже на ином основании. В таких случаях выбирается какой-либо один важный при­знак (или несколько), на основе которого производится выбор оп­тимального варианта. Достаточно сложные проблемы возникают и тогда, когда необходимо оценить какие-либо качественные факто­ры, которые нельзя точно измерить. Упорядочить их совокупность можно, сопоставив степень каждого из них этим качеством. В по­вседневной жизни мы часто оцениваем такие факторы с помощью слов: «лучше», «ценнее», «полезнее», «красивее», «талантливее» и т.д. Наиболее распространенными методами упорядочения альтер­натив (факторов) являются ранжирование, нормирование и сравнение. Совпадение выводов, полученных на основе применения двух раз­личных подходов, позволяет предположить, что они основаны на самом материале, а не на методах его обработки.

Математический аппарат, используемый при экспертной оцен­ке значимости объектов, факторов, альтернатив, постоянно раз­вивается и не исчерпывается методами упорядочения. Основной областью математики, которая обеспечивает количественную об­работку экспертных оценок, является статистика. В плане элект­ронного обеспечения экспертных методов существуют пакеты при-

 

кладных программ, которые используются как индивидуальными, так и ведомственными пользователями.