Особенности применения экспертного опроса

ЭКСПЕРТНЫЙ МЕТОД В ПРИКЛАДНОЙ СОЦИОЛОГИИ

Экспертный метод в значительной мере может обеспечить объек­тивность, многосторонность, комплексность и компетентность прини­маемых практических решений. На сегодня этот метод достаточно разработан и применяется у нас и за рубежом, как средство повышения надежности решения научных и управленческих проблем. Метод экс­пертных оценок предполагает ряд процедур, направленных на полу­чение необходимого и достаточного набора суждений специалистов, их интеграции в общий практический вывод.

 

ОСОБЕННОСТИ ПРИМЕНЕНИЯ ЭКСПЕРТНОГО ОПРОСА

В практике прикладных социологических исследований могут воз­никать ситуации, когда для оценки какого-либо явления трудно либо вообще невозможно выделить объект — носитель проблемы и исполь­зовать его в качестве источника информации. Чаще всего такие ситуа­ции связаны с попыткой прогнозировать изменение того или иного социального явления, процесса; с необходимостью представить состо­яние интересующего предмета через 1, 2, 5 и более лет или дать объективную оценку таким сторонам деятельности и качествам людей, по которым их самооценка может оказаться искаженной. Подобная информация может исходить только от компетентных лиц — экспер­тов, имеющих глубокие знания о предмете или объекте исследования.

Широкое распространение методы опроса экспертов приобрели в 70-х годах, поскольку именно тогда была выявлена ограниченность методов экстраполирования и моделирования. Одни лишь математи­ческие модели сами по себе не могут обеспечить требуемую надеж­ность прогнозов, особенно долгосрочных. Наиболее ограниченными оказались возможности моделирования в сфере сложных социальных процессов. Выявилась необходимость комплексной разработки соци­альных прогнозов путем сочетания различных методов, в том числе опроса экспертов.

Данный метод сбора информации, как видим, важен потому, что на основе авторитетного мнения он позволяет привлечь более целена­правленную аргументацию для обоснования теоретических положений и практических рекомендаций исследования.

Таким образом, экспертный опрос — это разновидность опроса, в ходе которого респондентами являются специалисты в определенной области деятельности. Отличительная особенность этого метода состо­ит в том, что он предполагает компетентное участие экспертов (экс­пертизу) в анализе и решении проблем исследования. В опросе экс­пертов достаточно широко используются процедуры других методов, в частности методов анализа информации и принятия решений.

Основное назначение метода: выявление наиболее существенных, сложных аспектов исследуемой проблемы, повышение надежности, обоснование информации, выводов и практических рекомендаций бла­годаря использованию знаний и опыта экспертов.

Область применения экспертного опроса — при изучении всех сфер деятельности, в диагностике, прогнозировании, программирова­нии и нормировании, в проектировании, в оценке состояния социаль­ного объекта, в принятии решений. (Можно, например, попросить экспертов дать оценку того, в каком направлении будут развиваться духовные запросы различных категорий трудящихся; выяснить мнение экспертов о том, какие формы участия трудящихся в управлении общественньши делами будут выходить на первый план по мере совершенствования общества, системы самоуправления, запросить их мнение о влиянии НТР на качества личности и т. д. и т. п.)

Но не надо думать, что экспертная оценка должна касаться лишь сугубо общественных, глобальных проблем. В каждом трудовом кол­лективе имеются знающие и опытные в своем деле люди, способные дать обоснованный прогноз, к примеру, дальнейшего развития в нем социальной кооперации, всесторонне оценить стабильность кадрового состава или интерес членов коллектива к новым формам самоуправ­ления, которые предполагается ввести в повседневную практику и др.

Разновидности экспертного опроса также достаточно эффективно применяются на всех этапах прикладных социологических исследова­ний в определении целей и задач, проблем, в построении гипотез, в сборе и анализе информации, в выработке практических рекоменда­ций.[1]

Ограничения в применении: данные экспертного опроса нуждаются в сопоставлении с объективной информацией, полученной другими методами.

Еще ряд терминов, требующих уточнения.

Экспертиза — процедура получения информации от экспертов; самостоятельное решение экспертами поставленных перед ними задач в ходе исследования.

Экспертные оценки — суждение экспертов о различных сферах человеческой деятельности, предполагающих процедуру сравнения объектов, их свойств по выделенным критериям.

Метод экспертных оценок — один из видов экспертного опроса, предполагающий использование экспертных оценок. Основное содер­жание метода заключается в рациональной организации экспертами анализа проблем с последующей оценкой выделенных исследователем суждений и обработкой полученньк данных.

Основные нормативные требования — тщательность подбора экспертов (оценка надежности и точность представленной ими инфор­мации), создание условий для наиболее продуктивного использования экспертов в ходе исследования, сохранение информации экспертов без искажения на всех этапах исследования, учет факторов, влияющих на суждения экспертов.

Отметим еще ряд особенностей опроса экспертов. Некоторые ме­тодические и технические приемы, широко используемые в массовых опросах, теряют свое значение при опросе такой специфической ау­дитории, как эксперты. Как правило, массовые опросы носят аноним­ный характер. В экспертных опросах это теряет смысл, ибо эксперты должны быть полностью осведомлены о задачах, которые решаются в ходе исследований с их помощью. Поэтому нет никакой нужды применять в экспертной анкете косвенные или контрольные вопросы, тесты или какие-либо другие приемы, имеющие своей целью выявить «скрытые» позиции респондента. Более того, использование подобных приемов может нанести заметный ущерб качеству экспертной оценки. Эксперт в полном смысле этого слова — активный участник научного исследования. И попытка скрыть от него цель исследования, превра­тив, таким образом, в пассивный источник информации, чревата по­терей его доверия к организаторам исследования.

В отличие от массового опроса программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней, прежде всего, однозначно формулируется подлежащее прогнозу явление, предусматриваются в виде гипотез возможные ва­рианты его исхода.

В соответствии со степенью разработанности гипотез в инстру­ментарий исследования включаются те или иные виды вопросов. Если исследователь располагает информацией лишь о возможных вариантах исхода прогнозируемого явления и затрудняется однозначно сформу­лировать их причины, то предпочтительней в анкете эксперта исполь­зовать открытые вопросы с полной свободой выбора формы ответа.

Предположим, исследователя интересует «влияние форм органи­зации и оплаты труда на повышение трудовой и общественной актив­ности работников коллектива промышленного предприятия», однако он затрудняется выдвинуть гипотезы о причинах повышения или спада активности трудящихся. Тогда последовательность задаваемых экспер­ту в свободной форме вопросов может быть следующая:

1) В чем Вы видите: а) преимущества повременной, акционерной, аккордно-премиальной системы организации и оплаты труда в произ­водственном коллективе? б) недостатки этой системы?

2) Какие изменения в труде и общении людей в производственном коллективе, у отдельных работников Вы считаете результатом воздей­ствия новой системы организации и оплаты труда?

3) Как Вы думаете, что следует предпринять, чтобы новая система приносила наилучшие результаты?

4) Что особенно важно, с Вашей точки зрения, для успешного внедрения данной формы организации и оплаты труда в производст­венном коллективе?

Поставленные вопросы открывают широкий простор для анали­тического подхода к теме. Материалы опроса оказываются равно по­лезными в создании инструментов исследования и в последующем анализе для теоретических обобщений.

В условиях растущей потребности в экспертных оценках при разработке планов социально-экономического развития, составлении целевых комплексных программ, в социальном прогнозировании и управлении значительно повышается роль метода экспертного опроса. Это порождает новые формы его применения: в содержание беседы вводится обширный круг тематически взаимосвязанных вопросов, предусматривается большое число опрашиваемых, а также использо­вание ЭВМ при обработке данных.

Практика социологических исследований потребовала упорядо­чить работу специалистов для повышения степени надежности их оценок. Это стало особенно важным в последние десятилетия, когда заметно возросла роль коллективных исследований. Повышение на­дежности прогнозов коллективного опроса экспертов является одной из ключевых методических задач.

Сказанное не умаляет значения индивидуальных экспертных оце­нок. Более того, генерирование качественно новых идей по-прежнему почти всегда осуществляется индивидом. Однако индивидуальные экс­пертные оценки постепенно стали чем-то вроде разновидности под­системы в общей системе методов опроса экспертов. Это было связано с осознанием ограниченности возможностей отдельного эксперта в сфере прогнозирования, где сильная сторона специалиста — накоп­ленные им знания, опыт, определенный стандарт мышления — неред­ко оборачивается слабой стороной: «груз прошлого» мешает эксперту подняться над уровнем привычных тенденций и увидеть необходи­мость качественных изменений.

Коллективная работа экспертов помогает совместно преодолевать этот недостаток. Результатом опроса экспертов является обычно не просто «усредненное» мнение группы специалистов. Происходит про­цесс объективизации субъективных оценок. При соблюдении извест­ных методических требований это заметно повышает надежность про­гноза. Знаменательно, что коллективное обсуждение научных проблем наиболее продуктивно именно тогда, когда предметом обсуждения являются выдвинутые ранее в индивидуальном порядке идеи, гипоте­зы, концепции. Так, индивидуальные и коллективные экспертные оцен­ки сливаются в единую систему определенного класса методов про­гнозирования. Опыт показал, что неупорядоченный, произвольный опрос экспертов резко снижает качество, надежность оценок и нередко искажает данные.

 

МЕТОДЫ ПОДБОРА ЭКСПЕРТОВ

Для упорядочения опроса экспертов наибольшее значение имеют две основные методические проблемы всякой экспертизы: 1) подбор экспертов; 2) оптимизация процедуры их работы.

Во-первых, эксперт — если он специалист, от которого ждут прогнозных оценок, — не должен являться лицом, принимающим ре­шение на основе полученной информации. Он может быть только советником того, кто берет на себя ответственность за постановку цели, план, программу, проект, вообще за любые решения. В против­ном случае возникает соблазн «подчинения» экспертизы заранее запланированному решению, прикрытия воли руководителя ссылкой на «мнение экспертов». Правда, на практике руководители, ответ­ственные за решения, выступают порой в роли экспертов и даже возглавляют экспертные группы. Но это нарушение методических требований, расплатой за которое является, как правило, получение пссвдопрогнозов.

Во-вторых, не каждый специалист — даже весьма авторитетный в своей области — годится для работы в экспертной группе, тем более для целей социального прогнозирования. Некоторые из них при обширных знаниях не обладают качествами, необходимыми для члена экспертной группы, не способны давать адекватные оценки и могут лишь дезорганизовать работу, особенно при очных опросах. Опытом выработаны сложные приемы отбора экспертов. Строгое следование процедуре таких приемов обязательно для каждого организатора ис­следования. Более того, в миоготуровых экспертных опросах необхо­димы тщательный анализ ответов и исключение экспертов, ответы которых свидетельствуют об их некомпетентности.

Первый критерий отбора экспертов — степень компетентности эксперта. Возникает вопрос: чем ее измерить? Большей частью ори­ентируются на наиболее «простые» показатели — ученая степень или звание, стаж работы по специальности. Но оба показателя не всегда являются мерилом компетентности. Поэтому приходится прибегать к дополнительным показателям — служебное положение, число опубликованных работ, число ссылок на эти работы в литературе, оценка работ научной общественностью и др. Встает проблема комплексности показателей компетентности эксперта.

Второй критерий отбора экспертов тесно связан с первым. Он предполагает, что эксперт знает «последнее слово» современной науки и практики в тех областях, которые являются предметом экспертизы. Здесь важен качественный анализ научной или практической деятель­ности эксперта и его трудов.

Третий компонент отбора — оптимальное сочетание узкой спе­циализации и общего кругозора эксперта. Для этого опять-таки необ­ходим качественный анализ деятельности и научных трудов эксперта.

Четвертый критерий отбора — оптимальное сочетание индивиду­альных качеств экспертов как научных или практических работников. Сюда относятся способности эксперта к анализу и синтезу изучаемых проблем, к объективной всесторонней оценке проблемы без чрезмер­ного уклона в сторону оптимистических либо пессимистических отве­тов по чисто психологическим мотивам, устойчивость его научных взглядов, но вместе с тем достаточная гибкость мышления, способ­ность изменить точку зрения под влиянием новых фактов и аргумен­тов, умение перерабатывать, усваивать и формировать качественно новую научную информацию.

Пятый критерий отбора — высокие моральные качества экспер­та. Этот критерий очень сложен. Ясно, однако, что без должного морального уровня эксперта остальные его качества могут оказаться бесполезными, способными лишь увеличить опасность получения псевдопрогноза.

В то же время неверно полагать, будто опросу экспертов не присущи недостатки, которые свойственны массовым опросам населе­ния. Эксперт не лишен обычных человеческих слабостей, в частности на то или иное его суждение могут влиять определенные стереотипы мышления. Последние часто играют позитивную роль, но при столк­новении с качественно новой информацией (обычно в ситуации прогнозирования) иногда мешают давать надежные оценки, рекомендации. Очевидно, особенно ценен эксперт, обладающий способностью пре­одолеть сложившиеся взгляды, по-новому смотреть на проблему, вы­сказать оригинальное, самостоятельное суждение.

В специальной литературе по экспертным оценкам давно уже выработан тип «идеального» эксперта, способного решать творческие задачи, видеть и формировать неочевидные проблемы, интуитивно делать верные заключения, предусматривать возможные изменения состояния исследуемого объекта, обладающего независимостью суж­дений и умением видеть проблему с различных точек зрения.[2]

Очевидно, что подобрать эксперта и тем более группу экспертов, обладающих такими способностями, трудно. Приходится заботиться, чтобы перечисленные качества относились хотя бы ко всей группе в целом, И здесь возникает ряд проблем психологии коллективного творчества: в первую очередь необходимость, чтобы члены экспертной группы в психологическом отношении были максимально приемлемы друг для друга.

Экспертная группа не может быть слишком многочисленной. Опыт показал, что за известными пределами увеличение числа экс­пертов не даст существенного прироста новой информации ни в де­талях, ни, главное, по качеству. Необходимость ограничения числен­ности экспертной группы выдвигает дополнительные методические требования к подбору экспертов. (На практике численность экспертной группы большей частью составляет примерно 5-7, максимально 10-15 человек при очных опросах и 20-30, максимально 60-80 человек при заочных опросах, в зависимости от характера экспертизы.) Требуется разумное сочетание экспертов различного возраста, темперамента, раз­личных научных школ, ведомственной принадлежности.

Методы отбора экспертов сводятся к двум основным подходам: объективному и субъективному. Первый предполагает использование организаторами исследования специальных методик отбора, второй — привлечение к процедуре отбора самих потенциальных экспертов либо научной общественности, из среды которой они отбираются.

Объективный подход имеет, в свою очередь, 2 варианта: докумен­тальный и экспериментальный. Первый предусматривает подбор экс­пертов на основе социально-демографических данных (ученая степень, звание, должность, стаж работы по специальности и в области, свя­занной с предметом исследования, число опубликованных работ и число ссылок на них в научной литературе, участие в специализиро­ванных советах, комиссиях, симпозиумах). В комплектовании групп экспертов могут учитываться также, пол, возраст и другие социально-демографические показатели. Экспериментальный метод проводится на основе испытания, тестирования кандидата в эксперты либо по результатам эффективности его прежней экспертной деятельности. Оба методических приема требуют большой деликатности по отношению к будущему эксперту. Так, тестирование не всегда приемлемо с эти­ческой точки зрения. Да и сами тесты пока еще оставляют желать лучшего. Проверка же эффективности рекомендаций кандидата по опыту его прежней работы фактически означает неформальную аттес­тацию специалиста. Поэтому оба приема должны носить, скорее, вспо­могательный характер, применяться в сочетании с документальным подходом и другими приемами.

Субъективный подход также распадается на несколько приемов. Один из них — аттестация, когда подбор экспертов осуществляется с помощью открытого или тайного голосования потенциальных членов будущей экспертной группы, с отводом тех из них, кто не набрал определенного минимума голосов. Здесь могут использоваться мето­дики с расширяющимися кругами экспертов в несколько туров. В первом туре круг экспертов составляет списки кандидатов в эксперты. Туры повторяются до тех пор, пока состав кандидатов в эксперты не стабилизируется. Затем проводится расчет коэффициентов компетент­ности экспертов в зависимости от числа включений в списки. Сам по себе этот прием достаточно эффективен, но лишь при условии, если члены будущей группы хорошо знают друг друга и обладают высокой научной добросовестностью. В противном случае возникает опасность отвода по случайным, непринципиальным мотивам, поэтому полагать­ся только на один этот прием нецелесообразно.

Другой прием — метод взаимной оценки будущих экспертов (в баллах или ранжированием) — является по существу разновидностью первого со всеми его особенностями и ограничениями.

Третий прием — метод самооценки степени компетентности и объективности. Отвечая на вопросы, кандидаты оценивают свою ос­ведомленность, эрудицию в области предмета исследования, критич­ность своих оценок по определенной шкале (либо косвенные сведения например о каналах используемой информации, об объеме и характере изученной информации, о собственном вкладе в исследование изучае­мой проблемы). В последующем может производиться расчет средних значений каждого кандидата и суммарная сфера компетентности экс­пертов. Здесь, правда, имеется опасность неадекватности данных в виде завышенных самооценок. Но практика показывает, что серьезные эксперты, напротив, склонны несколько занижать самооценки и стре­мятся не принимать участие в экспертизах, выходящих за рамки их научных интересов.

Сказанное приводит к выводу, что ни один из перечисленных методов и приемов не может служить «универсальной отмычкой» в решении вопроса об отборе экспертов и что методика такого отбора должна базироваться на сочетании различных приемов.