Метод коллективной оценки
Применяется для формирования группы экспертов в том случае, когда они имеют представление друг о друге как специалисты. Такая ситуация характерна для учёных, творческих деятелей, политиков, экономистов.
Задание. Рассчитать компетентность студентов своей группы и сформировать группу экспертов по вопросам:
1. Знание иностранного языка,
2. Знание компьютерных программ по специальности,
3. Умение решать общие (бытовые) вопросы.
Для расчета составить и заполнить таблицу индексов компетентности. Рассчитать средние значения по каждому студенту.
Оценка степени достоверности результатов массовых опросов.
В процессе выработки управленческих решений при помощи социологических исследований зачастую возникает вопрос о достоверности массового исследования и соответственно о правомерности сформулированных на их основе выводов. Словом, речь идёт об оценки компетентности мнений, высказанными респондентами.
Для этого составляется анкета эксперта, включающая в основном закрытые вопросы, по структуре идентичные вопросам, сформулированным в анкете респондента. Задача эксперта с учётом объективной ситуации и интересующих исследователя факторов высказать по поставленным вопросам непредвзятую, всесторонне взвешенную оценку.
Задание. Составить анкету (5…7 вопросов) опроса респондентов и экспертов по теме
«Значение (роль) компьютера в Вашей жизни». Вопросы должны касаться возраста, профессии, места проживания и т.д.
Прогноз
В нём наиболее наглядно проявляется отличие экспертной оценки от информации, получаемой в результате массового опроса. Оно заключается в стремлении к согласованности, единообразию суждений и оценок, высказываемых экспертами. Достоверность данных в массовом опросе, как и некоторых среднестатистических показателей тем выше, чем больше совокупность опрошенных. В принципе прогностическая экспертная оценка осуществима для любых социальных процессов и явлений. В прикладной социологии разработан ряд приёма опросов экспертов, используемых для получения прогностической оценки. При этом анонимность в экспертных опросах теряет смысл, ибо эксперты должны быть полностью осведомлены о задачах, которые решаются в ходе исследования с их помощью. Нет нужды применять в экспертной анкете косвенные или контрольные вопросы, тесты или какие-либо другие приёмы, имеющие своей целью выявить "скрытые" позиции респондента. Более того, использование таких приёмов может нанести заметный ущерб качеству экспертной оценки. Эксперт в полном смысле этого слова активный участник научного исследования. И попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования. Основной инструментарий экспертного опроса анкета или бланк-интервью, разработанные по специальной программе. В отличие от массового опроса, программа прогнозированного опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней прежде всего однозначно формулируется подлежащее прогнозу явление и предусматривается в виде гипотез возможные варианты его исхода.
Дельфинийская техника
Весьма часто применяется в прикладной социологии и такой метод экспертного прогноза, как "дельфинийская техника". Он заключается в выработке согласованных мнений путём многократного повторения опроса одних и тех же экспертов. После первого опроса и обобщения результатов его итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, либо изменяют оценку в соответствии с мнением большинства. Такой цикл содержит в себе 3-4 прохода. В ходе подобной процедуры вырабатывается оценка, но при этом исследователь, конечно, не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей точке зрения.
Задание. Составить анкету прогноза роли компьютеризации в жизни человека.
Аттестация членов коллектива
В практике исследования широко применяется такая разновидность метода экспертной оценки, как аттестация. При этом в роли экспертов вступают руководители коллектива, общественных организаций или специальная аттестационная комиссия.
Выбор экспертов.
Для отбора экспертов необходимо, во-первых, сформулировать критерии отбора (ответить на вопрос "Кто может выступать в качестве эксперта по данной проблеме?"), во-вторых, определить процедуры отбора (ответить на вопрос "Как установить соответствие эксперта необходимым требованиям?"). В качестве основных критериев отбора можно назвать следующие:
1. Уровень компетентности эксперта в данной предметной области, показателями которого в совокупности являются:
- уровень и профиль образования,
- профиль работы (связь с данной предметной областью),
- опыт работы по профилю (общий стаж работы по профилю и стаж работы непосредственно в данной предметной области),
- уровень решаемых проблем (соответствие занимаемой должности характеру и уровню возникшей проблемы),
- количество и качество ранее выполненных экспертиз, например, сбывшиеся прогнозы.
2. Степень объективности и беспристрастности эксперта при анализе и оценке явлений в данной предметной области (не заинтересованность эксперта в принятии определенного решения).
3. Умение работать в команде (это особенно важно для группового экспертного опроса), т.е.:
- коммуникативные навыки,
- способность к совместному творчеству,
- гибкость ума и "незашоренность" взгляда,
- нонконформизм.
При оценивании экспертов по названным критериям и выборе экспертов могут использоваться следующие процедуры:
1. Самооценка экспертов по объективным параметрам.
2. Взаимная оценка экспертов.
3. Оценка экспертов независимыми специалистами.
4. Оценка уровня компетентности экспертов с учетом качества ранее проведенных экспертиз (данная оценка производится самой исследовательской командой на основе анализа ретроспективных данных о работе эксперта).
Наиболее предпочтительным является отбор экспертов на основе независимой квалифицированной оценки с поправкой на качество ранее сделанных экспертиз.
Методы экспертных опросов
- Стандартизированный экспертный опрос.
Данный метод требует от исследовательской команды предварительного четкого структурирования проблемы и определения перечня всех вопросов, на которые должны быть получены однозначные ответы. Для реализации опроса разрабатывается стандартизированная анкета с вопросами закрытого типа (с предложением вариантов ответа). Анкетирование может проводиться как при личной беседе интервьюера с экспертом, так и путем "самозаполнения". В этом случае присутствие интервьюера необязательно, анкета может быть отправлена по обычной или электронной почте, однако требуется заключение предварительной договоренности с экспертом об опросе. Метод предполагает высокую квалификацию специалистов-исследователей на этапе постановки задачи и планирования исследования, однако весьма прост в части организации и проведения опроса, а также в части обработки полученной информации. Требования к анкетам (структура, формулировка вопросов и вариантов ответов) достаточно стандартны и аналогичны требованиям, предъявляемым к опросам неэкспертного уровня. Одно из основных требований - использование общепринятого профессионального языка, однозначность трактовки используемых терминов.
2.Нестандартизированный экспертный опрос.
Метод представляет собой личное интервью с экспертом по определенной проблеме. Степень формализации интервью может быть различной. Низкий уровень формализации опроса - неформальная беседа, для которой определяется только тема, а далее эксперт сам решает, как ее освещать (интервьюер при этом задает уточняющие или наводящие вопросы). Высокий уровень формализации предполагает разработку четко структурированного опросника с вопросами открытого типа. Данный метод по сравнению с предыдущим более сложен как на этапе проведения опроса (требует высокой квалификации интервьюера), так и на этапе интерпретации полученной информации и требует высокой квалификации исследователя.
3. Метод "индивидуального блокнота".
Метод представляет собой заочную работу эксперта без непосредственного общения с исследователями. Эксперт получает блокнот, на первой странице которого описана проблема, и затем в течение оговоренного периода времени (определяемого сложностью проблемы и срочностью ее решения) заносит в этот блокнот все свои мысли, идеи, замечания, касающиеся поставленной задачи, после чего сдает блокнот исследователям. Существенную сложность представляет последующая обработка информации и ее интерпретация. Метод требует значительного вовлечения эксперта и, следовательно, предполагает высокий уровень оплаты его труда.
В отличие от индивидуальных групповые методы предполагают коллективную работу экспертов (очную или заочную), они требуют согласования мнений всех экспертов и разработку общего экспертного вывода на основе консенсуса. Групповые методы предпочтительнее с точки зрения повышения надежности экспертизы, однако они весьма сложны по подготовке и проведению. Требуются высококвалифицированные специалисты для разработки процедуры группового взаимодействия. Далеко не всегда удается собрать в одно время и в одном месте необходимое количество экспертов, отвечающих нужным требованиям.
Групповые методы формирования экспертизы в зависимости от характера и направленности обсуждения подразделяют на аналитические и креативные. Аналитические методы нацелены преимущественно на исследование характеристик изучаемого объекта. Креативные имеют своей целью коллективную генерацию идей или выработку решения проблемы. Соответствующим образом классифицируют и экспертные группы:
- обсуждающие группы (основная цель работы аналитическая),
- созидательные группы (основная цель креативная).
