Оценка согласованности мнений экспертов

Цель работы: оценка согласованности мнений экспертов.

 

 

Теоретическая часть

 

Лицо, участвующее в экспертном анализе по оценке качества, называют экспертом.

Квалификационную оценку экспертов проводят по таким показателям, как компетентность, деловитость, объективность, психофизиологические возможности. Анкета самооценки компетентности эксперта приведена в таблице 1.

 

Таблица 1. Анкета самооценки компетентности эксперта.

 

Коэффициент значимости вопроса	Вопрос	Ответы и их оценки по категориям
1,0-0,9	0,8-0,6	0,5-0,3	0,2-0,1
0,8	Сколько лет Вы работаете в области квалиметрии?	Более 10	От 6 до 9	От 2 до 5	Менее 2
0,6	Сколько лет Вы работаете в области экспертного анализа?	Более 10	От 6 до 9	От 2 до 5	Менее 2
0,4	Ученая степень или ученое звание по научной специальности?	Доктор наук и (или) профессор	Доцент	Кандидат наук без ученого звания	Не имею степени
0,9	Какую научно-организационную работу Вы проводите в области квалиметрии?	Руководи-тель лаборато-рии	Руководитель темы	Исполни-тель темы	Не участвую
1,0	Участие в международ-ном сотрудничестве по проблемам экспертизы качества товаров	Число лекций за рубежом	Докладчик на международ-ных симпо-зиумах	Участник междуна-родных конференций	Не участвую
0,7	Участие в семинарах и конференциях по обсуждаемым проблемам	Регулярно, с докладами или организа-тор семинара	От случая к случаю с докла-дами	Изредка, участник	Не участво-вал
0,8	Публикации в области квалиметрии	Моногра-фии	Статья	Отчеты	Не имею

 

Достоверность результатов в экспертном анализе в значительной степени зависит от уровней конформности экспертов.

Конформность характеризует способность эксперта поступиться своим мнением в пользу другого эксперта или большинства. Понятие конформизм означает приспособленчество, пассивное принятие господствующих мнений. Различают четыре уровня конформности: низкий (эксперт не отказывается от своего мнения), средний (допускается от одной до трех уступок), значительный (четыре-пять уступок), высокий (шесть-восемь уступок). При формировании экспертных групп и дегустационных комиссий предпочтение отдают лицам с низкой и средней конформностью.

Соотносительную значимость качественных признаков эксперта оценивают следующим образом: психофизиологические возможности - 40%, объективность, воспроизводимость и конформность - 30%, компетентность - 20%, деловитость и другие признаки - 10%.

Показатель " воспроизводимость " характеризует способность эксперта восстанавливать в памяти оценки образцов аналогичного качества по истечении некоторого промежутка времени.

К другим специфическим особенностям можно отнести наблюдательность, склонность эксперта к завышению или занижению оценок по сравнению с большинством оценок.

Для получения суждений экспертов используют методы и процедуру опроса (табл. 2 и 3). Опрос экспертов состоит в получении от них количественных и качественных характеристик свойств продукции или услуг, а также другой информации, необходимой для оценки качества объектов.

 

Таблица 2.Методы опроса экспертов

 

Индивидуальные	Групповые
Очный	Заочный	Опрос с взаимодействием	Опрос без взаимодействия
Эксперт высказывает свои суждения	Эксперт заполняет карту опроса	Проводится обсуждение мнений экспертов	Мнения экспертов не обсуждаются

 

Эксперту в одном сеансе не рекомендуется ставить более семи вопросов. В каждом вопросе может быть сформулировано до трех (четырех) подвопросов. Одновременно с вопросами эксперту обычно предлагают варианты возможных ответов с числом альтернатив не более семи.

 

Таблица 3. Процедура опроса экспертов

 

Процедура опроса экспертов
Интервьюирование	Анкетирование	Смешанное анкетирование
Мнение эксперта выявляется в процессе беседы	Эксперт заполняет карту опроса или дегустационный лист, отвечая на вопросы	Интервьюирование + анкетирование

 

Карты, анкеты, дегустационные листы, разрабатываемые для опроса экспертов, должны содержать примерный перечень оцениваемых показателей и порядок их оценки, а также ориентировочные характеристики базовых значений показателей для каждого уровня градации оценочных шкал. Действующая нормативно-техническая документация на оцениваемую продукцию или услугу является обязательной основой при определении номенклатуры показателей, их базовых значений, коэффициентов весомости и градации уровней качества.

Практическая часть

По данным практической работы № 16 студенты оценивают степень согласованности мнений пяти экспертов.

 

Таблица 4. Степень согласованности мнений экспертов.

 

№ объекта экспертизы						Сумма рангов	Отклонение от среднего	Квадрат отклонения

 

а) оценивается среднеарифметическое число рангов;

б) вычисляется сумма квадратов отклонений от среднего;

в) определяется значение коэффициента конкордации, показывающее согласованность мнений экспертов:

 

где R – сумма квадратов отклонений как оценка рангов каждого объекта экспертизы от среднего значения; m – число экспертов; n – число объектов экспертизы.

Коэффициент конкордации изменяется в диапазоне 0 < W < 1; 0 – полная несогласованность, 1 - полное единодушие.

 

Выводы

На основании полученных результатов делаются выводы о степени достоверности экспертной оценки.

 

Контрольные вопросы

 

1. Что такое коэффициент конкордации?

2. Как производится экспертная оценка качества?

3. Что такое ранг объекта экспертизы?

Практическая работа № 14