Оценка степени согласованности экспертов

Термин «эксперт» происходит от латинского слова означающего «опытный». При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным. Все множество проблем, решаемых методами экспертных оценок, делится на два класса. К первому классу относятся такие проблемы, в отношении которых имеется достаточное обеспечение информацией. При этом методы опроса и обработки основываются на использовании принципа «хорошего измерителя», т. е. эксперт — качественный источник информации; групповое мнение экспертов близко к истинному решению. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости указанных гипотез недостаточно. В этом случае экспертов уже нельзя рассматривать как «хороших измерителей» и необходимо осторожно подходить к обработке результатов экспертизы во избежание больших ошибок. В литературе в основном рассматриваются вопросы экспертного оценивания для решения задач первого класса.

При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется дисперсионный коэффициент конкордации. Рассмотрим матрицу результатов ранжировки n объектов группой из s экспертов X = S-ым экспертом i-му мероприятию. Тогда дисперсионный коэффициент конкордации определяется по формуле:

,

где m — количество экспертов;

n — количество рассматриваемых свойств,

r_ij — место, которое заняло i-е свойство в ранжировке j-м экспертом;

d_i — отклонение суммы рангов по i-му свойству от среднего арифметического сумм рангов по n свойствам.

Коэффициент конкордации W позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах 0 W 1; W=0 означает полную противоположность, а W= 1 - полное совпадение ранжирования. Практически достоверность считается хорошей, если W [0,7;0,8].

Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием следующих причин: в рассматриваемой совокупности экспертов действительно отсутствует общность мнений; внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.

Для наглядности представления о степени согласованности мнений двух любых экспертов А и В служит коэффициент парной ранговой корреляции:

— разность (по модулю) величин рангов оценок i-го свойства, назначенных экспертами А и B:

—показатели связанных рангов оценок экспертов А и В.

Коэффициент парной ранговой корреляции принимает значения -1 ρ 1. Значение ρ = +1 соответствует полному совпадению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов),а ρ = -1 соответствует двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого).

Пример. Реализация метода нестрогой ранжировки для 8 критериев, оцениваемых двумя экспертами. Эксперты определили следующую расстановку номеров критериев в соответствии с их полезностью:

1: 1, (2, 3, 4), 5, (6, 7), 8. 2: 5, 2, (1, 4), 8, 7, (3, 6).

Здесь в скобки объединены неразличимые критерии (имеющие одинаковую полезность). Сопоставим каждому экспертному набору набор оценок с учетом занятых порядковых номеров:

1: 1, 3,3, 3,5, 6.5,6.5,8. 2: 1,2, 3.5, 3.5,5,6,7.5,7.5.

Далее, переупорядочим полученные наборы в порядке возрастания номеров соответствующих критериев, получим С_jk:

1: 1, 3, 3, 3, 5, 6.5, 6.5, 8. 2: 3.5, 2, 7.5, 3.5, 1, 7.5, 6, 5.

Вычислим экспертные оценки критериев: