При анализе мнений экспертов применяют самые разнообразные статистические методы. Основной целью обработки экспертных оценок является проверка их согласованности (или классификация экспертов, если нет согласованности) и усреднение мнений экспертов внутри согласованной группы (оценка обобщенного мнения экспертной группы).
Ясно, что мнения экспертов различаются. Если разброс мнений экспертов велик, то усреднение сводится к формальной процедуре. В этом случае естественно разбить экспертов на группы сходных по мнению. Это можно сделать различными методами статистики объектов нечисловой природы, относящимися к кластер-анализу.
Если это различие мало, то усреднение мнений экспертов позволит выделить то общее, что есть у всех экспертов, отбросив случайные отклонения в ту или иную сторону.
Оценка согласованности мнений экспертов. В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны. Величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.
Наиболее простой характеристикой меры разброса экспертных оценок является вариационный размах или размах распределения (R), который характеризует абсолютную разницу между максимальным и минимальным значениями признака (в данном случае оценки эксперта) в изучаемой совокупности:
R = xmax - xmin,
где xmax - максимальная оценка объекта экспертами; xmin - минимальная оценка объекта.
Среднеквадратическое отклонение σ характеризует степень отклонения оценок от среднего значения, особенности его расчета приведены в курсе статистики.
Коэффициент вариации (V) используют для сравнения рассеивания двух и более признаков, имеющих различные единицы измерения. Коэффициент вариации представляет собой относительную меру рассеивания, выраженную в процентах. Он вычисляется по формуле:
V = 
* 100%
Для оценки степени согласованности мнений экспертов помимо характеристик разброса используются показатели их взаимосвязи.
Рассмотрим подходы к проверке согласованности, используемые при оценке результатов ранжировки. Предположим, что мнения двух экспертов выражены в виде ранжировки n объектов. Каждый эксперт располагает объекты в порядке возрастания (или убывания) некоторого признака X = (
, 
,…, 
) и нужно оценить тесноту связи между оценками двух экспертов. Взаимосвязь между двумя переменными в статистике оценивается с помощью коэффициента корреляции. Применительно к ранжировке оценки согласованности должны обладать теми же свойствами, что и коэффициенты корреляции:
· если ранжированные ряды по обеим оценкам совпадают, то коэффициент ранговой корреляции должен быть равен +1, что означает полную положительную связь;
· если объекты в одном ряду расположены в обратном порядке по сравнению со вторым, коэффициент равен -1, что означает полную отрицательную корреляцию;
· в остальных ситуациях значения коэффициента лежит в интервале [-1,1]; возрастание значения коэффициента от 0 до +1 характеризует увеличение соответствия между двумя ранжированными рядами и наоборот.
Для оценки взаимосвязи экспертных оценок наиболее часто используются коэффициенты ранговой корреляции Кендалла и Спирмена.
Вычисление коэффициентов согласованности предложенными выше методами весьма трудоемко, т.к. предполагает расчет коэффициентов для всех возможных пар экспертов. Поэтому, когда необходимо определить согласованность в ранжировках большого (более двух) числа экспертов, рассчитывается так называемый коэффициент конкордации (согласованности) – общий коэффициент ранговой корреляции для группы, состоящей из m экспертов.
Наиболее известным является коэффициент конкордации М. Кендалла. Предположим, каждый из n членов экспертной группы должен ранжировать m объектов в порядке предпочтения, где лучшему варианту присваивается значение 1, следующему 2 и т д. Полученную ранжировку можно представить в виде матрицы Х, состоящую из элементов 
, являющихся рангом данным i-м экспертом j-му объекту. Коэффициент конкордации Кендалла W определяется по формуле:
W = 
где S – сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего мнения, которое равно 
.
Коэффициент W изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее согласованными являются оценки экспертов.
Проверку значимости полученного коэффициента W можно выполнить с помощью критерия 
. Расчетное значение 
определяется по формуле
= m*(n-1)*W
По таблице – распределения для (n-1) степеней свободы при уровне значимости α = 0.05 находим 
и сравниваем с расчетным значением 
. Если табличное значение выше расчетного, то нулевую гипотезу 
: W=0 нет оснований отклонять и показатель степени согласованности W, полученный в ходе эксперимента, можно считать низким.
Обобщение мнений экспертов. Оценка группового мнения. После оценки согласованности мнений экспертов приступают к определению групповой (усредненной) оценки. Поиск такой оценки имеет смысл только в случае достаточно высокой степени согласованности мнений экспертов в группе.
При слабой согласованности мнений следует провести содержательный анализ причин расхождения. Возможно, придется выделить экспертов с резко отличающимися оценками или разделить экспертную группу на подгруппы со схожими оценками. Затем внутри каждой подгруппы искать «среднюю» ранжировку. Это можно сделать различными методами статистики объектов нечисловой природы, относящимися к кластер-анализу, предварительно введя метрику в пространство мнений экспертов.
Один из наиболее простых подходов к определению группового мнения экспертов основан на усреднении соответствующих оценок (балльных, точечных, числовых) и построении обобщенной ранжировки объектов на основе их средних значений.
Метод средних арифметических рангов. Этот метод сводится к подсчету среднего арифметического значения - подсчитывается сумма рангов, присвоенных экспертами каждому объекту, и делится на число экспертов. По средним рангам строится итоговая ранжировка (упорядочение), исходя из принципа - чем меньше средний ранг, тем выше оценка объекта.
Метод медиан рангов. Как уже отмечалось, для порядковой шкалы неправомерно использовать показатель арифметических средних. В этом случае задача состоит в том, чтобы найти медианы индивидуальных оценок экспертов. Для этого нужно получить ответы экспертов и расположить их в порядке возрастания рангов по объектам. В случае равноценности элементов, им присваивается средний ранг. Сумма рангов должна быть равна сумме порядковых номеров элементов в ранжировке.
Медиана - это значение признака, которое разделяет ранжированный ряд распределения на две равные части — со значениями признака меньше медианы и со значениями признака больше медианы. Другими словами, для нахождения медианы, нужно отыскать значение признака, которое находится в середине упорядоченного ряда признака и которое разделяет ранжированный ряд распределения на две равные части. Если число членов ряда нечетное, то медиана определяется значением признака, находящимся в середине ряда. Если ряд состоит из четного число членов, то медиана определяется как среднее двух центральных значений. Достоинством расчета среднего значения методом медианы является то, что сумма абсолютных отклонений рангов от медианы представляет собой минимальную величину по сравнению с отклонением от любой другой величины.
Усредненное (групповое) мнение экспертов по объектам в данном случае формируется из значений медиан по каждому объекту.
Специалисты отмечают, что бывает целесообразно использовать одновременно оба метода – и метод средних арифметических рангов и метод медианных рангов. Такой подход отвечает требованиям устойчивости, согласно которому рекомендуется использовать различные методы для обработки одних и тех же данных. Это делается с целью выделить сходные выводы, получаемые одновременно при всех методах. Есть основания считать, что такие выводы более соответствуют реальной действительности, чем заключения, меняющиеся от метода к методу. Последнее может свидетельствовать о том, что результаты во многом зависят от субъективизма исследователя, выбирающего метод обработки исходных экспертных оценок.
Другой, более сложный подход к решению задачи построения обобщенного мнения экспертов состоит в том, чтобы групповой считать ранжировку, наиболее тесно коррелированную со всеми ранжировками, данными n экспертами. Такой способ имеет смысл применять только в случае высокой согласованности мнений отдельных экспертов.
Медиана Кемени. Наиболее корректным (но и наиболее трудоемким) методом расчета усредненного мнения экспертов считается метод "медианы Кемени" (по имени американского математика и экономиста Дж.Кемени, лауреата Нобелевской премии). Согласно идее Кемени для нахождения медианы, прежде всего, нужно задать способ определения расстояния между ранжировками. После этого среднее мнение следует искать как решение оптимизационной задачи. А именно, построить такую ранжировку, суммарное расстояние от которой до всех заданных экспертных ранжировок было бы минимально. Найденное таким способом среднее мнение называют "медианой Кемени".
Алгоритм проведения анализа экспертных оценок с использованием медианы Кемени включает три этапа.
На первом этапе эксперты проводят сравнение объектов попарно, составляя p квадратных матриц (по количеству экспертов) порядка k × k, где k определяется числом сравниваемых объектов.
На втором этапе определяются бинарные отношения между всеми одинаковыми элементами p квадратных матриц, разности которых берутся по модулю, после чего все они суммируются.
На третьем этапе рассчитываются суммы расстояний между мнениями экспертов, минимальная из которых является медианой Кемени.
В конкретных пространствах нечисловых мнений экспертов вычисление медианы Кемени может быть достаточно сложным делом.
Используя значения усредненных экспертных оценок, можно сделать определенные выводы о компетентности каждого эксперта. Приведем общие соображения такого подхода. Статистическая характеристика компетентности эксперта строится на следующих предпосылках. Первоначально степень компетентности экспертов предполагается одинаковой. В результате проведенной экспертами работы, получают усредненную оценку каждого объекта, например, в баллах. Естественно считать наиболее компетентным эксперта, давшего объектам самые близкие к усредненным баллам оценки. Вторым по степени компетентности будет эксперт, давший баллы, наиболее близкие к усредненным, среди оставшихся экспертов и т.д.
