Проверка на субъективность

Как отмечалось ранее и что очевидно из метода ранжирования и метода системы баллов, в анализе может присутствовать значительная степень субъективности, как при выборе параметров, так и в оценках. К счастью, имеется ряд статистических методов для проверки степени субъективности анализа. Их можно применить для оценки выбора параметров, проставленных весовых коэффициентов или и того, и другого. Ниже приводятся в качестве иллюстрации два самых простых способа.

Следует подчеркнуть, что для достижения максимальной объективности эксперты, проводящие оценку технологий, выбирающие параметры и присваивающие им весовые коэффициенты, равно как и в случае использования балльную систему, должны быть разными людьми. Выбор параметров и их взвешивание должны выполнять старшие менеджеры или группы специалистов, имеющие опыт в технических и экономических аспектах технологии. Это устранит один из нескольких субъективных факторов, присущих данным видам анализа.

Проверка коэффициента корреляции рангов по методу Спирмена

В верхнем сегменте таблицы 6 показано ранжирование пяти технологий, от А до Д, двумя экспертами-оценщиками: Р и Q. Сходимость процесса оценки может быть проверена коэффициентом корреляции рангов Спирмена, R:

6(? D_i²)

R = -----------------------

1 – N³ – N

Где D_i – разность рангов и N – количество ранжируемых технологий. Коэффициент корреляции равен 1, когда ранжирование идентичное и -1, когда оно противоположное. Результаты содержаться в нижней части таблицы 6:

Таблица 6. Проверка коэффициента корреляции рангов по методу Спирмена: слабая корреляция

	Технология
A	Б	В	Г	Д
Ранжирование экспертом P
Ранжирование экспертом Q
Разность рангов (D)			-3
Di2
Коэффициент корреляции рангов (R) =? Di2? 12 = 0.40

В то время как представленные ранги не являются диаметрально противоположными друг другу, уровень их корреляции относительно низок для выбора какой-то отдельной технологии. А вот если ранжирование будет такой, как показанное в таблице 7, корреляция уже будет более приемлемой.

 

Таблица 7. Проверка коэффициента корреляции рангов по методу Спирмена: более сильная корреляция

	Технологии
A	Б	В	Г	Д
Ранжирование экспертом P
Ранжирование экспертом Q
Разность рангов (D)		-1	-1
Di2
Коэффициент корреляции рангов (R) =? Di2? 4 = 0.80

Предположим, что те лица, которые выбрали параметры, опирались на компетентных советчиков. Однако, низкие степени корреляции указывают на то, что параметры оценки должны быть определены более точно, хотя это и не всегда возможно. Коэффициент Спермана ограничен проверкой выводов только по двум параметрам. Поэтому, за исключением случаев, когда корреляция очень высокая, ранжирование технологии не может быть произведено правильно. Однако можно использовать третьего оценивающего и затем сравнить парные результаты (А-Б, Б-В, В-А и т. д.), чтобы убедиться, что два оценивающих ранжировали технологии с высокой степенью корреляции. Однако может быть лучше использование следующего подхода.

Проверка коэффициента согласованности (конкордации)

Когда при выборе технологии имеется более двух оценивающих, для проверки выбора более полезен метод рассчета коэффициента согласованности. Коэффициент согласованности, W, выражается следующим соотношением:

12 x S

W = ---------------

M² (n³ – n)

Где m – число оценивающих, n = количество оцениваемых технологий и S = сумма квадрата разности между наблюдаемым общим рангом и ожидаемым общим результатом по нулевой гипотезе. W колеблется от 0 для произвольной оценки до 1,0 при абсолютном уровне согласования.

В таблице 8 технологии от А до Д ранжированы шестью экспертами-оценщиками. Результат дает высокую согласованность (0,95). Следовательно ранжированные общие суммы баллов могут рассматриваться как результат справедливого ранжирования технологий по этим параметрам.

Таблица 8.