Тема 4. Проведение экспертной оценки

 

Применение эвристических методов измерений для качественной оценки продукта имеет особенности. Считается, что группа из 7 экспертов (квалифицированных специалистов) является достаточной для обеспечения надежности экспертизы.

Каждый из экспертов независимо оценивает объекты (например, швейные изделия) по заранее определенному перечню технических параметров, а так же определяет весомость каждого параметра. Перечень параметров для одежды составляется на основе анализа потребительских предпочтений. Оценка изделий по каждому параметру может производиться, например по 5-ти бальной системе, а оценка весомости показателей ранжируется в баллах от 1 до n, где n- количество оцениваемых показателей.

Каждому параметру, указанному в анкете, присваивается порядковый номер х₁,х₂,х₃…х_n. Сумма ранговых оценок каждого эксперта должна быть одинаковой и рассчитывается по формуле

_n

å Rij = (х₁+х₂+….х_n) = 0.5n (n+1), (7)

^j=1

где i – номер эксперта, i = 1…..m;

j – номер параметра, j = 1….n.

Сумма ранговых оценок для каждого параметра определяется по формуле

_m

Sj = å Rij (8)

ⁱ⁼¹

Коэффициент значимости для каждого параметра определяется по формуле

_n

Yj = mn – Sj / mn² - må Rij (9)

^j=1

Относительная весомость параметров

 

Qj = Yj/Y_max, (10)

 

где Y_max – максимальный из коэффициентов значимости.

 

Степень согласованности экспертов в оценке изделий можно определить с помощью коэффициента конкордации Кенделя, который рассчитывается по формуле

_{n -}

å(Sj – S)²

^j=1

W= ¾¾¾¾, (11)

m² (n³-n)/12

_-

где S – средняя сумма рангов для всех параметров

- _n

S = 1/n å Sj = 0.5 m (n+1) (12)

^j=1

 

Для оценки значимости коэффициента согласия находят критерий Пирсона

 

c² = Wm (n-1) (13)

 

Критерий Пирсона сопоставляют с табличным значением c² (приложение В) при степени свободы s= (n-1). Если c²>c²_табл., то существует неслучайная согласованность в мнениях экспертов и определение коэффициента весомости произведено верно.

Зная весомость параметров в дальнейшем можно получить комплексный (групповой) показатель для оценки изделий. Для этого каждый эксперт проводит оценку изделия по выбранным параметрам в баллах, затем каждый параметр оценивается единичным показателем, а комплексный или групповой показатель G определяется по формуле

_n

G = åqjQj, (14)

^j=1

 

где n – общее число параметров;

qj – единичный показатель по j-му параметру;

Qj – удельный вес j-го параметра (относительная весомость)

 

Изделие, имеющее больший групповой (комплексный) показатель считается более качественным. Такой метод позволяет определять, например, конкурентоспособность проектируемой продукции и другие качественные показатели.

 

Пример. Составлена анкета, в которой 7-ми экспертам предстоит определить значимость 10 –ти параметров для качественной оценки швейных изделий. При этом параметры следующие: х₁- посадка изделия, х₂- удобство в движении,…..х₁₀- цвет изделия. Для определения весомости этих параметров составляется таблица 2.

 

Таблица 2 – Определение степени согласованности экспертов и весомости выбранных параметров

 

Шифр экспер та	Ранговые оценки показателей	n åRij j=1
Х1	Х2	Х3	Х4	Х5	Х6	Х7	Х8	Х9	Х10
Sj
Yj	0.155	0.108	0.076	0.038	0.146	0.098	0.092	0.140	0.060	0.086	0.999
Qj	1.000	0.697	0.490	0.245	0.942	0.632	0.594	0.903	0.387	0.555
- (Sj-S)2	306.3	6.3	56.3	380.3	210.3	0.3	6.3	156.3	156.3	20.3

7 х 10 - 21

Пример расчета: Y х₁= ¾¾¾¾¾¾ = 0.155;

7 х 10² – 7 х 55

0.155 0.108

Qх₁ = ¾¾¾ = 1.0; Qх₂ = ¾¾¾ = 0.697;

0.155 0.155

_{- -}

S = 0.5 х 7 (10 + 1) = 38.5; (Sх₁ – S)² = (21 – 38.5)² = 306.3;

 

1299 1299

W = ¾¾¾¾¾¾¾¾ = ¾¾¾ = 0.321;

1/12 х 7² (10³ – 10) 4042.5

 

c² = 0.321 х 7 (10 – 1) = 20.2

 

Сравнивая полученное значение критерия c² с табличным [4] видим, что при числе степеней свободы S = (n-1) = 9, полученное значение c² = 20.2 > c²_табл.= 19.0 при уровне значимости a = 0.025, что удовлетворяет эксперименту (на практике 0.01 <a<0.05). При этом уровень значимости a - это вероятность, с которой (в конкретной задаче) событие можно считать практически невозможным. Если полученное значение критерия c² <c²_табл., то состав экспертной комиссии следует изменить, т.к. их действия не согласованы.

После установления степени согласованности экспертов и весомости параметров сопоставляются результаты оценок экспертами нескольких изделий по выбранным параметрам. Каждый показатель оценивается, например, от 1 до 5 баллов, где 5 баллов – наивысшая оценка (таблица 3).

 

Таблица3 – Определение единичных и комплексного показателей качества трех швейных изделий экспертной комиссией

 

Пара метр	Коэффи- циент ве- сомости параметра, Qj	Единичный показатель по изделиям, балл	Средняя оценка по изделиям, балл	Единичный по -казатель с учетом коэффициента весомости, балл
Х1	1.0						4.3
Х2	0.697				4.8		4.6	23.7	24.4	22.3
Х3	0.490					4.4	4.7	17.2	15.2	16.2
Х4	0.245				4.4	4.2		7.6	7.3	8.5
Х5	0.942				4.9			32.0	32.9	32.9
Х6	0.632							22.1	22.1	22.1
Х7	0.594				3.7	3.9	3.4	15.4	16.0	14.3
Х8	0.903				4.3	4.3	3.7	27.1	27.9	23.5
Х9	0.387				4.3	4.3		11.6	11.6	13.5
Х10	0.555				4.3	4.3	4.3	16.7	16.7	16.7
		Итого, балл	Средний балл	Комплексный показатель, G, балл
320	319	315	4.6	4.5	4.5	208.4	209.1

 

Из данных таблицы 3 видно, что наилучшим качеством по мнению экспертной комиссии обладает изделие № 2 (наивысшее значение G).