С ростом числа экспертов в группе, точность измерения повышается.
Исходная численность экспертов группы составляет не менее 7 человек. Иногда она достигает 15 – 20 экспертов (массовый опрос проводится только при социологических исследованиях).
Способы проведения экспертизы:
К способам проведения экспертизы относятся: непосредственное измерение, ранжирование, сопоставление.
При непосредственных измерениях экспертным методом значение физических величин или показателей качества определяются сразу в установленных единицах (единицах СИ, баллах, мото – часах, и т.д.)
Такие измерения проводятся по шкале отношений, шкале интервалов или шкале порядка.
Непосредственное измерение экспертным методом является сложным и предъявляет к экспертам высокие требования.
Ранжирование состоит в расстановке объектов измерения или показателей в порядке их предпочтения по важности или весомости. Место, занятое при такой расстановке, называется рангом. Чем выше ранг, тем предпочтительней объект.
Попарное сопоставление – способ проведения экспертизы, когда измеряемые величины сравниваются между собой попарно и для каждой пары результаты сравнения выражаются в форме «больше – меньше» или «лучше – хуже». Затем измеряемые величины ранжируются (размещаются по рангам).
При экспертной оценки качества продукции или услуги основные операции выполняют в 4 этапа:
На первом этапе принимается решение о создании экспертной комиссии, ее цели, формирование цели оценок качества и рабочую группу.
На втором - определяется число экспертов, проводят их отбор и формируют экспертную группу.
На третьем – эксперты проводят оценочные операции, каждый из них готовит свое заключение.
На четвертом – отбираются и анализируются результаты работы и формируют обобщенное мнение экспертной комиссии.
2.4 Сравнение двух способов проведения аттестации ОАО “Ульянинский опытный мотороремонтный завод”
Определение коэффициента конкордации
Таблица 14 – Результаты экспертизы для определения меры согласованности мнений экспертов
| Объект экспертизы (подразделение) Кn - m | Оценка эксперта, I, баллы | Сумма рангов | Отклонение от среднего арифметического | Квадрат отклонений от среднего арифметического | ||||||||
| Служба стандартизации и метрологии | 12,8 | 163,84 | ||||||||||
| Служба технического контроля | 9,8 | 96,04 | ||||||||||
| Разборочно-моечное отделение | -3,2 | 10,24 | ||||||||||
| Дефектовка, входной контроль комплектующих изделий | -4,2 | 17,64 | ||||||||||
| Комплектовка | 4,8 | 23,04 | ||||||||||
| Участки ремонта и сборки | 6,8 | 46,24 | ||||||||||
| Цех восстановления | -4,2 | 17,64 | ||||||||||
| Состояние и использо-вание металлообраба-тывающего и ремонтно-обслуживающего оборудования. Метроло-гическое обеспечение. | 4,8 | 23,04 | ||||||||||
| Участок обкатки и испытаний | -6,2 | 38,44 | ||||||||||
| Участок окраски | -7,2 | 51,84 | ||||||||||
| Участок ремфонда и готовой продукции, их хранение | 1,8 | 3,24 | ||||||||||
| Экологическая безопасность, техника безопасности | 8,2 | 67,24 | ||||||||||
| ∑= =743 | ∑= =558,48 |
Подразделения ОАО «Ульяновский мотороремонтный завод» и результаты экспертизы приведены в таблице 14.
Определяем среднее арифметическое рангов:
σ = (74+72+58+57+66+68+57+66+55+54+63+53)/12 = 61,2
Рассчитаем коэффициент конкордации (W):
W = 12* S/ (n²*(m³ - m)*t),
где t – коэффициент, учитывающий число объектов экспертизы и количество экспертов; 0,06.
W = 12*558,48/(81*(1728 – 12)*0,06) = 0,803
Вывод: Степень согласованности экспертов высокая.
После предварительного совещания происходит голосование.
Результаты голосования экспертов представлено в таблице 15.
Таблица 15 – Голосование экспертов
| Варианты решения | Эксперты | Итого | ||||||||
| «за» | - | + | - | + | + | - | - | + | + | |
| «против» | + | - | + | - | - | + | + | - | - |
Решение считается принятым, если 2/3 проголосовали «за»
Исходя из формул:
N = N(+)+N(-)
β= N(+)/N≥βкрит,
где N – общее количество экспертов,
N(+) – количество экспертов проголосовавших «за»
N(-) – количество экспертов проголосовавших «против»
β – коэффициент принятия решений
βкрит – критическое значение.
Критическое значение рассчитывается по эмпирической зависимости:
β крит = 2/3 = 0,67
Если β≥βкрит, то выносится положительное решение
Ситуация 1
β = 5/9 = 0,55 < β Крит = 0,67.
Поскольку условие не выполняется, то принимается отрицательное решение.
Вывод: ОАО “Ульянинский опытный мотороремонтный завод ” не прошел аттестации и его деятельность должна быть приостановлена.
Ситуация 2
Оценку ОАО “Ульянинский опытный мотороремонтный завод ” проводят 9 экспертов. Все эксперты обладают различной степенью компетентности в вопросах оценки качества работы подразделений данного завода.
Рассмотрим ту же ситуацию, но с использованием средневзвешенного показателя и степени компетентности.
Таблица 16 – Таблица степени компетентности экспертов
| Эксперты,i | Степень компетентности экспертов, Рiком | Приведенная степень компетентности Рпрiком | Вариант голосования |
| 0,68 | 0,09 | - | |
| 0,87 | 0,12 | + | |
| 0,73 | 0,10 | - | |
| 0,89 | 0,12 | + | |
| 0,95 | 0,13 | + | |
| 0,70 | 0,09 | - | |
| 0,90 | 0,12 | - | |
| 0,85 | 0,11 | + | |
| 0,88 | 0,12 | + | |
| ∑ | 7,49 |
Таблица рассчитывается по формулам:
Рпрiком = Рiком /Рпрiком
∑ = Рпрiком = 1
β =∑+ Рпрiком,
где Рiком – степень компетентности i-го эксперта;
Рпрiком – приведенная степень компетентности.
β = 0,12+0,12+0,13+0,11+0,12=0,60
В данной ситуации условие вновь не выполняется, соответственно принимается отрицательное решение, так как проголосовавшие «ЗА» эксперты не обладают достаточной степенью компетентности, чтобы в итоге было принято противоположное решение.
Хотя в первой ситуации, эксперты, проголосовавшие “ЗА”, превосходили тех, кто проголосовал “ПРОТИВ”, все же коэффициент принятия решения был меньше критического, и решение об аттестации было отрицательное.
Вывод: ОАО “Ульянинский опытный мотороремонтный завод ” не прошел аттестации. Однако в учебных целях будем считать, что завод аттестацию прошел.
Заключение
В данном разделе была рассмотрен экспертный метод оценки соответствия сертифицированной услуги (аттестации сертифицированной услуги) требованиям стандартов и других НТД. Основываясь на произведенных расчетах, экспертной комиссией было принято отрицательное решение по вопросу аттестации ОАО «Ульянинский опытный мотороремонтный завод».
