Практическая работа № 1
ЭКСПЕРТНЫЕ МЕТОДЫ
ОЦЕНКИ КАЧЕСТВА ПРОДУКЦИИ
Тема работы: оценка показателей качества продукции с применением методов экспертных оценок.
Цель работы: ознакомиться с методом экспертных оценок, оценить согласованность мнений экспертов при определении значимых показателей качества.
В настоящее время значение величины технологических и качественных показателей швейных изделий могут быть определены методами технических и эвристических (эвристика – система логических приемов и методических правил теоретического исследования) измерений. Оба эти метода нашли широкое применение при разработке новых материалов, конструкций, технологических решений в швейной промышленности.
Определяющими факторами при выборе метода измерения являются количество и достоверность информации об объекте, а также простота, надежность и доступность самого метода.
Методы измерения при оценке
Технологических и качественных показателей
Швейной промышленности
Технические методы измерения дают достаточно надежную и наиболее объективную оценку измеряемой величины. Технические методы основаны на применении соответствующих преобразователей, усилителей, приборов и других измерительных средств. При этом используются как гостированные методики, стандартное оборудование, технические условия, так и специально разработанные. Технические методы измерения включают экспериментальный и расчетный методы.
Экспериментальный метод заключается в том, что с помощью технических измерительных средств или на основе подсчета количества событий, полученных с помощью показывающих и регистрирующих приборов, может быть установлена количественная величина показателя.
Экспериментальный измерительный метод предполагает нахождение численных значений показателей, которые, как правило, регламентируются стандартом на оценку текстильных материалов. К ним относятся, например, разрывная нагрузка, определение массы, стойкости к истиранию и т. д.
Экспериментальный регистрационный метод предусматривает подсчет количества событий или объектов без применения регистрационных средств, а также с их использованием. Этот метод применяется для подсчета частоты стежков, числа унифицированных деталей в конструкции и т. д.
При использовании расчетных методов значения искомой величины определяют путем вычисления, используя значения параметров, найденные другими способами. При этом используются как теоретические, так и эмпирические зависимости определяемых показателей.
Эвристические методы измерения используются в тех случаях, когда невозможно получить значения того или иного показателя с помощью измерительных средств. Этими методами в основном определяются эмоциональные и эргономические показатели.
К эвристическим методам относятся органолептический, социологический и экспертный.
Органолептический метод базируется на анализе показателей, производимом с помощью органов чувств (зрения, слуха, обоняния, осязания, вкуса). Органы чувств выполняют роль датчиков того или иного показателя, а оценка продукции производится путем анализа этих ощущений на основе прошлого опыта.
В швейной промышленности органолептический метод используется для оценки показателей качества посадки одежды на фигуре человека, соответствия членений костюма основным направлениям моды, при оценке показателей эргономических свойств и т. д. Точность и достоверность органолептических методов зависит от накопленного опыта, квалификации и способностей специалистов, производящих оценку. Система оценки – балльная. Балл – условная единица, характеризующая положительные свойства изделия.
Социологический метод предусматривает сбор и анализ мнений фактических или возможных потребителей швейной продукции. Сбор мнений производится путем распространения специальных анкет в организациях, заинтересованных в потреблении той или иной швейной продукции. Достоверность социологического метода зависит от четкости и полноты вопросов, поставленных в анкете, успешного и правильного опроса, четкости плана работы на каждом этапе опроса. Громоздкие анкеты с большим количеством вопросов, как правило, не используются для опроса в магазинах, выставках и т. д. Количество вопросов в таких анкетах желательно иметь не более 5 … 7, это позволяет охватить большой контингент опрашиваемых и быстрее обработать полученные данные.
Экспертные методы связаны с измерением свойств продукции, не имеющих числового выражения (например, эстетичность, художественно-колористическое оформление, товарный вид изделия и т. д.). В его основе лежит анализ мнений специалистов-экспертов. Объективность экспертной оценки, ее точность и надежность зависят, главным образом, от состава экспертной комиссии и квалификации экспертов.
Общие сведения о методах экспертных оценок (МЭО)
Методы экспертных оценок (МЭО) специальные процедуры, логические приемы и математические методы, применяемые для сбора, обобщения и анализа информации, полученной от специалистов.
Существует две группы экспертных оценок:
1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
2. Коллективные оценки основаны на использовании коллективного мнения экспертов.
- Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
- Парное сравнение — это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
- Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.
Для этой цели разрабатывают шкалу, с помощью которой анализируемые экспертом понятия переводят в цифры. Различают несколько видов шкал: шкала наименований, частично упорядоченная шкала, шкала порядка, шкала интервалов и шкала отношений. При обработке материалов опроса шкала порядка является самой простой и надежной.
Шкала порядка – полностью упорядоченная шкала, в которой установлены соотношения между всеми объектами. Объекты располагаются в порядке убывания их влияния. Операция расположения их в данном порядке называется ранжированием, а полученный ряд – ранжированным рядом. Шкала легко поддается математической обработке (вычисление коэффициентов корреляции).
Не менее важными, чем выбор шкалы оценок, являются вопросы формирования экспертной группы, основные из которых – оценка компетентности и выбор необходимого числа экспертов.
Компетентность экспертов оценивается по отклонению оценки эксперта от средней оценки группы. Для этого выполняют следующее:
– определяют среднее мнение экспертной комиссии, выводят средний балл;
– каждому эксперту присваивают место в порядке убывания компетентности (чем ближе к среднему, тем ниже балл);
– по полученным значениям мест рассчитывают ранги 
(j = 1,2,..., п – номер эксперта);
– пропорционально рангам определяют весомость мест экспертов (компетентность) 
так, чтобы 
– итоговую оценку комиссия определяет с учетом компетентности экспертов
. (1.1)
Численность экспертной группы зависит, прежде всего, от метода оценки качества продукции. Вероятность принятия правильного решения возрастает с ростом числа экспертов. Рекомендуется иметь в составе экспертной группы не менее 7–10 человек.
Наиболее распространенным методом выявления мнений экспертов является анкетный опрос. На вопросы анкеты могут отвечать и изготовители продукции, и ученые, и потребители, что определяется целью опроса. Лиц, отвечающих на вопросы анкеты, называют респондентами. При подготовке опроса создается рабочая группа, в которую входят специалисты. Рабочая группа проводит выбор респондентов, разрабатывает сопроводительные документы и форму анкеты. После ранжирования свойств (факторов) оценивают важность факторов и согласованность мнений респондентов.
Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. Полученные данные обрабатывают с помощью априорного ранжирования, основанного на методах ранговой корреляции.
aij – оценка признака экспертом.
n – количество признаков,
m – количество экспертов.
Затем, подсчитывается Si – среднее значение важности признака.
Метод задания весовых коэффициентов (aij)
Всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
1. Наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.
Метод последовательных сравнений заключается в следующем:
Эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
1. Присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
2. Сравнивает значение первого признака с суммой всех последующих.
В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером nxn, где n – количество сравниваемых объектов.
При сравнении объектов матрица заполняется элементами aij следующим образом (может быть предложена и иная схема заполнения):
· 2, если объект i предпочтительнее объекта j (i > j),
· 1, если установлено равенство объектов (i = j),
· 0, если объект j предпочтительнее объекта i (i < j).
Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.
Пример ранжировки операций приведен в табл. 1.1.
Эксперт приписывает каждому из признаков числа-ранги. Наиболее важную операцию обозначают рангом 
, а наименее значимую рангом 
, где 
– число обсуждаемых операций
Таблица 1.1 - Ранжировка операций
| Операции | ||||||
| Ранги |
Если эксперт считает несколько операций равноценными по значимости, и присваивает им одинаковые оценки, необходимо определить нормальную ранжировку операций. Сумма одинаковых оценок должна быть равна сумме мест при их последовательном расположении. Тогда операциям 2 и 5, поделившим между собой второе и третье места, присваивают ранг 
, а операциям 3, 4, 6, поделившим четвертое, пятое и шестое места, приписывают ранг 
. В итоге получают нормальную ранжировку (табл. 1.2).
Таблица 1.2 - Нормальная ранжировка операций
| Операции | ||||||
| Ранги | 2,5 | 2,5 |
Использование метода экспертных оценок проиллюстрируем на примере выявления значимых факторов, определяющих качество посадки женского жакета.
На основе анализа литературы составлен предварительный перечень факторов, определяющих качество посадки женского жакета:
Х1 – правильность положения края полы изделия;
Х2 – правильность положения воротника;
Х3 – правильность положения боковых швов;
Х4 – правильность положения рукава;
Х5 – правильность положения низа изделия;
Х6 – отсутствие горизонтальных складок в верхней части спинки;
Х7 – отсутствие наклонных складок на спине, идущих от боковых швов или проймы.
Проведение серии экспериментов с целью выявления влияния каждого из 7 факторов на качество посадки жакета нереально, поскольку потребует большого расхода материалов на изготовление образцов и длительности процесса исследования, поэтому такую задачу целесообразно решать экспертным методом путем предварительного отсеивания числа факторов с использованием априорного ранжирования.
Восьми специалистам (
) было предложено ответить на вопросы анкеты с целью оценки степени влияния каждого фактора на качество посадки женского жакета (табл. 1.3).
В качестве примера в табл. 1.4 приведена анкета, заполненная одним из восьми экспертов.
Оценки, проставленные экспертами каждому фактору, приведены в табл. 1.5. В результате ранжирования полученных данных составлена табл. 1.6.
АНКЕТА
Дата ____________________
Ф. И. О. _________________
Место работы ____________
Должность ______________
Стаж работы_____________
Просим оценить каждый из перечисленных факторов, определяющих качество посадки одежды путем присвоения им рангов (мест) с 1 по 7 по степени убывания значимости, например ранг 1, 2 и т. д. присваивают самым значимым факторам, по которым проявление дефектов, ухудшающих качество, крайне нежелательно.
Таблица 1.3 - Распределение мнений специалистов о важности признаков,
характеризующих качество посадки женского жакета
| Индекс фактора | Внешнее проявление | Оценка |
| Х1 | Правильность положения края полы изделия; | |
| Х2 | Правильность положения воротника; | |
| Х3 | Правильность положения боковых швов; | |
| Х4 | Правильность положения рукава; | |
| Х5 | Правильность положения низа изделия; | |
| Х6 | Отсутствие горизонтальных складок в верхней части спинки; | |
| Х7 | Отсутствие наклонных складок на спине, идущих от боковых швов или проймы. |
Таблица 1.4 - Ответы специалиста на вопросы анкеты о важности признаков, характеризующих качество посадки женского жакета
| Индекс фактора | Внешнее проявление | Оценка |
| Х1 | Правильность положения края полы изделия; | |
| Х2 | правильность положения воротника; | |
| Х3 | Правильность положения боковых швов; | |
| Х4 | Правильность положения рукава; | |
| Х5 | Правильность положения низа изделия; | |
| Х6 | Отсутствие горизонтальных складок в верхней части спинки; | |
| Х7 | Отсутствие наклонных складок на спине, идущих от боковых швов или проймы. |
Таблица 1.5 - Сводная таблица результатов опроса
| Экспер-ты, m | Факторы, n | Число одинаковых рангов, tj | ||||||
| 2,2 | ||||||||
| 2,2 | ||||||||
Таблица 1.6 - Нормализованная матрица ранжирования
| Эксперты, m | Факторы, n | 
| ||||||
| 2,5 | 2,5 | |||||||
| 2,5 | 2,5 | 4,5 | 4,5 | |||||
| 4,5 | 2,5 | 4,5 | 2,5 | |||||
| 24,5 | 18,5 | ||||||
| -18 | -7,5 | -14,5 | |||||
| 56,25 | 182,25 | 1083,5 | |||||
| 31,5 | 38,5 | ||||||
| 0,25 | 0,19 | 0,04 | 0,22 | 0,07 | 0,13 | 0,10 | 1,00 |
| 0,38 | 0,28 | - | 0,34 | - | - | - | 1,00 |
Сумма рангов, полученная в результате ранжировании, у каждого эксперта по горизонтали должна быть постоянной и равной:
, (1.2)
где 
– номер операции; 
– шифр эксперта.
В рассматриваемом примере
Мнения респондентов о весомости свойств могут по различным причинам не совпадать.
При ранжировании несколькими лицами для определения, в какой мере совпадают полученные ранговые последовательности, служит коэффициент конкордации 
. Если m лиц дают испытуемым предметам n ранговые цифры 1 … n, то определяют сумму ранговых цифр каждого испытуемого предмета (Si) и из неё вычисляют коэффициент конкордации 
:
, (1.3)
где 
– средняя сумма рангов всех операций.
Сумма рангов 
для каждого 
-го свойства определяется по формуле:
. (1.4)
Средняя сумма рангов 
. (1.5)
Сумма квадратов отклонений 
. (1.6)
Для рассматриваемого примера результаты расчета 
, 
, 
представлены в табл. 1.6.
При наличии связанных (равных) рангов коэффициент конкордации определяется по формуле:
, (1.7)
где 
– показатели связанных рангов для каждого 
-го эксперта
, (1.8)
где 
– число рангов с одинаковыми оценками у -го эксперта, 
– число одинаковых рангов внутри каждого случая.
Вычисление поясним на примере 
(для четвертого эксперта), который выставил двум факторам ранг 2,5 и еще двум – 4,5. Таким образом, 
.
Подставляя полученные данные из табл. 6.6 в формулу (6.7) получаем:
.
может принимать значения 0£ 
£1, причём, 
означает несовпадение 
ранговых последовательностей, 
– полное совпадение. Чем ближе к 1, тем лучше согласованность мнений экспертов.
Оценка значимости при числе свойств больше 7 осуществляется по критерию Пирсона 
, расчетное значение которого находится по формуле
. (1.9)
Коэффициент конкордации значим, если при заданном числе степеней свободы (
) и уровне доверительной вероятности 
расчётное значение 
больше табличного 
(прил.).
В рассматриваемом примере 
.
По таблице прил., исходя из числа степеней свободы 
, при доверительной вероятности 
находим 
.
Так как табличное значение 
- критерия меньше расчетного, поэтому степень совпадения мнений экспертов можно оценивать найденным коэффициентом конкордации.
Далее определяют коэффициенты весомости 
каждого показателя:
. (1.10)
По полученным данным можно построить диаграмму значимости свойств (рис. 1.1).
Если бы все показатели были одинаково значимы, то их коэффициенты весомости были одинаковы и равны: 
.
Из всех n характеристик выделяют наиболее значимые характеристики n0, для которых 
. Для каждой из выделенных характеристик определяют относительный коэффициент значимости по формуле
, (1.11)
где 
– сумма для каждой из оставленной характеристики.
Рис. 1.1. Диаграмма весомости показателей свойств
Из табл. 1.6 наиболее значимыми являются первый, второй и четвертый факторы, у которых 
Для этих показателей рассчитаем относительные коэффициенты значимости.
Таким образом, наиболее важными показателями, характеризующими качество посадки женского жакета являются:
Х1 – правильность положения края полы изделия;
Х2 – правильность положения воротника;
Х4 – правильность положения рукава.
Их нужно использовать в качестве объектов операционного контроля при оценке качества заданного изделия (табл. 1.6).
1.3 Методика и порядок выполнения:
Для проведения исследования студенты разделяются на группы.
1. После изучения метода экспертных оценок выбрать объект для исследования в соответствии с заданием (табл. 1.7).
Таблица 1.7
Варианты задания к практической работе 1
| № | Объект исследования | № | Объект исследования |
| Куртка (женская, мужская) | Швейная машина | ||
| Плащ (женский, мужской) | Стиральная машина | ||
| Рубашка (блузка) | Телевизор | ||
| Головной убор (женский, мужской) | Мягкая мебель | ||
| Обувь (женская, мужская) | Диски музыкальные | ||
| Фен | Фотоаппарат | ||
| Предметы косметики (тушь для ресниц, губная помада, пудра, тени для век и т. д.) | Видеокамера | ||
| Сумка (женская, мужская) | Микроволновая печь | ||
| Компьютер | Принтер | ||
| Монитор | Бижутерия |
2. Разработать анкету и провести опрос экспертов, по результатам которого составить сводную таблицу результатов опроса (табл. 1.5).
3. Проранжировать полученные экспертные оценки, данные занести в преобразованную матрицу ранжирования (табл. 1.6).
4. Оценить согласованность мнений экспертов. Расчет производить в следующей последовательности.
4.1. Сумма рангов 
для каждого 
-го свойства (1.4).
4.2. Средняя сумма рангов 
(1.5).
4.3. Сумма квадратов отклонений 
(1.6).
4.4. Показатели связанных рангов 
для каждого 
-го эксперта (1.8).
4.5. Коэффициент конкордации 
(1.7).
5. Провести оценку значимости 
по критерию Пирсона 
(1.9).
6. Определить коэффициенты весомости показателей (1.10) и выявить наиболее значимые из них, построить диаграмму весомости показателей.
Содержание отчета
1. Сводная таблица результатов опроса (табл. 1.5).
2. Преобразованная матрица ранжирования (табл. 1.6).
3. Расчет коэффициента конкордации 
.
4. Оценка значимости 
по критерию Пирсона 
.
5. Расчет коэффициентов весомости показателей с выделением наиболее значимых.
6. Диаграмма весомости показателей исследуемых характеристик.
7. Выводы о согласованности мнений экспертов и выборе наиболее значимых показателей, влияющих на качество продукции.
Приложение
