Общие сведения о методах экспертных оценок (МЭО)

Практическая работа № 1

ЭКСПЕРТНЫЕ МЕТОДЫ

ОЦЕНКИ КАЧЕСТВА ПРОДУКЦИИ

Тема работы: оценка показателей качества продукции с применением методов экспертных оценок.

Цель работы: ознакомиться с методом экспертных оценок, оценить согласованность мнений экспертов при определении значимых показателей качества.

В настоящее время значение величины технологических и качественных показателей швейных изделий могут быть определены методами технических и эвристических (эвристика – система логических приемов и методических правил теоретического исследования) измерений. Оба эти метода нашли широкое применение при разработке новых материалов, конструкций, технологических решений в швейной промышленности.

Определяющими факторами при выборе метода измерения являются количество и достоверность информации об объекте, а также простота, надежность и доступность самого метода.

 

Методы измерения при оценке

Технологических и качественных показателей

Швейной промышленности

Технические методы измерения дают достаточно надежную и наиболее объективную оценку измеряемой величины. Технические методы основаны на применении соответствующих преобразователей, усилителей, приборов и других измерительных средств. При этом используются как гостированные методики, стандартное оборудование, технические условия, так и специально разработанные. Технические методы измерения включают экспериментальный и расчетный методы.

Экспериментальный метод заключается в том, что с помощью технических измерительных средств или на основе подсчета количества событий, полученных с помощью показывающих и регистрирующих приборов, может быть установлена количественная величина показателя.

Экспериментальный измерительный метод предполагает нахождение численных значений показателей, которые, как правило, регламентируются стандартом на оценку текстильных материалов. К ним относятся, например, разрывная нагрузка, определение массы, стойкости к истиранию и т. д.

Экспериментальный регистрационный метод предусматривает подсчет количества событий или объектов без применения регистрационных средств, а также с их использованием. Этот метод применяется для подсчета частоты стежков, числа унифицированных деталей в конструкции и т. д.

При использовании расчетных методов значения искомой величины определяют путем вычисления, используя значения параметров, найденные другими способами. При этом используются как теоретические, так и эмпирические зависимости определяемых показателей.

Эвристические методы измерения используются в тех случаях, когда невозможно получить значения того или иного показателя с помощью измерительных средств. Этими методами в основном определяются эмоциональные и эргономические показатели.

К эвристическим методам относятся органолептический, социологический и экспертный.

Органолептический метод базируется на анализе показателей, производимом с помощью органов чувств (зрения, слуха, обоняния, осязания, вкуса). Органы чувств выполняют роль датчиков того или иного показателя, а оценка продукции производится путем анализа этих ощущений на основе прошлого опыта.

В швейной промышленности органолептический метод используется для оценки показателей качества посадки одежды на фигуре человека, соответствия членений костюма основным направлениям моды, при оценке показателей эргономических свойств и т. д. Точность и достоверность органолептических методов зависит от накопленного опыта, квалификации и способностей специалистов, производящих оценку. Система оценки – балльная. Балл – условная единица, характеризующая положительные свойства изделия.

Социологический метод предусматривает сбор и анализ мнений фактических или возможных потребителей швейной продукции. Сбор мнений производится путем распространения специальных анкет в организациях, заинтересованных в потреблении той или иной швейной продукции. Достоверность социологического метода зависит от четкости и полноты вопросов, поставленных в анкете, успешного и правильного опроса, четкости плана работы на каждом этапе опроса. Громоздкие анкеты с большим количеством вопросов, как правило, не используются для опроса в магазинах, выставках и т. д. Количество вопросов в таких анкетах желательно иметь не более 5 … 7, это позволяет охватить большой контингент опрашиваемых и быстрее обработать полученные данные.

Экспертные методы связаны с измерением свойств продукции, не имеющих числового выражения (например, эстетичность, художественно-колористическое оформление, товарный вид изделия и т. д.). В его основе лежит анализ мнений специалистов-экспертов. Объективность экспертной оценки, ее точность и надежность зависят, главным образом, от состава экспертной комиссии и квалификации экспертов.

Общие сведения о методах экспертных оценок (МЭО)

Методы экспертных оценок (МЭО) специальные процедуры, логические приемы и математические методы, применяемые для сбора, обобщения и анализа информации, полученной от специалистов.

Существует две группы экспертных оценок:

 

1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.

2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
2. Парное сравнение — это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
3. Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

 

Для этой цели разрабатывают шкалу, с помощью которой анализируемые экспертом понятия переводят в цифры. Различают несколько видов шкал: шкала наименований, частично упорядоченная шкала, шкала порядка, шкала интервалов и шкала отно­шений. При обработке материалов опроса шкала порядка является са­мой простой и надежной.

Шкала порядка – полностью упорядоченная шкала, в которой установлены соотношения между всеми объектами. Объекты располагаются в порядке убывания их влияния. Операция расположения их в данном порядке называется ранжированием, а полученный ряд – ранжированным рядом. Шкала легко поддается математической обработке (вычисление коэффициентов корреляции).

Не менее важными, чем выбор шкалы оценок, являются вопросы формирования экспертной группы, основные из которых – оценка компетентности и выбор необходимого числа экспертов.

Компетентность экспертов оценивается по отклонению оценки эксперта от средней оценки группы. Для этого выполняют следующее:

– определяют среднее мнение экспертной комиссии, выводят средний балл;

– каждому эксперту присваивают место в порядке убывания компетентности (чем ближе к среднему, тем ниже балл);

– по полученным значениям мест рассчитывают ранги (j = 1,2,..., п – номер эксперта);

– пропорционально рангам определяют весомость мест экспертов (компетентность) так, чтобы

– итоговую оценку комиссия определяет с учетом компетентности экспертов

. (1.1)

 

Численность экспертной группы зависит, прежде всего, от метода оценки качества продукции. Вероятность принятия правильного решения возрастает с ростом числа экспертов. Рекомендуется иметь в составе экспертной группы не менее 7–10 человек.

Наиболее распространенным методом выявления мнений экспертов является анкетный опрос. На вопросы анкеты могут отвечать и изготовители продукции, и ученые, и потребители, что определяется целью опроса. Лиц, отвечающих на вопросы анкеты, называют респондентами. При подготовке опроса создается рабочая группа, в которую входят специалисты. Рабочая группа проводит выбор респондентов, разрабатывает сопроводительные документы и форму анкеты. После ранжирования свойств (факторов) оценивают важность факторов и согласованность мнений респондентов.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. Полученные данные обрабатывают с помощью априорного ранжирования, основанного на методах ранговой корреляции.

a_ij – оценка признака экспертом.

n – количество признаков,

m – количество экспертов.

Затем, подсчитывается S_i – среднее значение важности признака.

 

Метод задания весовых коэффициентов (a_ij)
Всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);

1. Наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

 

Метод последовательных сравнений заключается в следующем:
Эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;

1. Присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;

2. Сравнивает значение первого признака с суммой всех последующих.

 

В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.

При использовании метода чаще всего составляется матрица размером n_xn, где n – количество сравниваемых объектов.

 

При сравнении объектов матрица заполняется элементами a_ij следующим образом (может быть предложена и иная схема заполнения):

 

· 2, если объект i предпочтительнее объекта j (i > j),

· 1, если установлено равенство объектов (i = j),

· 0, если объект j предпочтительнее объекта i (i < j).

Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Пример ранжировки операций приведен в табл. 1.1.

Эксперт приписывает каждому из признаков числа-ранги. Наиболее важную операцию обозначают рангом , а наименее значимую рангом , где – число обсуждаемых операций

Таблица 1.1 - Ранжировка операций

Операции
Ранги

 

Если эксперт считает несколько операций равноценными по значимости, и присваивает им одинаковые оценки, необходимо определить нормальную ранжировку операций. Сумма одинаковых оценок должна быть равна сумме мест при их последовательном расположении. Тогда операциям 2 и 5, поделившим между собой второе и третье места, присваивают ранг , а операциям 3, 4, 6, поделившим четвертое, пятое и шестое места, приписывают ранг . В итоге получают нормальную ранжировку (табл. 1.2).

 

Таблица 1.2 - Нормальная ранжировка операций

Операции
Ранги		2,5			2,5

 

Использование метода экспертных оценок проиллюстрируем на примере выявления значимых факторов, определяющих качество посадки женского жакета.

На основе анализа литературы составлен предварительный перечень факторов, определяющих качество посадки женского жакета:

Х₁ – правильность положения края полы изделия;

Х₂ – правильность положения воротника;

Х₃ – правильность положения боковых швов;

Х₄ – правильность положения рукава;

Х₅ – правильность положения низа изделия;

Х₆ – отсутствие горизонтальных складок в верхней части спинки;

Х₇ – отсутствие наклонных складок на спине, идущих от боковых швов или проймы.

Проведение серии экспериментов с целью выявления влияния каждого из 7 факторов на качество посадки жакета нереально, поскольку потребует большого расхода материалов на изготовление образцов и длительности процесса исследования, поэтому такую задачу целесообразно решать экспертным методом путем предварительного отсеивания числа факторов с использованием априорного ранжирования.

Восьми специалистам () было предложено ответить на вопросы анкеты с целью оценки степени влияния каждого фактора на качество посадки женского жакета (табл. 1.3).

В качестве примера в табл. 1.4 приведена анкета, заполненная одним из восьми экспертов.

Оценки, проставленные экспертами каждому фактору, приведены в табл. 1.5. В результате ранжирования полученных данных составлена табл. 1.6.

 

АНКЕТА

Дата ____________________

Ф. И. О. _________________

Место работы ____________

Должность ______________

Стаж работы_____________

 

Просим оценить каждый из перечисленных факторов, определяющих качество посадки одежды путем присвоения им рангов (мест) с 1 по 7 по степени убывания значимости, например ранг 1, 2 и т. д. присваивают самым значимым факторам, по которым проявление дефектов, ухудшающих качество, крайне нежелательно.

 

Таблица 1.3 - Распределение мнений специалистов о важности признаков,

характеризующих качество посадки женского жакета

Индекс фактора	Внешнее проявление	Оценка
Х1	Правильность положения края полы изделия;
Х2	Правильность положения воротника;
Х3	Правильность положения боковых швов;
Х4	Правильность положения рукава;
Х5	Правильность положения низа изделия;
Х6	Отсутствие горизонтальных складок в верхней части спинки;
Х7	Отсутствие наклонных складок на спине, идущих от боковых швов или проймы.

 

Таблица 1.4 - Ответы специалиста на вопросы анкеты о важности признаков, характеризующих качество посадки женского жакета

Индекс фактора	Внешнее проявление	Оценка
Х1	Правильность положения края полы изделия;
Х2	правильность положения воротника;
Х3	Правильность положения боковых швов;
Х4	Правильность положения рукава;
Х5	Правильность положения низа изделия;
Х6	Отсутствие горизонтальных складок в верхней части спинки;
Х7	Отсутствие наклонных складок на спине, идущих от боковых швов или проймы.

Таблица 1.5 - Сводная таблица результатов опроса

Экспер-ты, m	Факторы, n	Число одинаковых рангов, tj
								2,2
								2,2

 

Таблица 1.6 - Нормализованная матрица ранжирования

Эксперты, m	Факторы, n
		2,5		2,5
		2,5		2,5		4,5	4,5
		4,5		2,5		4,5	2,5
		24,5		18,5
	-18	-7,5		-14,5
		56,25		182,25				1083,5
		31,5		38,5
	0,25	0,19	0,04	0,22	0,07	0,13	0,10	1,00
	0,38	0,28	-	0,34	-	-	-	1,00

 

Сумма рангов, полученная в результате ранжировании, у каждого эксперта по горизонтали должна быть постоянной и равной:

 

, (1.2)

 

где – номер операции; – шифр эксперта.

 

В рассматриваемом примере

 

Мнения респондентов о весомости свойств могут по различным причинам не совпадать.

При ранжировании несколькими лицами для определения, в какой мере совпадают полученные ранговые последовательности, служит коэффициент конкордации . Если m лиц дают испытуемым предметам n ранговые цифры 1 … n, то определяют сумму ранговых цифр каждого испытуемого предмета (S_i) и из неё вычисляют коэффициент конкордации :

, (1.3)

 

где – средняя сумма рангов всех операций.

Сумма рангов для каждого -го свойства определяется по формуле:

. (1.4)

 

Средняя сумма рангов

 

. (1.5)

 

Сумма квадратов отклонений

 

. (1.6)

 

Для рассматриваемого примера результаты расчета , , представлены в табл. 1.6.

При наличии связанных (равных) рангов коэффициент конкордации определяется по формуле:

, (1.7)

 

где – показатели связанных рангов для каждого -го эксперта

 

, (1.8)

 

где – число рангов с одинаковыми оценками у -го эксперта, – число одинаковых рангов внутри каждого случая.

Вычисление поясним на примере (для четвертого эксперта), который выставил двум факторам ранг 2,5 и еще двум – 4,5. Таким образом, .

Подставляя полученные данные из табл. 6.6 в формулу (6.7) получаем:

 

.

 

может принимать значения 0£ £1, причём, означает несовпадение ранговых последовательностей, – полное совпадение. Чем ближе к 1, тем лучше согласованность мнений экспертов.

Оценка значимости при числе свойств больше 7 осуществляется по критерию Пирсона , расчетное значение которого находится по формуле

 

. (1.9)

 

Коэффициент конкордации значим, если при заданном числе степеней свободы () и уровне доверительной вероятности расчётное значение больше табличного (прил.).

В рассматриваемом примере .

По таблице прил., исходя из числа степеней свободы , при доверительной вероятности находим .

Так как табличное значение - критерия меньше расчетного, поэтому степень совпадения мнений экспертов можно оценивать найденным коэффициентом конкордации.

Далее определяют коэффициенты весомости каждого показателя:

. (1.10)

 

По полученным данным можно построить диаграмму значимости свойств (рис. 1.1).

Если бы все показатели были одинаково значимы, то их коэффициенты весомости были одинаковы и равны: .

 

Из всех n характеристик выделяют наиболее значимые характеристики n₀, для которых . Для каждой из выделенных характеристик определяют относительный коэффициент значимости по формуле

, (1.11)

 

где – сумма для каждой из оставленной характеристики.

 

Рис. 1.1. Диаграмма весомости показателей свойств

 

Из табл. 1.6 наиболее значимыми являются первый, второй и четвертый факторы, у которых Для этих показателей рассчитаем относительные коэффициенты значимости.

 

Таким образом, наиболее важными показателями, характеризующими качество посадки женского жакета являются:

Х₁ – правильность положения края полы изделия;

Х₂ – правильность положения воротника;

Х₄ – правильность положения рукава.

Их нужно использовать в качестве объектов операционного контроля при оценке качества заданного изделия (табл. 1.6).

 

1.3 Методика и порядок выполнения:

Для проведения исследования студенты разделяются на группы.

1. После изучения метода экспертных оценок выбрать объект для исследования в соответствии с заданием (табл. 1.7).

 

Таблица 1.7

Варианты задания к практической работе 1

№	Объект исследования	№	Объект исследования
	Куртка (женская, мужская)		Швейная машина
	Плащ (женский, мужской)		Стиральная машина
	Рубашка (блузка)		Телевизор
	Головной убор (женский, мужской)		Мягкая мебель
	Обувь (женская, мужская)		Диски музыкальные
	Фен		Фотоаппарат
	Предметы косметики (тушь для ресниц, губная помада, пудра, тени для век и т. д.)		Видеокамера
	Сумка (женская, мужская)		Микроволновая печь
	Компьютер		Принтер
	Монитор		Бижутерия

 

2. Разработать анкету и провести опрос экспертов, по результатам которого составить сводную таблицу результатов опроса (табл. 1.5).

3. Проранжировать полученные экспертные оценки, данные занести в преобразованную матрицу ранжирования (табл. 1.6).

4. Оценить согласованность мнений экспертов. Расчет производить в следующей последовательности.

4.1. Сумма рангов для каждого -го свойства (1.4).

4.2. Средняя сумма рангов (1.5).

4.3. Сумма квадратов отклонений (1.6).

4.4. Показатели связанных рангов для каждого -го эксперта (1.8).

4.5. Коэффициент конкордации (1.7).

5. Провести оценку значимости по критерию Пирсона (1.9).

6. Определить коэффициенты весомости показателей (1.10) и выявить наиболее значимые из них, построить диаграмму весомости показателей.

 

Содержание отчета

1. Сводная таблица результатов опроса (табл. 1.5).

2. Преобразованная матрица ранжирования (табл. 1.6).

3. Расчет коэффициента конкордации .

4. Оценка значимости по критерию Пирсона .

5. Расчет коэффициентов весомости показателей с выделением наиболее значимых.

6. Диаграмма весомости показателей исследуемых характеристик.

7. Выводы о согласованности мнений экспертов и выборе наиболее значимых показателей, влияющих на качество продукции.

 

Приложение