ТЕМА 8. Экспертные методы решения проблем качества. Метод Тагути

План

8.1. Метод экспертных оценок

8.2. Подбор экспертов

8.3. Опрос экспертов

8.4. Обработка экспертных оценок

8.5. Определение согласованности экспертов

8.6. Метод Тагути

8.1. Метод экспертных оценок

Возрастающая сложность управления организациями требует тщательного анализа целей и задач деятельности, путей и средств их достижения, оценки влияния различных факторов на повышение эффективности и качества работы. Это приводит к необходимости широкого применения экспертных оценок в процессе формирования и выбора решений.

Экспертиза как способ получения информации всегда использовалась при выработке решений. Однако научные исследования по ее рациональному проведению были начаты всего три десятилетия назад. Результаты этих исследований позволяют сделать вывод о том, что в настоящее время экспертные оценки являются в основном сформировавшимся научным методом анализа сложных неформализуемых проблем.

Сущность метода экспертных оценок заключается в рациональной организации проведения экспертами анализа проблемы с количественной оценкой суждений и обработкой их результатов. Обобщенное мнение группы экспертов принимается как решение проблемы.

В процессе принятия решений эксперты выполняют информационную и аналитическую работу по формированию и оценке решений. Все многообразие решаемых ими задач сводится к трем типам: формирование объектов, оценка характеристик, формирование и оценка характеристик объектов.

Формирование объектов включает определение возможных событий и явлений, построение гипотез, формулировку целей, ограничений, вариантов решений, определение признаков и показателей для описания свойств объектов и их взаимосвязей и т.п. В задаче оценки характеристик эксперты производят измерения достоверности событий и гипотез, важности целей, значений признаков и показателей, предпочтений решений. В задаче формирования и оценки характеристик объектов осуществляется комплексное решение первых двух типов задач. Таким образом, эксперт выполняет роль генератора объектов (идей, событий, решений и т.п.) и измерителя их характеристик.

При решении рассмотренных задач все множество проблем можно разделить на два класса: с достаточным и недостаточным информационным потенциалом. Для проблем первого класса имеется необходимый объем знаний и опыта по их решению. Поэтому по отношению к этим проблемам эксперты являются качественными источниками и достаточно точными измерителями информации. Для таких проблем обобщенное мнение группы экспертов определяется осреднением их индивидуальных суждений и является близким к истинному.

В отношении проблем второго класса эксперты уже не могут рассматриваться как достаточно точные измерители. Мнение одного эксперта может оказаться правильным, хотя оно сильно отличается от мнения всех остальных экспертов. Обработка результатов экспертизы при решении проблем второго класса не может основываться на методах осреднения.

Метод экспертных оценок применяется для решения проблем прогнозирования, планирования и разработки программ деятельности, нормирования труда, выбора перспективной техники, оценки качества продукции и др.

Для применения метода экспертных оценок в процессе принятия решений необходимо рассмотреть вопросы подбора экспертов, проведения опроса и обработки его результатов. Эти вопросы излагаются в следующих параграфах.

8.2. Подбор экспертов

В зависимости от масштаба решаемой проблемы организацию экспертизы осуществляет ЛПР или назначаемая им группа управления. Подбор количественного и качественного состава экспертов производится на основе анализа широты проблемы, требуемой достоверности оценок, характеристик экспертов и затрат ресурсов.

Широта решаемой проблемы определяет необходимость привлечения к экспертизе специалистов различного профиля. Следовательно, минимальное число экспертов определяется количеством различных аспектов, направлений, которые необходимо учесть при решении проблемы.

Достоверность оценок группы экспертов зависит от уровня знаний отдельных экспертов и количества членов. Если предположить, что эксперты являются достаточно точными измерителями, то с увеличением числа экспертов достоверность экспертизы всей группы возрастает.

Затраты ресурсов на проведение экспертизы пропорциональны количеству экспертов. С увеличением числа экспертов увеличиваются временные и финансовые затраты, связанные с формированием группы, проведением опроса и обработкой его результатов. Таким образом, повышение достоверности экспертизы связано с увеличением затрат. Располагаемые финансовые ресурсы ограничивают максимальное число экспертов в группе. Оценка числа экспертов снизу и сверху позволяет определить границы общего количества экспертов в группе.

Характеристики группы экспертов определяются на основе индивидуальных характеристик экспертов: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, коллективизма, самокритичности.

В настоящее время перечисленные характеристики в основном оцениваются качественно. Для ряда характеристик имеются попытки ввести количественные оценки.

Компетентность - степень квалификации эксперта в определенной области знаний. Компетентность может быть определена на основе анализа плодотворной деятельности специалиста, уровня и широты знакомства с достижениями мировой науки и техники, понимания проблем и перспектив развития.

Для количественной оценки степени компетентности используется коэффициент компетентности, с учетом которого взвешивается мнение эксперта. Коэффициент компетентности определяется по априорным и апостериорным данным. При использовании априорных данных оценка коэффициента компетентности производится до проведения экспертизы на основе самооценки эксперта и взаимной оценки со стороны других экспертов. При использовании апостериорных данных оценка коэффициента компетентности производится на основе обработки результатов экспертизы.

Существует ряд методик определения коэффициента компетентности по априорным данным. Наиболее простой является методика оценки относительных коэффициентов компетентности по результатам высказывания специалистов о составе экспертной группы. Сущность этой методики заключается в следующем. Ряду специалистов предлагается высказать суждение о включении лиц в экспертную группу для решения определенной проблемы. Если в этот список попадают лица, не вошедшие в первоначальный список, то им также предлагается назвать специалистов для участия в экспертизе. Проведя несколько туров такого опроса, можно составить достаточно полный список кандидатов в эксперты. По результатам проведенного опроса составляется матрица, в ячейках которой проставляются переменные , равные

Причем каждый эксперт может включать или не включать себя в экспертную группу. По данным матрицы вычисляются коэффициенты компетентности как относительные

где к₁ - коэффициент компетентности 1-го эксперта, т - количество экспертов (размерность матрицы ||хц ||). Коэффициенты компетентности нормированы так, что их сумма равна единице:

Содержательный смысл коэффициентов компетентности, вычисленных по данным таблицы || ху ||, состоит в том, что подсчитывается сумма единиц (число “голосов”), поданных за і-го эксперта, и делится на общую сумму всех единиц. Таким образом, коэффициент компетентности определяется как относительное число экспертов, высказав ши хся за включение і- го эксперта в список экспертной группы.

Креативность - это способность решать творческие задачи. В настоящее время кроме качественных суждений, основанных на изучении деятельности экспертов, нет каких-либо предложений по оценке этой характеристики.

Конформизм - это подверженность влиянию авторитетов. Особенно сильно конформизм может проявиться при проведении экспертизы в виде открытых дискуссий. Мнение авторитетов подавляет мнение лиц, обладающих высокой степенью конформизма.

Отношение к экспертизе является очень важной характеристикой качества эксперта при решении данной проблемы. Негативное или пассивное отношение специалиста к решению проблемы, большая занятость и другие факторы существенно сказываются на выполнении экспертами своих функций. Поэтому участие в экспертизе должно рассматриваться как плановая работа. Эксперт должен проявлять интерес к рассматриваемой проблеме.

Конструктивность мышления - это прагматический аспект мышления. Эксперт должен давать решения, обладающие свойством практичности. Учет реальных возможностей решения проблемы очень важен при проведении экспертного оценивания.

Коллективизм - должен учитываться при проведении открытых дискуссий. Этика поведения человека в коллективе во многих случаях существенно влияет на создание положительного психологического климата и тем самым на успешность решения проблемы.

Самокритичность эксперта проявляется при самооценке степени своей компетентности, а также при учете мнений других экспертов и принятии решения по рассматриваемой проблеме.

Перечисленные характеристики эксперта достаточно полно описывают необходимые качества, которые влияют на результаты экспертизы. Однако их анализ требует очень кропотливой и трудоемкой работы по сбору информации и ее изучению. Кроме того, как правило, часть характеристик эксперта оценивается положительно, а часть - отрицательно. Возникает проблема согласования характеристик и выбора экспертов с учетом противоречивости их качеств. Причем, чем больше характеристик принимается во внимание, тем труднее принять решение о том, что важнее и что допустимо для эксперта. Для устранения указанной трудности необходимо сформулировать обобщенную характеристику эксперта, учитывающую его важнейшие качества, с одной стороны, и допускающую непосредственное ее измерение, с другой стороны. В качестве такой характеристики можно принять достоверность суждений эксперта, которая определяет его как “измерительный прибор”. Однако применение такой обобщенной характеристики требует информации о прошлом опыте участия эксперта в решении проблем.

где N1 - число случаев, когда 1-й эксперт дал решение, приемлемость которого подтвердилась практикой, N - общее число случаев участия 1-го эксперта в решении проблем.

Вклад каждого эксперта в достоверность оценок всей группы определяется по формуле

где т - число экспертов в группе. В знаменателе стоит средняя достоверность группы экспертов.

8.3. Опрос экспертов

Опрос экспертов представляет собой заслушивание и фиксацию в содержательной и количественной форме суждений экспертов по решаемой проблеме. Проведение опроса является основным этапом совместной работы групп управления и экспертов. На этом этапе выполняются следующие процедуры:

организационно-методическое обеспечение опроса; постановка задачи и предъявление вопросов экспертам; информационное обеспечение работы экспертов.

Вид опроса по существу определяет разновидность метода экспертной оценки. Основными видами опроса являются: анкетирование, интервьюирование, метод Дельфы, мозговой штурм, дискуссия.

Выбор того или иного вида опроса определяется целями экспертизы, сущностью решаемой проблемы, полнотой и достоверностью исходной информации, располагаемым временем и затратами на проведение опроса. Рассмотрим содержание и технологию проведения перечисленных выше видов опроса.

Анкетирование. Анкетирование представляет собой опрос экспертов в письменной форме с помо щь ю анкет. В анкете содержатся вопросы, которые можно классифицировать по содержанию и типу. По содержанию вопросы делятся на три группы:

объективные данные об эксперте (возраст, образование, должность, специальность, стаж работы и т.п.);

основные вопросы по сути анализируемой проблемы;

дополнительные вопросы, позволяющие выяснить источники информации, аргументацию ответов, самооценку компетентности эксперта и т. п.

По типу основные вопросы классифицируются на открытые, закрытые и с веером ответов. Открытые вопросы предполагают ответ в произвольной форме. Закрытые вопросы - это такие вопросы, на которые ответ может быть дан в виде “да”, “нет”, “не знаю”. Вопросы с веером ответов предполагают выбор экспертами одного из совокупности предполагаемых ответов.

Открытые вопросы целесообразно применять в случае большой неопределенности проблемы. Этот тип вопросов позволяет широко охватить рассматриваемую проблему, выявить спектр мнений экспертов. Недостатком открытых вопросов является возможное большое разнообразие и произвольная форма ответов, что существенно затрудняет обработку анкет.

Закрытые вопросы применяются в случае рассмотрения четко определенных двух альтернативных вариантов, когда требуется по существу определить степень большинства мнений по этим альтернативам. Обработка закрытых вопросов не вызывает каких-либо трудностей.

Вопросы с веером ответов целесообразно использовать при наличии нескольких достаточно четко определенных альтернативных вариантов. Эти варианты формируют для ориентации экспертов по возможному кругу направлений в решении проблемы. Для получения более детальной информации по каждому вопросу могут быть предложены порядковая и балльная шкалы. Эксперт по каждому ответу выбирает значение порядковой и балльной оценок. Например, значениями порядковой шкалы могут быть “очень хорошо”, “хорошо”, “удовлетворительно”, “неудовлетворительно”, или “значительно”, “незначительно”, “не влияет” и т.п. Обработка анкет с вопросами этого типа по сложности занимает промежуточное место между открытыми и закрытыми вопросами.

Если анкетирование проводится в несколько туров, то целесообразно при большой сложности и неопределенности проблемы вначале использовать открытые типы вопросов, а на последующих турах - с веером ответов и закрытые типы.

Кроме анкеты экспертам представляется обращение - пояснительная записка, в которой разъясняются цели и задачи экспертизы, дается необходимая эксперту информация, приводятся инструкции по заполнению анкет и необходимые организационные сведения.

Интервьюирование - это устный опрос, проводимый в форме беседы-интервью. При подготовке беседы интервьюер разрабатывает вопросы эксперту. Характерной особенностью этих вопросов является возможность быстрого ответа на них экспертом, поскольку он практически не имеет времени на его обдумывание.

Тематика интервью может сообщаться эксперту заранее, но конкретные вопросы ставятся непосредственно в процессе беседы. Целесообразно в связи с этим готовить последовательность вопросов, начиная от простого и постепенно их углубляя и усложняя, но вместе с тем и конкретизируя.

Достоинством интервью является непрерывный живой контакт интервьюера с экспертом, что позволяет быстро получить необходимую информацию путем прямых и уточняющих вопросов в зависимости от ответов эксперта.

Недостатками интервью являются возможность сильного влияния интервьюера на ответы эксперта, отсутствие времени для глубокого продумывания ответов и большие затраты его на опрос всего состава экспертов.

Интервьюер должен хорошо знать анализируемую проблему, уметь четко формулировать вопросы, создавать непринужденную обстановку и уметь слушать.

Метод Дельфы представляет собой многотуровую процедуру анкетирования с обработкой и сообщением результатов каждого тура экспертам, работающим инкогнито по отношению друг к другу. Метод назван по имени греческого города, в котором в древности жил знаменитый оракул.

Известные примеры применения метода Дельфы связаны с постановкой вопросов, требующих в качестве ответов числовой оценки параметров.

В первом туре опроса методом Дельфы экспертам предлагаются вопросы, на которые они дают ответы без аргументирования. Полученные от экспертов данные обрабатываются с целью выделения среднего или медианы и крайних значений оценок. Экспертам сообщаются результаты обработки первого тура опроса с указанием расположения оценок каждого эксперта. Если оценка эксперта сильно отклоняется от среднего значения, то его просят аргументировать свое мнение или изменить оценку.

Во втором туре эксперты аргументируют или изменяют свою оценку с объяснением причин корректировки. Результаты опроса во втором туре обрабатываются и сообщаются экспертам. Если после первого тура производилась корректировка оценок, то результаты обработки второго тура содержат новые средние и крайние значения оценок экспертов. В случае сильного отклонения индивидуальных оценок от средних эксперты должны аргументировать или изменить свои суждения, пояснив причины корректировки.

Проведение последующих туров осуществляется по аналогичной процедуре. Обычно после третьего или четвертого тура оценки экспертов стабилизируются, что и служит критерием прекращения дальнейшего опроса.

Итеративная процедура опроса с сообщением результатов обработки после каждого тура обеспечивает лучшее согласование мнений экспертов, поскольку эксперты, давшие сильно отклоняющиеся оценки, вынуждены критически осмыслить свои суждения и обстоятельно их аргументировать. Необходимость аргументации или корректировки своих оценок не означает, что целью экспертизы является получение полной согласованности мнений экспертов. Конечным результатом может оказаться выявление двух или более групп мнений, отражающих принадлежность экспертов к различным научным школам, ведомствам или категориям лиц. Получение такого результата является также полезным, поскольку позволяет выяснить наличие различных точек зрения и поставить задачу на проведение исследований в данной области.

При проведении опроса в методе Дельфы сохраняется анонимность ответов экспертов по отношению друг к другу. Это обеспечивает исключение влияния конформизма, т. е. подавления мнений за счет “веса” научного авторитета или должностного положения одних экспертов по отношению к другим.

Для повышения эффективности проведения экспертизы по методу Дельфы необходимо автоматизировать процесс фиксации, обработки и сообщения экспертам информации. Это достигается путем использования ЭВМ.

Мозговой штурм представляет собой групповое обсуждение с целью получения новых идей, вариантов решения проблемы. Мозговой штурм часто называют также мозговой атакой, методом генерации идей. Характерной особенностью этого вида экспертизы является активный творческий поиск принципиально новых решений в трудных тупиковых ситуациях, когда известные пути и способы решения оказываются непригодными. Для поддержания активности и творческой фантазии экспертов категорически запрещается критика их высказываний.

Основные правила организации и методика проведения мозгового штурма заключаются в следующем. Осуществляется подбор экспертов в группу до 20-25 человек, в которую включаются специалисты по решаемой проблеме и люди с широкой эрудицией и богатой фантазией, причем необязательно хорошо знающие рассматриваемую проблему. Желательно включение в группу лиц, занимающих одинаковое служебное и общественное положение, что обеспечивает большую независимость высказываний и создание атмосферы равноправия.

Для проведения сеанса назначается ведущий, основной задачей которого является управление ходом обсуждения для решения поставленной проблемы. Ведущий в начале сеанса объясняет содержание и актуальность проблемы, правила ее обсуждения и предлагает для рассмотрения одну-две идеи.

Сеанс продолжается примерно 40-45 минут без перерыва. Для выступления предоставляется 2-3 минуты и они могут повторяться. В каждом выступлении эксперты должны стремиться выдвинуть как можно больше новых, может быть, на первый взгляд фантастических идей или развивать ранее высказанные идеи, дополняя и углубляя их. Важным требованием к выступлениям является конструктивный характер идей и предложений. Они должны быть направлены на решение проблемы. Веду щи й и все члены группы должны своими действиями и высказываниями способствовать созданию всеобщей синхронно работающей коллективной мысли, возбуждению мыслительных процессов, что существенно влияет на результативность обсуждения.

В процессе генерирования идей и их обсуждения прямая критика запрещена, однако она имеет место в неявной форме и выражается в степени поддержки и развития высказываний.

Выступления экспертов фиксируются путем стенографирования или магнитофонной записи и после окончания сеанса подвергаются анализу, который заключается в группировке и классификации высказанных идей и решений по различным признакам, оценке степени полезности и возможности реализации. Примерно через сутки - двое после проведения сеанса экспертов просят сообщить, не возникли ли еще какие-нибудь новые идеи и решения. Эксперименты показывают, что если в процессе сеанса была создана хорошая творческая атмосфера с активным участием в работе всех экспертов, то после окончания обсуждения в мозге человека продолжается процесс генерации и анализа своих и других предложений, который протекает не только осознанно, но и подсознательно. В результате сопоставления высказываний, проведения аналогий и обобщения часто, примерно через сутки, эксперты формулируют наиболее ценные предложения и идеи. Поэтому сбор информации по возможным новым идеям способствует повышению эффективности метода мозгового штурма.

Существует ряд разновидностей мозгового штурма, в которых предлагается чередовать пятиминутные штурмы с обдумыванием его результатов, чередовать периоды генерации с дискуссиями и групповым принятием решений, применять последовательные этапы выдвижения предложений и их обсуждения, включать в группу экспертов “усилителей” и “подавителей” идей и т.п.

Мозговой штурм применяется для решения разнообразных прикладных проблем.

Дискуссия. Этот вид экспертизы широко применяется на практике для обсуждения проблем, путей их решения, анализа различных факторов и т.п. Для проведения дискуссии формируется группа экспертов не более 20 человек. Группа управления проводит предварительный анализ проблем дискуссии с целью четкой формулировки задач, определения требований к экспертам, их подбора и методики проведения дискуссии.

Сама дискуссия проводится как открытое коллективное обсуждение рассматриваемой проблемы, основной задачей которого является всесторонний анализ всех факторов, положительных и отрицательных последствий, выявление поз ици й и интересов участников.

В ходе дискуссии разрешается критика.

Большую роль в дискуссии играет веду щи й. От его умения создать творческую благожелательную атмосферу, четко выступить с постановкой проблемы, кратко и глубоко резюмировать выступления и, главное, умело направить ход дискуссии на решение проблемы существенно зависит эффективность результатов обсуждения.

Дискуссия может проводиться в течение нескольких часов, поэтому необходимо определить регламент работы: время на доклад ведущего и выступления, проведение перерывов. Следует иметь в виду, что во время перерывов дискуссия продолжается, т.е. имеют место кулуарные обсуждения. В связи с этим не следует делать перерывы слишком короткими, поскольку локальные обсуждения дают положительный эффект.

Результаты дискуссии фиксируются в виде стенограмм или магнитной записи. После окончания дискуссии проводится анализ этих записей для более четкого представления основных результатов, выявления различий во мнениях. В дискуссиях также примерно через сутки после окончания может собираться дополнительная информация от экспертов.

Рассмотренные виды опроса дополняют друг друга и в определенной степени являются взаимозаменяемыми. Для генерации новых объектов (идей, событий, проблем, решений) целесообразно применять мозговой штурм, дискуссии, анкетирование и метод Дельфы (первые два тура).

Всесторонний критический анализ имеющегося перечня объектов эффективно может быть проведен в форме дискуссии. Для количественной и качественной оценки свойств, параметров, времени и других характеристик объектов применяются анкетирование и метод Дельфы. Интервьюирование целесообразно использовать для уточнения результатов, полученных другими видами экспертизы.

8.4. Обработка экспертных оценок

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для нее являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием. Мы рассмотрим методы обработки проблем первого класса, характеризующихся достаточным информационным потенциалом. Эти проблемы наиболее распространены в практике принятия решений.

В зависимости от целей экспертного оценивания при обработке результатов опроса решают следующие основные задачи: определение согласованности мнений экспертов; построение обобщенной оценки объектов; определение зависимости между суждениями экспертов; определение относительных весов объектов;

оценка надежности результатов экспертизы.

Определение согласованности оценок экспертов необходимо для подтверждения правильности гипотезы о том, что эксперты являются достаточно точными измерителями, и выявления возможных группировок в экспертной группе. Оценка согласованности мнений экспертов производится путем вычисления количественной меры, характеризующей степень близости индивидуальных мнений. Анализ значений меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов, обусловленных различием взглядов, концепций, существованием научных школ, характером профессиональной деятельности и т.п.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Если эксперты производили оценку объектов в количественной шкале, то задача построения групповой оценки заключается в определении среднего значения или медианы оценки. При измерении в порядковой шкале методом ранжирования или парного сравнения целью обработки индивидуальных оценок экспертов является построение обобщенного упорядочения объектов на основе осреднения оценок экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между суждениями различных экспертов. Выявление этих зависимостей позволяет устанавливать степень близости во мнениях экспертов. Важное значение имеет также определение зависимости между оценками объектов, построенными по различным показателям сравнения. Это дает возможность определить связанные между собой показатели сравнения и осуществить их группировку по степени взаимосвязи.

При решении многих задач недостаточно осуществить упорядочение объектов по одному или по группе показателей. Желательно также иметь количественные значения относительной важности объектов. Для решения этой задачи можно сразу применить метод непосредственной оценки (см. 3.2). Однако эту же задачу при определенных условиях можно решить путем обработки результатов ранжировок или парных сравнений группы экспертов.

Оценки объектов, получаемые в результате обработки, представляют собой случайные величины, поэтому одной из важных задач является определение их достоверности, т.е. надежности результатов экспертизы.

Методы решения перечисленных задач рассматриваются в соответствующей литературе.

Обработка результатов экспертизы вручную связана с большими трудовыми затратами (даже в случае решения простых задач упорядочения), поэтому ее целесообразно проводить на базе вычислительной техники. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания. При организации обработки результатов опроса следует тщательно проанализировать трудоемкости решения задач с учетом разработки математического обеспечения для ЭВМ.

8.5. Определение согласованности экспертов

В качестве иллюстрации методов решения перечисленных выше задач рассмотрим задачу определения согласованности мнений экспертов.

При оценке объектов эксперты обычно расходятся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности позволяет более обоснованно интерпретировать причины расхождения мнений.

Оценка согласованности суждений экспертов основывается на использовании понятия компактности, наглядное представление о котором дает геометрическая интерпретация результатов экспертизы. Оценка каждого эксперта представляется как точка в некотором пространстве, в котором имеется понятие расстояния. Если точки, характеризующие оценки всех экспертов, расположены на небольшом расстоянии друг от друга, т.е. образуют компактную группу, то, очевидно, можно это интерпретировать как хорошую согласованность мнений экспертов. Если же точки в пространстве разбросаны на значительные расстояния, то согласованность мнений экспертов невысокая. Возможно, что точки - оценки экспертов - расположены в пространстве так, что образуют две или несколько компактных групп. Это означает, что в экспертной группе существуют две или несколько существенно отличающихся точек зрения на оценку объектов.

Конкретизация изложенной идеи оценки согласованности мнений экспертов производится в зависимости от использования количественных или качественных шкал измерения и выбора меры степени согласованности.

При использовании количественных шкал измерения и оценке всего одного параметра объекта все мнения экспертов можно представить как точки на числовой оси. Эти точки можно рассматривать как реализации случайной величины и поэтому для оценки группировки и разброса точек использовать хорошо разработанные методы математической статистики. Центр группировки точек можно определить как математическое ожидание (среднее значение) или как медиану случайной величины, а разброс количественно оценивается дисперсией случайной величины. Мерой согласованности оценок экспертов, т.е. компактности расположения точек на числовой оси, может служить отношение среднеквадратического отклонения к математическому ожиданию случайной величины.

Если объект оценивается несколькими числовыми параметрами, то мнение каждого эксперта представляется как точка в пространстве параметров. Центр группировки точек опять определяется как математическое ожидание вектора параметров, а разброс точек - дисперсией вектора параметров. Мерой согласованности суждений экспертов служит в этом случае сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат. Мерой согласованности может также служить количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания, ко всему количеству точек. Различные методы определения согласованности количественных оценок на основе понятия компактности рассматриваются в теории группировок и распознавания образов.

При измерении объектов в порядковой шкале согласованность оценок экспертов в виде ранжировок или парных сравнений объектов также основывается на понятии компактности.

При ранжировке объектов в качестве меры согласованности мнений группы экспертов используется дисперсионный коэффициент конкордации (коэффициент согласия).

Будем рассматривать величины г₁ как реализации случайной величины и найдем оценку дисперсии. Как известно, оптимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой:

Дисперсионный коэффициент конкордации определяется как отношение оценки дисперсии (7.1) к максимальному значению этой оценки:

Максимальное значение дисперсии равно

Данная формула определяет коэффициент конкордации для случая отсутствия связанных рангов.

Если в ранжировках имеются связанные ранги, то максимальное значение дисперсии в знаменателе формулы становится меньше, чем при отсутствии связанных рангов. Доказано, что при наличии связанных рангов коэффициент конкордации вычисляется по формуле

В формуле Т - показатель связанных рангов в Б-й ранжировке, Н₈ - число групп равных рангов в Б-й ранжировке, И_к - число равных рангов в к-й группе связанных рангов при ранжировке Б-м экспертом. Если совпадающих рангов нет, то Н₈ = 0, И_к = 0 и, следовательно, Т₈ =0. В этом случае формула (7.8) совпадает с формулой (7.7).

Коэффициент конкордации равен 1, если все ранжировки экспертов одинаковы, и равен нулю, если все ранжировки различны. Коэффициент конкордации является оценкой истинного значения коэффициента и, следовательно, представляет собой случайную величину. Для определения значимости оценки коэффициента конкордации необходимо знать распределение частот для различных значений числа экспертов й и количества объектов т. Распределение частот для Ш при различных значениях т и й может быть определено по известным статистическим таблицам. При числе объектов т > 7 оценка значимости коэффициента конкордации может быть произведена по критерию х². Величина d*(m-1) W имеет х = распределение с V = т-1 степенями свободы.

При наличии связанных рангов х² = распределение с V = т-1 степенями свободы имеет значениеНаряду с дисперсионным коэффициентом конкордации используется в качестве меры согласованности суждений экспертов энтропийный коэффициент конкордации.

Метод Тагути

Имя японского ученого Гэнити Тагути в настоящее время в табеле о рангах по популярности не уступает К. Исикаве, Дж. Джурану, А. Фейгенбауму. Это объясняется тем, что его идеи и подходы при обеспечении качества нашли широкое применение в промышленности Японии, а затем и в других странах.

Они характеризуются тем, что забота о качестве начинается на ранних этапах его формирования — при проектировании изделий и технологических процессов.

Основные элементы подхода Г. Тагути заключаются в следующих постулатах.

Важная мера качества изделия — это социальные потери, которые несет из-за него общество.

В конкурентной экономике постоянное улучшение качества и снижение затрат необходимы для выживания в бизнесе.

Программа постоянного улучшения качества включает в себя непрерывное уменьшение разбросов выходных характеристик изделия относительно их заданных значений.

Потери потребителя из-за разбросов выходной характеристики изделия пропорциональны квадрату отклонения этой характеристики от ее заданного значения.

Качество и цена изделия в значительной степени определяются инженерным проектированием изделия и процесса его изготовления.

Разброс выходных характеристик изделия или процесса может быть уменьшен путем использования фактора нелинейности влияния параметров изделия или процесса на эти характеристики.

Чтобы идентифицировать значения параметров изделия или процесса, которые уменьшают разброс выходных характеристик, можно использовать статистически планируемые эксперименты.

Прокомментируем приведенные выше элементы этой философии.

Г. Тагути считает, что качество — это потери, которые несет общество с того момента, как изделие отправлено потребителю. Чем меньше социальные потери из-за недоработок изделия, тем изделие более желательно потребителю. Постоянное улучшение качества и снижение затрат на протяжении жизненного цикла изделий — необходимые условия для выживания в глобальной экономике.

Постоянное улучшение качества невозможно без соответствующего уменьшения выбросов выходных характеристик изделия относительно их заданных значений. Чем меньше вариация выхода относительно заданного значения, тем выше качество. В свою очередь, заданное значение долино быть определено как идеальное значение выходной характеристики.

Эти характеристики измеряются как по непрерывной шкале, так и упорядоченным категориальным распределением (плохой, приемлемый, хороший, отличный). Оценка по непрерывной шкале более эффективна, но выходные данные, требующие субъективной оценки, измерить по ней невозможно.

4. Любые разбросы выходной характеристики изделия относительно ее заданного значения приводят к потерям потребителя. Простейшая квадратичная функция потерь (рис. 7.2) имеет вид:

где к — константа, у — выходная характеристика, измеренная по непрерывной шкале; г — заданное значение у; l(у) — потери, выраженные в долларах, которые несет потребитель в течение срока службы изделия из-за отклонения y от т. Очевидно, что чем больше отклонение выходной характеристики V от ее заданного значения т, тем больше потери потребителя l(у). Средние потери потребителя из-за вариации выхода получаются статистическим усреднением квадратичной функции потерь, связанной с возможными значениями у. В случае квадратичной функции потерь средние потери из-за вариации выхода пропорциональны средней квадратичной ошибке у относительно заданного значения т.

Концепция квадратичных потерь показывает важность непрерывного уменьшения вариации выхода.

5. В связи с увеличением сложности современных изделий проектирование изделий и процессов производства играет решающую роль (робастное проектирование) [1]. В процессе производства отклонения от номинальных значений неизбежны, и они влияют на вариацию выхода изделий. Уменьшение влияния различных отрицательных факторов наиболее эффективно на стадии проектирования изделия и процессов.

Улучшение проектирования процессов, усиление контроля приведет к уменьшению разброса из-за влияния источников изменчивости.

Начиная с первой стадии цикла разработки изделия, контроль качества должен стать неотъемлемой частью проектирования и сопровождать все последующие стадии. При этом используются такие методы, как проверка чувствительности, испытания прототипа изделия, ускоренные испытания долговечности и испытания на надежность.

Г. Тагути ввел трехстадийный подход к установлению номинальных значений параметров изделия и процесса и допусков на них: системное проектирование, параметрическое проектирование и проектирование допусков. Системное проектирование — процесс применения научных и инженерных знаний к разработке модели изделия. Модель изделия определяет начальные значения параметров изделия или процесса. Системное проектирование включает учет как требований потребителя, так и производственных условий.

Параметрическое проектирование — процесс идентификации таких значений параметров изделия или процесса, которые уменьшают чувствительность конструкции к источникам изменения параметров. Проектирование допусков — процесс определения допусков вблизи номинальных значений, которые идентифицированы с помощью параметрического проектирования.

Для идентификации значений параметров изделия или процесса, которые уменьшают вариацию выхода, могут быть использованы статистически планируемые эксперименты. Г. Тагути разработал новый подход к использованию статистически планируемых экспериментов.

Г. Тагути предлагает использовать критерий, который он назвал «отношение сигнал/шум» (s/n), в качестве выходной статистики.

Он определил три типа отношения s/n для трех типов функции потерь: как можно меньшее, как можно большее или некоторое конечное.

Г. Тагути применяет специальные планы эксперимента с использованием отношения «сигнал/шум». Подробнее о методах Тагути можно прочитать в.

В нашей стране методы Тагути получили известность после публикаций Ю. П. Адлера

Контрольные вопросы к теме 8

1. В чем заключается сущность метода экспертных оценок?

2. Какие типы задач решаются экспертами?

3. Какие классы проблем рассматриваются с использованием метода экспертных оценок?

4. Перечислите этапы реализации метода экспертных оценок.

5. Кто осуществляет организацию экспертизы?

6. На основе каких факторов осуществляется подбор состава экспертов?

7. Перечислите индивидуальные характеристики экспертов и охарактеризуйте их.

8. Что принимается в качестве обобщенной характеристики эксперта и как она определяется?

9. Какие процедуры выполняются при проведении опроса экспертов?

10. Перечислите виды опроса экспертов и охарактеризуйте их.

11. Для решения каких типов задач используются соответствующие виды опроса экспертов?

12. Какие задачи решают при обработке результатов опроса экспертов?

13. Как осуществляется определение согласованности мнений экспертов?