Организация экспертизы экспертиза должна являться основной частью исследования эксплуатационной пригодности и безопасности технической системы

Таблица 8.2.1
Содержание этапов и работ экспертизы

По существу, экспертиза предусматривает полное описание технологического процесса, системную проверку состояния каждой части его для того, чтобы выявить, как может произойти отклонение от проектного режима работы системы, и решить, может ли это отклонение создать опасность. Проверке подвергается по очереди каждая часть системы. При этом по каждой части ставится ряд вопросов, определенных в соответствие с методом исследования. Целью проверки является выявление всех возможных отклонений от предусмотренного проектом режима работы, а также всех потенциальных опасностей, связанных с этим отклонением. Кроме того, некоторые опасности могут быть тут же устранены. Если такое решение не окажет благоприятного влияния на другие части системы, может быть вынесено решение о немедленной модификации установки.

Таким образом, результаты проверок обычно включают ряд решений и вопросов для дальнейшего обсуждения на совещаниях экспертов.

Несмотря на то, что в результате применения описанного метода может возникнуть ряд гипотетических отклонений, успех или неудача проверки зависят от:
- обозначенной области исследования;
- количества и качества располагаемой информации (точности чертежей и других данных, использованных при проведении экспертизы);
- технической подготовки, практического опыта и интуиции экспертов группы;
- способности экспертов, наряду с научным методом, использовать творческое воображение, чтобы четко представить себе причины и последствия отклонения от режима работы;
- способности экспертов сохранять чувство меры, особенно при оценке степени выявленной опасности.

Так как экспертиза строго систематизирована и имеет четкую структуру, необходимо, чтобы лица, участвующие в ней, пользовались определенными терминами и правилами в установленном порядке.

Большое значение в анализе имеет определение полноты и достоверности информации. Для этого необходимо описывать проблемную ситуацию по определенной системе, сущностью которой является структура информации и логическая последовательность ее выполнения. Древнеримский теоретик ораторского искусства Марк Фабий Квинтилиан утверждал о том, что любую, сколь угодную сложную ситуацию можно полностью описать следующими семью вопросами: что, где, когда, кто, почему, с какой целью, при каких условиях. Эти вопросы определяют структуру сбора (изложения) информации и позволяют детализировать описание проблемной ситуации. Основные рекомендации, вытекающие из приведенного, выглядят следующим образом:
1. Описание проблемной ситуации должно быть полным, точным, кратким, носить аналитический характер.
2. Дать описание условий: место, время и сущность проблемы (ответы на вопросы: где? когда? что?).
3. Описать комплекс условий и провести анализ причин возникновения и развития проблемной ситуации (при каких условиях? почему?).
4. Определить принадлежность проблемы (кто?).
5. Оценить актуальность, срочность и новизну проблемы (с какой целью? когда нужно решать? было ли раньше?).
6. Определить взаимосвязь с другими проблемами (на что влияет?).
7. Оценить степень полноты и достоверности информации о проблемной ситуации (насколько полны и точны данные?).
8. Оценить возможность решения проблемы с учетом существующих условий (можно ли решить?).
9. Описание и анализ проблемной ситуации заканчивается краткой и емкой формулировкой путей решения.

ПОДБОР ЭКСПЕРТОВ
В группу входят специалисты, решающие технические вопросы и выполняющие вспомогательную работу. Для решения большинства задач важно иметь в группе необходимое количество специалистов высокой квалификации с достаточным практическим опытом работы, что позволит им самостоятельно ответить на большинство поставленных перед ними вопросов, не прибегая к дополнительной экспертизе.
Подбор количественного и качественного состава экспертов производится на основе масштабов изучаемой проблемы, достоверности оценок, характеристик экспертов и затрат ресурсов.

Широта исследуемой проблемы определяет необходимость привлечения к экспертизе специалистов различного профиля. Следовательно, минимальное число экспертов определяется количеством различных аспектов, направлений, которые необходимо учесть.

Например, проверка небольшого химического предприятия будет квалифицированно выполнена группой, включающей следующих специалистов:
- руководитель производства;
- руководитель проекта, ответственный за проект в целом;
- инженер-механик;
- инженер-химик;
- химик-аналитик (специалист, выполняющий научно-исследовательскую работу).

Состав группы может варьироваться в зависимости от типа проекта. Например, в некоторых случаях требуется включение в группу инженеров по контрольно-измерительным приборам и автоматике, инженеров-электриков, инженеров-строителей, инженеров-экологов и т.д.

Группа должна быть достаточно компетентной, чтобы разрабатывать соответствующие технические рекомендации.

Если некоторые члены группы назначаются из числа лиц, ответственных за проектирование системы, необходимо чтобы эти члены группы имели соответствующие полномочия для внесения определенных изменений.

Группа не должна быть слишком большой, иначе могут возникнуть определенные трудности в принятии решения; численность должна определяться поставленной задачей.

Очень важно, чтобы отношение всей группы в целом к исследованию носило положительный и конструктивный характер, поскольку успех исследования в основном зависит от творческого мышления членов группы. Это положительное отношение должно формироваться на самых ранних этапах исследования. Соответствующее обучение может оказать большую помощь в создании благоприятного психологического микроклимата при работе, требующей тщательного анализа, объективности и ответственности.

Характеристики группы экспертов определяются на основе индивидуальных характеристик экспертов: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, коллективизма, самокритичности, протокольности мышления.

В настоящее время перечисленные характеристики в основном оцениваются качественно. Для ряда характеристик имеются приближенные количественные оценки.

Компетентность - степень квалификации экспертов в определенной области знаний. Компетентность может быть определена на основе анализа деятельности специалиста, уровня и широты знакомства с достижениями науки и техники, понимания исследуемых проблем, возможных путей их развития.

Для количественной оценки уровня компетентности используется коэффициент компетентности, с учетом которого взвешивается мнение эксперта. Этот коэффициент определяется по априорным и апостериорным данным. При использовании априорных данных оценка коэффициента компетентности производится до проведения экспертизы на основе самооценки эксперта и взаимной оценки других экспертов. При использовании апостериорных данных оценка коэффициента компетентности производится на основе обработки результатов экспертизы.

Из множества методик определения коэффициента компетентности по априорным данным наиболее простой является методика оценки относительных коэффициентов компетентности по результатам высказывания специалистов о составе экспертной группы. Сущность этой методики заключается в следующем. Ряду специалистов предлагается высказать суждение о включении лиц в экспертную группу для решения определенной проблемы. Если в этот список попадают лица, не вошедшие в первоначальный список, то им также предлагается назвать специалистов для участия в экспертизе. Проведя несколько туров такого опроса, можно составить достаточно полный список кандидатов в эксперты. По результатам проведенного опроса составляется матрица, в ячейках которых проставляется переменная xij, равная

Причем каждый эксперт может включать или не включать себя в экспертную группу. По данным матрицы вычисляются коэффициенты компетентности как относительные веса экспертов по формуле
, где ki - коэффициент компетентности i-го эксперта, m - количество экспертов (размерность матрицы ((xij((). Коэффициенты компетентности нормированы так, что их сумма равна единице:.

Содержательный смысл коэффициентов компетентности, вычисленных по данным таблицы матрицы ((xij((, состоит в том, что подсчитывается сумма единиц (число "голосов"), поданных за i-го эксперта, и делится на общую сумму всех единиц. Таким образом, коэффициент компетентности определяется как относительное число экспертов, высказавшихся за включение i-го эксперта в список экспертной группы.

Креативность - это способность решать творческие задачи. В настоящее время, кроме качественных суждений, основанных на изучении деятельности экспертов, нет каких-либо предложений по оценке этой характеристики.

Конформизм - это подверженность влиянию авторитетов. Особенно сильно конформизм может проявиться при проведении экспертизы в виде открытых дискуссий. Мнение авторитетов подавляет мнение лиц, обладающих высокой степенью конформизма.

Отношение к экспертизе является очень важной характеристикой качества эксперта при решении проблемы. Негативное или пассивное отношение специалиста к решению проблемы, большая занятость и другие факторы существенно сказываются на выполнении экспертами своих функций. Поэтому участие в экспертизе должно рассматриваться как плановая работа.

Конструктивность мышления - это прагматический аспект мышления. Эксперт должен давать решение, обладающее свойством практичности. Учет реальных возможностей решения проблемы очень важен при проведении экспертного оценивания.

Коллективизм должен учитываться при проведении открытых дискуссий. Этика поведения человека в коллективе во многих случаях существенно влияет на создание положительного психологического климата и тем самым определяет успешность решения проблемы.

Самокритичность эксперта проявляется при самооценке степени своей компетентности, а также при принятии решения по рассматриваемой проблеме.

Протокольность мышления - способность к качественной и количественной точности в отображении явлений, не зависящая от психического состояния и настроения исследователя.

Перечисленные характеристики эксперта достаточно описывают необходимые качества, которые влияют на результаты экспертизы. Однако их анализ требует кропотливой и трудоемкой работы по сбору информации и ее изучению. Кроме того, как правило, часть характеристик эксперта оценивается положительно, а часть - отрицательно. Возникает проблема согласования характеристик и выбора экспертов с учетом противоречивости их качеств. Причем чем больше характеристик принимается во внимание, тем труднее принять решение о том, что важнее и что допустимо для эксперта. Для устранения указанной трудности необходимо сформулировать обобщенную характеристику эксперта, учитывающую его важнейшие качества, с одной стороны, и допускающую непосредственное ее измерение, с другой стороны. В качестве такой характеристики можно принять достоверность суждений эксперта, которая определяет его как "измерительный прибор". Однако применение такой обобщенной характеристики требует информации о прошлом опыте участия эксперта в решении проблем. В ряде случаев такой информации может не быть. Достоверность оценок эксперта количественно оценивают по формуле, где Ni - число случаев, когда i-й эксперт дал решение, приемлемость которого подтвердилась практикой, N - общее число случаев участия i-го эксперта в решении проблемы.

Вклад каждого эксперта в достоверность оценок всей группы определяется по формуле, где m - число экспертов в группе. В знаменателе стоит средняя достоверность группы экспертов.

ЭКСПЕРТНЫЕ ОЦЕНКИ
В случае ограниченных возможностей применения точных математических методов из-за отсутствия достаточно точной статистической и другой информации о надежностных показателях и технических характеристиках системы, а также надежных математических моделей, описывающих реальное состояние системы, экспертные оценки являются единственным средством решения задач безопасности.
Можно выделить два уровня использования экспертных оценок: качественный и количественный. Применение оценок на качественном уровне (определение возможного развития опасной ситуации из-за отказа системы, выбор окончательного варианта решения и др.) не вызывает сомнения. Возможность применения количественных, балльных экспертных оценок нередко оспаривается, а результаты подвергаются сомнению. При этом справедливо отмечается, что количественные или балльные оценки нередко скрывают неумение квалифицированно, на научной основе оценивать те или иные состояния, явления, пути развития ситуации. Очень часто выбор групповых решений на основе оценок отдельных экспертов проводится без анализа правомерности получения такого решения. Кроме того, в большинстве методик экспертных опросов не уделяется достаточно внимания обоснованию выбранной схемы интегрирования оценок, полученных на основе использования нескольких критериев, по которым ведется оценка состояния исследуемого объекта.

Ввиду отмеченного, применение экспертных оценок требует анализа их объективности и надежности. С одной стороны, нет гарантий, что полученные оценки достоверны, а с другой - существуют значительные трудности при проведении опроса экспертов и обработке полученных данных. Применяемые способы определения достоверности экспертных оценок основаны на предположении, что при согласовании действий экспертов эта достоверность обеспечена. Однако в ряде случаев эксперты, не согласные с мнением большинства, давали правильные оценки. Это объясняется психологией принятия решений в группе и распределением ответственности.

Следовательно, единодушие большинства экспертов не всегда является критерием достоверности оценок. Отсюда вытекает необходимость тщательного отбора экспертов. Дело в том, что при обсуждении многих вопросов, например определения развития опасной ситуации на предприятии вследствие отказа определенной системы, должны участвовать эксперты высокой квалификации, одного уровня подготовки, знающие цепь всего производства и могущие оценить весьма отдаленные последствия. Прогнозы, составленные "средними" экспертами, будут основаны на знаниях только отдельного вопроса.
Используя экспертные оценки, предполагают, что при решении проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, т.е. две группы одинаково компетентных экспертов с большей вероятностью дадут аналогичные ответы, чем два эксперта. Предполагается также, что совокупность индивидуальных ответов экспертов должна включать "истинный" ответ.

Зачастую оценки экспертов не обладают достаточной устойчивостью, т.е. эксперт может одни и те же события при нескольких повторных экспертизах оценить по-разному. Чем устойчивее оценки, тем больше можно им доверять. Однако на практике повторная экспертиза вследствие организационных, временных ограничений, финансовых трудностей применяется крайне редко.

При нахождении оценок экспертным путем, помимо погрешности, вызванной недостатком информации о событиях и недостаточной компетентностью экспертов, возможна и погрешность, обусловленная возможной заинтересованностью экспертов в результатах оценки. Такая погрешность может значительно искажать оценки и необходимо заранее предусмотреть меры для ее устранения.

Одним из показателей, характеризующих пригодность эксперта, является степень его надежности, т.е. относительная частота случаев, когда он приписывал более высокую вероятность событиям, которые впоследствии происходили.

ОПРОС ЭКСПЕРТОВ
В практике экспертизы и прогнозирования применяются как индивидуальные, так и групповые (коллективные) экспертные опросы. Основными целями использования индивидуальных экспертных оценок являются:
- прогнозирование развития событий и явлений, а также оценка их значимости в текущем периоде;
- анализ и обобщение результатов, представленных другими экспертами;
- составление сценариев развития ситуации;
- заключение о работе других специалистов или организаций (рецензии, отзывы, экспертизы и т.д.).
Опрос экспертов представляет собой заслушивание и фиксацию в содержательной и количественной форме суждений экспертов по решаемой проблеме. Проведение опросов является основным этапом современной работы групп экспертов. На этом этапе выполняются следующие процедуры:
- решение оганизационно-методических вопросов;
- постановка задачи и предъявление вопросов экспертам;
- информационное обеспечение работы экспертов.

Вид опроса по существу определяет разновидность метода экспертной оценки. Основными видами опроса являются: анкетирование, интервьюирование, метод "Дельфи", мозговой штурм (мозговая атака), дискуссия.
Выбор того или иного вида опроса определяется целями экспертизы, сущностью решаемой проблемы, полнотой и достоверностью исходной информации, располагаемым временем и затратами на проведение опросов. Рассмотрим содержание технологии проведения перечисленных выше опросов.

Анкетирование представляет собой опрос экспертов в письменной форме с помощью анкет. В анкете содержатся вопросы, которые позволяют выяснить существо и аргументацию ответов.

По типу основные вопросы классифицируются на открытые, закрытые и с веером ответов. Открытые вопросы предполагают ответ в произвольной форме. Закрытые вопросы - это такие вопросы, на которые ответ может быть дан в виде "да", "нет", "не знаю". Вопросы с веером ответов предполагают выбор экспертами одного из совокупности предполагаемых ответов.

Открытые вопросы целесообразно применять в случае большой неопределенности проблемы. Этот тип вопросов позволяет широко охватить рассматриваемую проблему, выявить спектр мнений экспертов. Недостатком такого типа вопросов является возможное разнообразие и произвольная форма ответов, что существенно затрудняет обработку анкет.

Закрытые вопросы применяются в случае рассмотрения четко определенных двух альтернативных вариантов, когда требуется по существу определить степень большинства мнений по этим альтернативам. Обработка закрытых вопросов не вызывает каких-либо трудностей.

Вопросы с веером ответов целесообразно использовать при наличии нескольких достаточно определенных альтернативных вариантов. Эти варианты формируются для ориентации экспертов по возможному кругу направлений в решении проблемы. Для получения более детальной информации по каждому вопросу могут быть предложены порядковая и балльная шкалы. Эксперт по каждому ответу выбирает значение порядковой и балльной оценок. Например, значениями порядковой шкалы могут быть "очень хорошо", "хорошо", "удовлетворительно", "неудовлетворительно" или "значительно", "незначительно", "не влияет" и т.п. Обработка анкет с вопросами этого типа по сложности занимает промежуточное место между открытыми и закрытыми вопросами.

Если анкетирование проводится в несколько туров, то целесообразно при большой сложности и неопределенности проблемы вначале использовать открытые типы вопросов, а на последующих турах - с веером ответов и закрытые типы.

Интервьюирование - это устный опрос, проводимый в форме беседы-интервью. Для подготовки беседы опрашивающий разрабатывает вопросы к эксперту. Характерной особенностью этих вопросов является возможность быстрого ответа на них экспертом, поскольку он практически не имеет времени на обдумывание.

Тематика интервью сообщается эксперту заранее, но конкретные вопросы ставятся непосредственно в процессе беседы. Целесообразно в связи с этим готовить последовательность вопросов, начиная от простого и постепенно их углубляя и усложняя, но вместе с тем конкретизируя.

Достоинством этого метода является непрерывный живой контакт с экспертом, что позволяет быстро получить необходимую информацию путем прямых и уточняющих вопросов в зависимости от ответов эксперта.

Недостатками интервью являются возможность сильного влияния опрашивающего лица на ответы экспертов, отсутствие времени для глубокого обдумывания ответов и большие затраты его на опрос всего состава экспертов.

Интервьюер должен хорошо знать анализируемую проблему, уметь четко формулировать вопросы, создать непринужденную обстановку и уметь слушать.

Метод "Дельфи" (название взято из истории Дельфийского оракула при храме Аполлона в г.Дельфы, Древняя Греция). Этот метод (иногда именуется метод "Дельфы") является одним из наилучших методов использования суждения экспертов, предусматривающий проведение опросов в несколько туров. Он представляет собой многотуровую процедуру анкетирования с обработкой и сообщением результатов каждого тура экспертам, работающим инкогнито по отношению друг к другу. Процесс выработки суждений экспертами здесь управляется проводящей опрос рабочей группой через обратную связь.

В первом туре экспертам предлагаются вопросы, на которые они дают ответы без аргументирования. Известные примеры применения метода "Дельфи" связаны с постановкой вопросов, требующих в качестве ответов цифровой оценки параметров. Полученные от экспертов данные обрабатываются с целью выделения среднего или медианы и крайних оценок значений. Экспертам сообщаются результаты обработки первого тура опроса с указанием расположения оценок каждого эксперта. Если оценка эксперта сильно отклоняется от среднего значения, то его просят аргументировать свое мнение или изменить оценку.
Во втором туре эксперты аргументируют или изменяют свою оценку с объяснением причин корректировки. Результаты опроса во втором туре обрабатываются и сообщаются экспертам. Если после первого тура производилась корректировка оценок, то результаты обработки второго тура содержат новые средние и крайние значения оценок экспертов. В случае сильного отклонения своих оценок эксперты должны аргументировать или изменить свои суждения, пояснив причины корректировки.

Проведение последующих туров осуществляется по аналогичной процедуре. Обычно после третьего или четвертого тура оценки экспертов стабилизируются, что служит критерием прекращения дальнейшего опроса.

Итеративная процедура опроса с сообщением результатов обработки после каждого тура обеспечивает лучшее согласование мнений экспертов, поскольку эксперты, давшие сильно отклоняющиеся оценки, вынуждены критически осмыслить свои суждения и обстоятельно их аргументировать. Необходимость аргументации или корректировки своих оценок не означает, что целью экспертизы являются получение полной согласованности мнений экспертов. Конечным результатом может оказаться выявление двух или более групп мнений, отражающих принадлежность экспертов к различным научным школам, ведомствам или категориям лиц. Получение такого результата является также полезным, поскольку позволяет выяснить наличие различных точек зрения и поставить задачу на проведение исследований в данной области.
При проведении опроса сохраняется анонимность ответов экспертов по отношению друг к другу. Это обеспечивает исключение влияния конформизма, т.е. подавления мнений за счет "веса" научного авторитета или должностного положения одних экспертов по отношению к другим.

Исследования эффективности этого метода показали, что по мере проведения туров опроса разброс мнений экспертов уменьшается и групповое мнение в виде медианы индивидуальных оценок становится точнее. Основным фактором повышения точности ответов является итеративная процедура опроса с сообщением результатов обработки экспертам и указанием конкретного места оценки каждого эксперта.
Для повышения эффективности проведения экспертизы по методу "Дельфи" необходимо автоматизировать процесс фиксации, обработки и сообщения экспертам информации.

Мозговой штурм (мозговая атака) представляет собой групповое обсуждение с целью получения новых идей, вариантов решений проблемы. Характерной особенностью этого вида экспертизы является активный творческий поиск принципиально новых решений в трудных тупиковых ситуациях, когда известные пути и способы решения оказываются непригодными. Для поддержания активности и творческой фантазии экспертов категорически запрещается критика их высказываний. Свободные высказывания способствуют коллективной генерации идей. С помощью этого метода можно решать многие важные задачи безопасности, например:
- задачи определения вариантов выбора систем защиты, один из которых является оптимальным;
- задачи, решение которых требует параллельного или последовательного использования ряда разнообразных методов защиты;
- задачи, решение которых требует выявления факторов, учитываемых при определении окончательного решения.

Подобием коллективной генерации идей в практической работе можно считать всякого рода оперативные совещания.

Основные правила организации и методика проведения мозгового штурма заключается в следующем. Осуществляется подбор экспертов в группу до 20-25 человек, в которую включаются специалисты по решаемой проблеме и специалисты с широкой эрудицией и богатой фантазией, причем необязательно хорошо знающие рассматриваемую проблему. Желательно включение в группу лиц, занимающих одинаковое служебное и общественное положение, имеющих одинаковый научный вес, что обеспечивает независимость высказываний.

Для проведения заседания назначается ведущий, основной задачей которого является управление ходом обсуждения для решения поставленной проблемы. Ведущий в начале заседания объясняет содержание и актуальность проблемы, правила ее обсуждения и предлагает для рассмотрения одну-две идеи.

Обсуждение длится час без перерыва. Для выступления предоставляется 2-3 минуты и они могут повторяться. В каждом выступлении эксперты должны стремиться выдвинуть как можно больше новых, может быть, на первый взгляд, фантастических идей или развивать ранее выдвинутые идеи, дополняя и углубляя их. Важным требованием к выступлениям является конструктивный характер идей и предложений. Они должны быть направлены на решение проблемы. Ведущий и все члены экспертной группы должны своими действиями и высказываниями способствовать созданию всеобщей синхронно работающей коллективной мысли, возбуждению мыслительных процессов, что существенно влияет на результативность обсуждений.

В процессе генерирования идей и их обсуждения прямая критика запрещена, однако она имеет место в неявной форме и выражается в степени поддержки и развития высказываний.

Выступления экспертов фиксируются путем стенографирования или магнитофонной записи и после окончания заседания подвергаются анализу, который заключается в группировке и классификации высказанных идей и решений по различным признакам, оценке степени полезности и возможности реализации. Примерно через сутки-двое экспертов просят сообщить, не возникли ли еще какие-нибудь новые идеи и решения. Практика показывает, что если в процессе заседания была создана хорошая творческая обстановка с активным участием всех экспертов, то после окончания обсуждения в мозге человека продолжается процесс генерации и анализа своих и других предложений, который протекает не только осознанно, но и подсознательно. В результате сопоставления высказываний, проведения аналогий и обобщения часто, примерно через сутки, эксперты формулируют наиболее ценные предложения и идеи. Поэтому сбор информации по возможным новым идеям способствует повышению эффективности метода мозгового штурма.

Существует ряд разновидностей мозгового штурма, в которых предлагается чередовать пятиминутные штурмы с обдумыванием его результатов, чередовать периоды генерации с дискуссиями и групповым принятием решений, применять последовательные этапы выдвижения предложений и их обсуждения, включать в группу экспертов "усилителей" и "подавителей" идей и т.п. Мозговой штурм применяется для решения разнообразных прикладных проблем.

Дискуссия. Этот вид экспертизы широко применяется на практике для обсуждения проблем, путей их решения, анализа различных факторов и т.п. Группа экспертов для проведения дискуссии должна быть не более 20 человек. Группа управления проводит предварительный анализ проблем дискуссии с целью четкой формулировки задач, определения требований к экспертам, их подбора и методики проведения дискуссии.
Сама дискуссия проводится как открытое коллективное обсуждение рассматриваемой проблемы, основной задачей которого является всесторонний анализ всех факторов, положительных и отрицательных последствий, выявление позиций и интересов участников.

В ходе дискуссии разрешается критика.

Дискуссия может проводиться несколько часов и поэтому необходимо определить регламент работы: время на доклад ведущего и выступления, проведение перерывов. Следует иметь в виду, что во время перерывов дискуссия продолжается, т.е. имеют место кулуарные обсуждения. В связи с этим не следует делать перерывы слишком короткими, поскольку локальные обсуждения дают положительный эффект.

Результаты дискуссии фиксируются в виде стенограмм или магнитной записи. После окончания дискуссии проводится анализ этих записей для более четкого представления основных результатов, выявления различий в мнениях. Также как и при мозговом штурме примерно через сутки после окончания дискуссии может собираться дополнительная информация от экспертов.

Рассмотренные виды опроса дополняют друг друга и в определенной мере являются взаимозаменяемыми. Для генерации новых идей, направленных на решение проблем, целесообразно применять мозговой штурм, дискуссии, анкетирование и метод "Дельфи" (первые два тура).

Всесторонний критический анализ может быть проведен в форме дискуссии. Для количественной и качественной оценки свойств, параметров, времени и других характеристик исследуемых объектов применяются анкетирование и метод "Дельфи". Интервьюирование целесообразно использовать для уточнения результатов, полученных другими видами экспертизы.

Некоторые замечания о групповом экспертном опросе. Отдельный эксперт в ряде случаев может быть очень полезным как источник сведений и советник для руководителя, принимающего решения. Работа, выполненная одним экспертом, может обобщить мнения многих специалистов и дать полезные исходные данные для анализа. К числу групповых экспертных опросов относятся:
- открытое обсуждение вопросов с последующим открытым или закрытым голосованием;
- закрытое обсуждение (обсуждение без прямого контакта его участников при сохранении анонимности их мнений) с последующим закрытым голосованием или заполнением анкет экспертного опроса;
- свободное высказывание без обсуждения и голосования. Опыт показал, что открытое обсуждение поставленных перед группой экспертов вопросов до достижения определенного согласия между ними или до выработки общей позиции имеет ряд существенных недостатков. К ним относятся, в частности, взаимное влияние суждений экспертов и нежелание их отказываться от мнений, ранее высказанных публично. Поэтому при подготовке решений все более широко применяется закрытое обсуждение и свободное высказывание.

Закрытому обсуждению также свойственен ряд недостатков:
- отсутствие дискуссии;
- усложнение обратной связи из-за неточности формулировок, недоразумений или ошибок;
- относительно большой срок между запросом и ответом;
- трудности или ошибки в понимании причин высказанного мнения и неясности по поводу его источников.
Эти недостатки могут быть существенно уменьшены при сочетании письменной и устной форм опросов.

Закрытое обсуждение можно подразделить на две категории:
- опрос, проводимый в один тур, путем одноразового заполнения анкет, и опрос, проводимый в несколько туров, путем многократного заполнения анкет экспертного опроса для последовательного уточнения оценок.

ОЦЕНКА СОГЛАСОВАННОСТИ СУЖДЕНИЙ ЭКСПЕРТОВ
При оценке объектов исследования эксперты зачастую расходятся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности позволяет более обоснованно интерпретировать причины расхождения мнений.

Оценка согласованности суждения экспертов основывается на использовании понятия компактности, наглядное представление о котором дает геометрическая интерпретация результатов экспертизы. Оценка каждого эксперта представляется как точка в некотором пространстве, в котором имеется понятие расстояния. Если точки, характеризующие оценки всех экспертов, расположены на небольшом расстоянии друг от друга, т.е. образуют компактную группу, то, очевидно, можно это интерпретировать как хорошую согласованность мнений экспертов. Если же точки в пространстве разбросаны на большие расстояния, т.е. не принадлежат одной области, то согласованность мнений экспертов невысокая. Возможно, что точки - мнения экспертов - расположены в пространстве так, что образуют две или несколько компактных групп. Это означает, что в экспертной группе существуют две или несколько существенно отличающихся точек зрения на оценку объектов исследования. Может быть область точек, не образующих совокупности мнений - размытая область. В этом случае не удалось обнаружить точек зрения на решаемую проблему. Лицо, принимающее решение, может повторить экспертизу или принять какое-либо решение самостоятельно.

Конкретизация изложенной идеи оценки согласованности мнений экспертов производится в зависимости от использования количественных или качественных шкал измерения и выбора меры степени согласованности.

При использовании количественных шкал измерения и оценке всего одного объекта все мнения экспертов можно представить как точки на числовой оси. Эти точки можно рассматривать как реализации случайной величины и поэтому для оценки центра группировки и разброса точек представляется возможным использовать хорошо разработанные методы математической статистики. Центр группировки точек можно определить как математическое ожидание (среднее значение) или медиану случайной величины, разброс количественно оценивается дисперсией случайной величины. Мерой согласованности оценок экспертов, т.е. компактности расположения точек на числовой оси, может служить отношение среднеквадратического отклонения к математическому ожиданию случайной величины.

Если объект оценивается несколькими числовыми параметрами, то мнение каждого эксперта представляется как точка в пространстве параметров. Центр группировки точек опять вычисляется как математическое ожидание вектора параметров, а разброс точек - дисперсией вектора параметров. Мерой согласованности суждений экспертов может служить в этом случае сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат. Мерой согласованности может служить количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания, ко всему количеству точек. Различные методы определения согласованности количественных оценок на основе понятия компактности (близости) рассматриваются в теории группировок и распознавания образов.

При измерении объектов в порядковой шкале согласованность оценок экспертов в виде ранжировок или парных сравнений объектов также основывается на понятии компактности.

Метод простого ранжирования заключается в том, что каждый эксперт располагает признаки в порядке предпочтения. Цифрой 1 обозначается наиболее важный признак, цифрой 2 - следующий по важности и т. д. Полученные результаты сводятся в таблицу, общий вид которой представлен в таблице 8.6.1.

Таблица 8.6.1
Сводная таблица результатов

После того, как данные от экспертов собраны, проводится обработка полученных оценок.

При ранжировании объектов используется мера согласованности мнений группы экспертов - дисперсионный коэффициент конкордации (коэффициент согласия).

Рассмотрим матрицу (табл.8.6.1) результатов ранжировки m объектов группой из d экспертов
||r_is|| ,

где r_is - ранг, присваиваемый s-экспертом i-му объекту. Составим суммы рангов по каждой строке. В результате получим вектор с компонентами
.

Будем рассматривать величины r_i как реализации случайной величины и найдем оценку дисперсии. Как известно, оптимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой:
, (8.1)

где - оценка математического ожидания (средний ранг), равная

. (8.2)

Дисперсионный коэффициент конкордации определяется как отношение оценки дисперсии (8.1) к максимальному значению этой оценки:
. (8.3)

Коэффициент конкордации изменяется от нуля до единицы, поскольку 0£D£D_max.
Максимальное значение дисперсии равно
. (8.4)
Введем обозначение
. (8.5)
Используя (8.5), запишем оценку дисперсии (8.1) в виде
. (8.6)
Подставляя (8.4), (8.6) в (8.3) и сокращая на множитель (m-1), запишем окончательное выражение для коэффициента конкордации
. (8.7)

Данная формула определяет коэффициент конкордации для случая отсутствия связных рангов. При W=0 согласованность оценок различных экспертов отсутствует, а при W=1 согласованность мнений экспертов полная.

При крайних коэффициентах конкордации могут быть даны следующие рекомендации. Если W=0, то для получения достоверных оценок следует уточнить исходные данные о событиях и (либо) изменить состав группы экспертов. При W=1 не всегда можно считать оценки объективными, поскольку может оказаться, что все члены экспертной группы условились придерживаться одинаковых взглядов.

Необходимо, чтобы найденное значение W было больше заданного значения W_З (W>W_З). Обычно принимается W=0,5, т.е. при W>0,5 выводы экспертов согласованы в большей мере (сходятся в оценке событий), чем несогласованы. При W<0,5 оценки нельзя считать в достаточной степени согласованными.

При наличии связных рангов коэффициент конкордации вычисляется по формуле

, (8.8)

где

, (8.9)

В формуле (8.9) T_s - показатель связных рангов в s-й ранжировке, H_s - число групп равных рангов в s-й ранжировке, h_k - число равных рангов в k-й группе связных рангов при ранжировке s-м экспертом. Если совпадающих рангов нет, то H_s=0, h_k=0 и, следовательно, T_s=0. В этом случае формула (9.8) совпадает с формулой (8.7).

Коэффициент конкордации представляет собой случайную величину. Оценка значимости W может быть произведена по критерию Пирсона c². Величина d(m-1)W имеет c² = распределение с n = m-1 степенями свободы.

При наличии связных рангов c² = распределение с n = m-1 cтепенями свободы имеет величину

. (8.10)

ПРИМЕР 1. Результаты ранжировки шести объектов (X₁, X₂, X₃, X₄, X₅ и X₆) пятью экспертами (s₁, s₂, s₃, s₄, s₅) представлены в табл.8.6.2

Таблица 8.6.2
Сводная таблица результатов ранжирования

Вычислим коэффициент конкордации и произведем оценку его значимости. Среднее значение по формуле (8.2) равно
.
Величина S в соответствии с формулой (8.5) равна
.
Поскольку в ранжировке имеются связные ранги, то вычисление коэффициента конкордации выполняется по формуле (8.8). Предварительно вычисляются T_s, используя формулу (8.9). В данном примере из табл. 8.6.2 следует, что в ранжировке экспертом s₁ имеется одна группа связных рангов, поэтому Н₁=1, а в этой группе содержится два связных ранга, равных 2,5, поэтому k=1 и h₁=2. Отсюда Т₁=2³-2=6. Аналогичным образом вычисляются Т₂...Т₅:
Ò₂=3³-3=24; Ò₃=2³-2+2³-2=12; Ò₄=2³-2+2³-2=12; Ò₅=2³-2=6.
Подставляя значения Т_s, S и m=6, d=5 в формулу (8.8) и произведя вычисления, получаем
W = 12´361 / [5²(6³-6)-5´60] = 0,874.

Оценим значимость коэффициента конкордации. В данном случае число степеней свободы n=m-1=6-1=5. Табличное значение для n=5 и 5% уровня значимости равно 11,07 (табл. 8.6.2). Вычисляя значение c² по формуле (8.10), получаем

c² = 12´361 / [5´6´7 - 0,25´60] = 21,8.

Поскольку 11,07<21,8, то гипотеза о согласии экспертов в ранжировках принимается.

ГРУППОВАЯ ОЦЕНКА И ВЫБОР ПРЕДПОЧТИТЕЛЬНОГО РЕШЕНИЯ
После того, как каждый эксперт произвел ранжирование объектов исследования (мероприятий, вариантов, схем и пр.), необходимо дать обобщенную групповую оценку, упорядочить оцениваемые варианты и выбрать наиболее предпочтительный.

В соответствии с гипотезой о том, что эксперты являются достаточно "точными измерителями", групповая оценка строится на основе применения методов сравнения. Это соответствует тому, что индивидуальные оценки экспертов образуют компактную группу и в качестве наиболее согласованной групповой оценки используется математическое ожидание (среднее значение) или медиана (наиболее вероятная оценка).

Таблица 8.7.1

Рассмотрим наиболее простой (но достаточно надежный и универсальный) метод, когда эксперты производят измерение объектов в порядковой шкале путем ранжирования, где величины r_is есть ранги. Задачей обработки является построение обобщенной ранжировки по индивидуальным ранжировкам экспертов. В этом случае используется метод парных сравнений, который целесообразно рассмотреть в виде последовательности шагов.

1. Каждый эксперт проводит попарную оценку приоритетности признаков и заполняет свою матрицу парных сравнений Е_s = ||I_iks||, элементы которой в зависимости от выбора эксперта определяются по правилу:
(8.11)
где r_is и r_ks - ранги, ранее присвоенные s-экспертом i-му и k-му объектам. Поскольку имеется d экспертов и каждый из них дает свою матрицу парных сравнений (МПС), то число МПС равно числу экспертов.

ПРИМЕР 2. Дана ранжировка объекта одним экспертом (s₁):

О1	О2	О3	О4	О5

 

В этом случае элементы следует записать как: О₁>O₂ O₃>O₄>O₅. Составим таблицу МПС и произведем парное сравнение по строкам согласно правилу (8.11), при этом оценка будет выглядеть следующим образом:
строка 1: О₁=О₁[1]; О₁>О₂[1]; О₁>О₃[1]; О₁>О₄[1]; О₁>О₅[1];
строка 2: О₂<О₁[0]; О₂=О₂[1]; О₂=О₃[1]; О₂>О₄[1]; О₂>О₅[1] и далее аналогичным порядком. Тогда МПС для этой ранжировки примет вид:

	О1	О2	О3	О4	О5
О1
О2
О3
О4
О5

 

2. Определяется сумма матриц всех экспертов. Суммирование проводится по элементам матриц и может быть представлено следующей формулой:
. (8.12)
3. Определяется результирующая матрица, каждый элемент которой определяется по правилу:
(8.13)
4. Находится сумма баллов, которую набрал каждый признак k:
. (8.14)

ПРИМЕР 3. Для уменьшения выбросов вредных веществ в атмосферу на сталелитейном заводе предлагается четыре альтернативных варианта фильтрации отходящих газов. Для оценки этих вариантов была создана группа из пяти экспертов. Был использован метод парных сравнений. На основе парных сравнений альтернативных вариантов от каждого эксперта получены МПС, показанные ниже.

Эксперт 1		Эксперт 2
Меро­приятия	М1	М2	М3	М4		Меро­приятия	М1	М2	М3	М4
М1						М1
М2						М2
М3						М3
М4						М4

 

Эксперт 3		Эксперт 4
Меро­приятия	М1	М2	М3	М4		Меро­приятия	М1	М2	М3	М4
М1						М1
М2						М2
М3						М3
М4						М4

 

Эксперт 5
Меро­приятия	М1	М2	М3	М4
М1
М2
М3
М4

Суммируя полученные МПС от каждого эксперта, получаем матрицу:

Мероприятия	М1	М2	М3	М4
М1
М2
М3
М4

Поскольку число экспертов равно пяти, результирующую матрицу следует определить по правилу (8.13) на базе сопоставления с порогом d/2 = 5/2 = 2,5:

Меро­приятия	М1	М2	М3	М4
М1
М2
М3
М4

Проведя суммирование элементов результирующей матрицы по строкам, получим баллы, которые набрали варианты фильтрации (мероприятия) на основе проведенной экспертизы: М1 - 3 балла, М2 - 4 балла, М3 - 1 балл, М4 - 2 балла. Наибольшее число баллов набрал вариант М2, который, по мнению экспертов, представляется наиболее приоритетным и получает 1 ранг.

ПРИНЯТИЕ РЕШЕНИЯ
После установления опасностей руководитель группы должен удостовериться, что все ее члены имеют четкое представление о них. Только после этого можно приступать к обсуждению и принимать принципиальные решения по следующим вопросам:
- участок для размещения системы;
- местоположение системы в пределах отведенного участка (границы участка, расположение других установок и т.д.);
- отдельные элементы, требующие специальной доработки для устранения возможных опасностей;
- проведение дополнительных исследований для получения информации (токсичность, воспламеняемость и т.д.), необходимой для разработки эффективных мер защиты конструкции.

Первый шаг, предпринимаемый в технологии решения, заключается в анализе проблем и формировании решения.

Анализ проблем. Необходимо найти причину определенной ситуации. Процесс заключается из нескольких последовательных шагов:
- сборе фактов, относящихся только к рассматриваемой проблеме (опасности, системе);
- рассмотрение возможного соотношения "причина-последствие" среди отобранных фактов;
- исключение второстепенных, незначащих факторов;
- выявление конечной причины и определение проблемы.
Формирование решения. После определения проблемы необходимо принимать решения для ее разрешения. Процесс решения может рассматриваться в виде следующей логической последовательности:
- определение желаемых целей;
- подготовка альтернативных решений;
- проверка разных решений;
- выбор наилучшего варианта.

Участие и качество решения. Участие экспертов в выработке решения является необходимым, так как руководитель группы может упустить из вида ряд важных обстоятельств.

Качество группового решения лучше качества индивидуальных решений. Группа, по сравнению с отдельными экспертами, находится в лучшем положении для решения сложных проблем в силу того, что каждое отдельное лицо обладает конкретной информацией по отдельной проблеме.

Для окончательного этапа - принятия решения, возможны две совершенно противоположные точки зрения:
- устранять каждую опасность по мере ее выявления, прежде чем переходить к поиску следующей опасности;
- не начинать решения проблемы до выявления всех опасностей.

На практике всегда можно найти компромисс. С другой стороны, если системе угрожает разрушение, или ее опасное состояние повлечет за собой угрозу здоровью и безопасности людей как на предприятии, так и вне его, следует немедленно принимать решение на исключение такого рода опасных состояний.
Любая серьезная проблема должна решаться на основе получения более полной информации с последующей корректировкой наряду с эффективным контролем за проведением исследований.
Иногда результатом обсуждений проблемы в основном (или исключительно) являются вопросы, ответы на которые должны быть получены позже. Руководитель группы должен подобрать эти вопросы и распространить их среди членов группы. Через некоторое время группа снова собирается на совещание, которое называется "Заседание по оценке и действиям". На этих заседаниях рассматривается каждый вопрос, отмечается прогресс и там, где это возможно, принимаются решения. На одном таком заседании могут рассматриваться результаты двух и трех предшествующих совещаний экспертов.

При обнаружении опасности необходимо, как можно быстрее, принять решение относительно мероприятий по обеспечению безопасной эксплуатации системы, так как в большинстве случаев уже известны способы решения проблемы.

РАБОТА НА ЗАВЕРШАЮЩЕМ ЭТАПЕ
Работа после завершения заседания экспертов обычно состоит в следующем. В случае принятия решений относительно изменений в конструкции или в режимах работы системы, информация об этом должна быть доведена до сведения ответственных лиц, а также должны быть приняты практические меры по устранению опасностей.

Можно предложить следующие виды действий по устранению опасностей:
- изменения в производственном процессе (рецептура, материалы и т.д.);
- изменение условий процесса (давление, температура и т.д.);
- изменения в конструкции;
- изменение режима работы.

Очень важно рассмотреть широкий диапазон возможных действий, имея в виду, что каждую опасность можно и должно устранить простым и в месте с тем эффективным приемом.

При выборе возможных корректирующих действий целесообразно разделить их на две категории:
- действия по устранению причин опасности;
- действия по ликвидации последствий.

В общем, гораздо эффективнее устранять причину опасности, а при условии проведения экспертизы на стадии проектирования это может быть выполнено без особых затрат. В случае невозможности быстрого устранения опасности группа должна рассмотреть рекомендации по обеспечению защиты работающих и оборудования при аварии.

Устранение опасности - набор определенных действий, предусматривающий рассмотрение ряда возможностей по их предотвращению.

Для иллюстрации рассмотрим химический реактор, при обследовании которого на заседании экспертов обнаружено, что поступление в него примеси с исходными материалами может вызвать в нем внезапное выделение газа и повышение давления.

Допустим, что опасность можно ликвидировать следующим образом:
1) устранив возможность выделения газа путем замены исходного материала;
2) устранив возможность выделения газа с помощью изменения одного из условий технологического процесса;
3) установив соответствующие предохранительные клапаны и газоотводную систему для обеспечения защиты.

Решение 1 дает 100%-ю эффективность и должно быть выбрано в первую очередь.

К решению 2 следует относиться с осторожностью, так как оно зависит от надежности системы управления (системы регулирования), определяющей условия технологического процесса.

Решение 3 даст положительный результат только при условии установки специальной системы для отвода выделяющегося в реакторе газа и достаточной надежности этой системы.

После принятия решений об изменении конструкции, рабочего режима и других мероприятий часто возникает необходимость в повторной проверке проекта для того, чтобы удостовериться, что эти изменения не вызовут новые, непредвиденные опасности.

И, наконец, следует подчеркнуть, что работа не должна завершаться до устранения всех выявленных опасностей путем применения соответствующих мер.

Выполнение этих целей поможет как администрации предприятия, так и местным органам власти в оценке уровня безопасности систем, даст фактическую информацию о предприятии, производственных процессах и зданиях, расположенных по соседству с ним, а также позволит судить о характере, вероятности и масштабе потенциальных крупных аварий и методах их контроля.

Наконец, если произойдет авария или несчастный случай, власти должны сразу же иметь об этом информацию, независимо от той, которая им представляется для контроля аварийных ситуаций вне производственных территорий, когда очень важно установление незамедлительного контакта с администрацией производства.

МЕРОПРИЯТИЯ, МЕТОДЫ И СРЕДСТВА ОБЕСПЕЧЕНИЯ НАДЕЖНОСТИ И БЕЗОПАСНОСТИ ТЕХНИЧЕСКИХ СИСТЕМ
Пути обеспечения надежности разнообразны и могут быть связаны с повышением стойкости изделия к внешним воздействиям. Например, для механических систем относят методы создания прочных, жестких, износостойких узлов за счет их рациональной конструкции, применение материалов с высокой прочностью, износостойкостью, антикоррозийностью, теплостойкостью и т.д. Другой путь обеспечения достаточной надежности - это их изоляция от вредных воздействий: установка машины на фундамент, защита поверхностей от запыления и загрязнения, создание специальных условий по температуре и влажности, применение антикоррозийных покрытий, виброизолирующих устройств и т.д.

Активным средством для решения проблемы надежности и безопасности является применение автоматики для обеспечения длительного выполнения системой своего служебного назначения в различных условиях эксплуатации.

Не менее значимым является обучение персонала вопросам безопасной эксплуатации технических систем.
Для недопущения отказов конструктивного, производственного и эксплуатационного характера существуют типовые мероприятия, методы и средства предупредительного, контролирующего и защитного характера, обеспечивающие надежность и безопасность технических систем. Их применяют на различных этапах жизненного цикла системы - в процессе проектирования, на последующих стадиях создания и эксплуатации системы.

СТАДИЯ ПРОЕКТИРОВАНИЯ ТЕХНИЧЕСКИХ СИСТЕМ
Предупредительные: использование отработанных методов и средств обеспечения надежности; анализ альтернативных проектно-конструкторских решений и выбор наилучших; создание запасов работоспособности по нагрузкам и отказам различных видов; использование резервирования; выбор высоконадежных комплектующих элементов, материалов; создание контролепригодных и ремонтопригодных элементов; обучение проектантов, конструкторов, испытателей передовым методам и способам обеспечения надежности; установление проектных норм надежности и норм испытаний при экспериментальной отработке; разработка новых средств контроля и диагностики.

Контрольные: экспериментальная проверка технических решений, особенно новых; проверка всех режимов функционирования; автономные и комплексные испытания; контроль и корректировка конструкторской документации; экспериментальная проверка запасов работоспособности во всех режимах функционирования; контроль надежности; контроль качества труда исполнителей, самоконтроль.
Защитные: анализ видов и последствий отказов; введение специальных приборов в состав системы, обеспечивающих безопасность при возникновении отказов; отработка основных отказовых режимов функционирования; тренировка персонала; реализация технических решений по локализации отказов; применение оперативного контроля и управление функционированием; обеспечение сохранения работоспособности элемента при отказах в системах; разработка системы обслуживания и восстановления техники.

СТАДИЯ ИЗГОТОВЛЕНИЯ ТЕХНИЧЕСКИХ СИСТЕМ
Предупредительные: выбор прогрессивных и стабильных технологических процессов; отработка новых технологических процессов и средств контроля до начала пуска производства; отработка и корректировка технологической документации; обучение и аттестация производственного персонала к работе на ответственных операциях; надзор за состоянием производственного оборудования и средств контроля.
Контрольные: проведение входного пооперационного и выходного контроля; проверка режимов запасов; контрольно-технологические испытания; контроль качества труда исполнителей, самоконтроль; авторский надзор; контроль качества и стабильности технологических процессов.

Защитные: использование избыточности (дублирование) в оборудовании и средствах контроля; введение блокировок в ответственные технологические процессы; разработка системы обслуживания и восстановления производственного оборудования и средств контроля.

СТАДИЯ ЭКСПЛУАТАЦИИ ТЕХНИЧЕСКИХ СИСТЕМ
Предупредительные: использование автоматизированных средств контроля и поиска неисправностей; отработка эксплуатационно-технической документации; проведение предварительных регламентных работ; оценка и прогнозирование технического состояния и надежности; аттестация и обучение персонала.
Контрольные: автоматизированная регистрация и обработка информации о командах, отказах и неисправностях; контроль качества; самоконтроль; гарантийный надзор.

Защитные: проведение оперативных доработок; использование автоматических средств защиты; использование запасных частей, обменного фонда; анализ последствий отказов и реализация защитных мероприятий; обучение и аттестация персонала для работы при возникновении отказов.