В зависимости от формы представления критерий позволяет ответить на один из следующих вопросов.
1. Является ли альтернатива допустимой, иначе говоря, может ли она при условии, что остальные будут хуже, рассматриваться как решение задачи?
2. Является ли альтернатива удовлетворительной, иначе говоря, можно ли ее рассматривать в качестве решения задачи управления независимо от других альтернатив?
3. Какая из двух сравниваемых альтернатив лучше?
4. Является ли альтернатива оптимальной?
Критерии, отвечающие на вопросы первого или второго типов, называются критериями допустимости. Критерии, отвечающие на вопросы третьего и четвертого типов, — критериями оптимальности (сравнения). Различия между этими двумя типами критериев очень интересны. Практика показывает, что в ответ на просьбу сформулировать критерий принятия какого-либо решения респонденты, как правило, предлагают именно критерий допустимости: их формулировать проще. В то же время использование только критериев допустимости не позволяет сравнить хотя бы две альтернативы (если они обе допустимы, то для того чтобы решить, какая из них лучше, потребуется критерий оптимальности).
Чтобы оценить какую-либо альтернативу с использованием критерия допустимости, нужна только сама эта альтернатива. Для оценки по критерию оптимальности (сравнения) нужны, по крайней мере, две альтернативы.
Введение в задачу принятия решения дополнительного критерия допустимости очевидным образом сужает множество допустимых вариантов решений. Если же в задачу ввести дополнительный критерий оптимальности, то множество вариантов решений, заслуживающих детального рассмотрения с учетом значения, придаваемого каждому из критериев (это множество вариантов, как мы увидим далее, называется эффективным множеством), напротив, расширится.
Следует отличать критерий принятия решения от показателя. Часто говорят: «Критерием выбора решения является прибыль». Строго говоря, прибыль — это показатель функционирования компании. Критерий как инструмент, позволяющий ответить на один из вышеперечисленных четырех вопросов, должен содержать требование к значению этого показателя. Например, «прибыль должна быть максимально возможной». Отсюда следует, что из двух сравниваемых альтернатив лучше та, которая обеспечивает большее значение показателя прибыли. Или: «прибыль должна быть не меньше определенной величины». Такая формулировка позволяет ответить на вопрос о допустимости альтернативы (она допустима, только если обеспечивает получение прибыли в объеме не менее установленной величины).
В целом соотношение между понятиями показателя и критерия наглядно передает рис.3.
Рис 3.Соотношение между понятиями цель-свойство-критерий-показатель
Исходным в рассматриваемом ряду понятий является понятие цели, определяемой как сформулированное требование к свойству объекта управления. Например, цель может быть определена как подбор работника с большим опытом на определенную вакантную должность. (Заметим сразу, что это лишь одна в ряду целей, которые мы преследуем при решении задачи подбора работника на должность: необходимыми могут оказаться также соответствующее образование, способность работать в команде, готовность к командировкам и т.д.). Здесь «опыт» — это указываемое в формулировке цели свойство, а «большой» — предъявляемое к нему требование. Переход от такого понимания цели к определению показателя требует, во-первых, реализации процесса измерения указанного свойства. Вероятно, простейший и наиболее часто встречающийся показатель для измерения этого свойства — это стаж работы в аналогичной должности, или по данной специальности. Теперь необходимо конкретизировать требование, содержащееся в формулировке цели, применительно к выбранному показателю. Поскольку чем больше стаж в годах, тем больше опыт, мы получаем что-нибудь вроде «стаж работы не менее 5 лет». Это и есть критерий. Как видим, он вторичен, производен по отношению к цели и, как следствие, «беднее» ее по содержанию. Так, вполне оправданна критика только что выведенного нами показателя с той точки зрения, что продолжительность работы в должности не дает однозначного представления о приобретенном при этом опыте.
Из проведенного сопоставления понятий вытекает одно требование, которое, на первый взгляд, может показаться странным. Нередко на практике при необходимости решить сложную задачу, связанную с выбором одной из множества альтернатив, анализ начинают с того, что пытаются составить список критериев, которые должны быть приняты во внимание при решении задачи. Из вышеизложенного ясно следует, что делать этого не надо! Точнее, не с этого надо начинать. Исходным пунктом анализа должен быть перечень целей, которые мы преследуем, решая задачу выбора. И уже от него можно переходить (аналогично тому, как мы это проделали в нашем примере) к перечню критериев. Такая последовательность действий, во-первых, позволит контролировать соответствие формируемого списка критериев целям, которые мы преследуем, решая данную задачу выбора. Критический анализ списка критериев нередко показывает, что на одну из целей «работают» два-три критерия, а другая, не менее важная, — совсем не представлена в их перечне. Во-вторых, эта последовательность действий естественно подталкивает к тому, чтобы рассмотреть альтернативные варианты критериев исходя из поставленных целей. Если вернуться к нашему примеру, то это означает, что можно, наряду со стажем работы в годах, в качестве показателя опытности работника использовать число подчиненных ему сотрудников, стоимость осуществленных под его руководством проектов и т.п. Эта технология может быть эффективно формализована с использованием табл. 3.5, более подробно рассматриваемой ниже.
3.1.3. Измерения и шкалы
По способу, применяемому для измерения того или иного свойства, присутствующего в формулировке цели, любой показатель может быть отнесен к экспертным или инструментальным показателям. Инструментальные — это показатели, для определения значений которых используются какие-либо приборы, датчики, прямой подсчет или вычисление. То есть значения этих показателей определяются объективно. В то же время экспертные показатели отражают результат суждения, субъективной оценки эксперта. Надо сказать, что наименования и даже смысла показателя может быть недостаточно для определения его типа. Можно представить себе ситуацию, когда один и тот же по смыслу показатель в одной ситуации определяется путем измерения и является инструментальным, а в другом (скажем, в силу недостатка времени на проведение измерения) — получается как результат экспертной оценки.
Шкала инструментального показателя естественным образом задается способом его измерения.
Для экспертных показателей она должна быть задана (построена) специально. Фактически шкала экспертного показателя — это форма, в которой эксперт должен дать ответ на задаваемый ему в ходе проведения экспертизы вопрос.
При построении шкалы экспертного показателя необходимо решить следующие задачи:
1. Выбрать форму шкалы;
2. Выбрать тип оценки;
3. Выбрать число позиций (диапазон) шкалы;
4. Выбрать наименования позиций шкалы;
5. Описать позиции шкалы.
1. По форме шкала экспертного показателя может быть:
- Числовой – это значит, что значение показателя будет представлено в виде числа (1, 5, 10, 3,5 и т.п.);
- Вербальной – это значит, что значение показателя будет представлено в виде словесной характеристики («хорошо», «не соответствует стандартам» и т.п.);
- Графической – это значит, что значение показателя будет представлено в виде отметки на некоторой диаграмме или нарисованной «линейке значений». Отметим, что графическая шкала содержит числовые или словесные отметки, т.е. элементы числовой или вербальной шкал, однако главной ее особенностью является непрерывность и наглядное отображение диапазона возможных значений показателя.
Таблица. Сравнительный анализ шкал экспертных показателей по форме
| Форма | Преимущества | Недостатки |
| Числовая | Простота интеграции различных критериев, представленных в числовой форме, в единый критерий | Создает иллюзию точности (особенно при использовании дробных оценок) |
| Вербальная | Слова – естественная форма выражения мнения эксперта | Затруднена интеграция различных частных критериев в единый |
| Графическая | Наглядное представление масштаба оценки | Может восприниматься как излишний формализм |
2. По типу оценки шкала может быть:
- Абсолютнойоценочной – это значит, что дается оценка степени проявления (наличия, выраженности) измеряемого свойства. Если шкала вербальная по форме – используются термины «большой», «очень большой», «маленький», «сильный» и т.п. Важной разновидностью шкалы этого типа является оценка в терминах «хорошо-плохо», предполагающая выявление отношения эксперта к объекту измерения. Иногда именно такую шкалу называют абсолютной оценочной;
- Частотной – это значит, что оценка дается в терминах частоты проявления того, или иного свойства, события, ситуации. В вербальной по форме шкале используются термины «часто», «иногда», «редко» и т.п.;
- Относительной оценочной – это значит, что оценка дается в терминах соответствия измеряемого свойства заранее установленным стандартам, нормативам, требованиям. В вербальной по форме шкале используются термины «соответствует стандартам», «превосходит требования нормативов» и т.п.
Таблица. Сравнительный анализ шкал экспертных показателей по типу оценки
| Тип оценки | Преимущества | Недостатки |
| Частотная | Оценки частоты более объективны, чем абсолютные оценки | Применима не везде |
| Абсолютная оценочная | Высокая степень гибкости – применима практически везде | Нечеткость определений позиций |
| Относительная оценочная | Менее эмоциональная терминология обеспечивает большую объективность оценок | Годится только при условии, что стандарты установлены заранее |
3. Выбор числа позиций (диапазона) шкалы – нетривиальная задача. Здесь можно указать на ряд факторов, его определяющих.
- Длина шкалы фактически определяет те изобразительные средства, которые есть в руках у эксперта. Чем шкала длиннее, тем более тонкие оттенки суждений сможет выразить эксперт. С другой стороны, чем длиннее шкала, тем с большей вероятностью разные эксперты, участвующие в экспертизе, будут расходиться в своих оценках.
- Как показывает практика, имеет значение четность числа позиций шкалы. При использовании шкал с нечетным числом позиций эксперт, в случае неопределенности своего суждения, часто выбирает среднее в шкале значение. В шкалах с четным числом позиций такого среднего значения нет и эксперт вынужден сдвигать свою оценку вверх, или вниз. По данным ряда исследователей более вероятен в этом случае сдвиг вверх (т.е. завышение оценок при четном числе позиций шкалы).
- Наконец, существуют традиционные шкалы с фиксированным числом позиций, которые привычны для эксперта в такой степени, что использование какой-то иной шкалы приводит к тому, что в голове эксперта начинает работать калькулятор пересчета старой шкалы в новую. Ярким примером такого рода является пятибалльная школьная шкала оценок. Введение в некоторых странах СНГ 15-балльной шкалы приводит учителя, как свидетельствуют специалисты в области среднего образования, именно к описанному выше поведению при выставлении оценки.
4. В свете сформулированных выше положений понятно, почему имеет значение наименование позиций шкал. Сравним две трехпозиционные шкалы: «Превосходит стандарты – соответствует стандартам – не соответствует стандартам» и «Отлично – удовлетворительно – плохо». В принципе, они эквивалентны. Однако наименование «удовлетворительно» средней позиции во второй шкале имеет отчетливую коннотацию с «посредственно» и будет интерпретироваться экспертом как более низкая оценка по сравнению с «соответствует стандартам». В результате, можно ожидать, что при использовании двух различных (по наименованиям позиций) шкал могут быть получены разные результаты.
5. Описания позиций шкалы должны быть достаточно полными, поскольку именно это предопределяет единообразие их понимания экспертами.
Таблица. Пример описания позиций шкалы
| Описание позиций шкалы | Наименование позиции |
| Производительность ниже минимальных стандартов. Выполняет немного работы. Теряет время. | |
| Минимально допустимый уровень производительности. Можно делать больше. Медлителен. | 2-3 |
| Выполняет средний объем работы. Работает стабильно. | 4-5-6 |
| Производительность заметно выше средней. Работает эффективно и выполняет больше работы, чем ожидается. | 7-8 |
| Выдающаяся производительность. Исключительно спорый работник. Постоянно в работе. |
Детальность описания шкалы экспертного показателя имеет главное значение при определении того, к какому типу будет относиться в конечном итоге полученный показатель: будет он количественным или качественным.
Таблица. Преобразования перехода и соответствующие им шкалы
| Допустимое преобразование перехода | Вид шкалы | Пример |
| Произвольное, имеющее взаимно-однозначное обратное | Номинальная | Числовые наименования классов в классификации |
| Монотонно возрастающая функция | Порядковая | Оценка внешнего вида изделия Оценка важности проекта |
| Линейное | Интервальная | Температура, время |
| Умножение на константу | Относительная | Цена Вес |
| Преобразования не допустимы | Абсолютная | Вероятность Доля |
Таким образом, абсолютная шкала, шкала отношений и шкала интервалов – это количественные шкалы, а номинальная и порядковая шкалы – качественные.
Здесь мы сталкиваемся с интересной дилеммой. В попытке получить оценку количественного типа мы фактически значительно ограничиваем эксперта в вынесении самостоятельного суждения. В идеале получается так, что вместо проведения целостного анализа эксперт занимается проверкой наличия целого ряда мелких признаков, перечисленных в описании позиции шкалы. Но это не работа для высококвалифицированного эксперта! Стремясь к количественному оцениванию, мы фактически убиваем экспертизу. Эксперт теряет самостоятельность и становится марионеткой в руках автора — разработчика шкалы (методики оценки). Естественно, у этой дилеммы нет универсального эффективного разрешения. Для каждой отдельной задачи необходимо решить, что важнее — непосредственность высококвалифицированной экспертизы или количественные характеристики получаемых в ее ходе оценок.
