Условия эксперимента и предлагаемые процедуры сравнения. Предварительное замечание

Выводы

Предварительное замечание

 

Рассмотрение поставленной проблемы мы проведем, выбрав в качестве объекта анализа сложные программные системы, однако, поскольку не делается ограничительных предположений относительно вида сложной системы, все описанные процедуры могут быть использованы при сравнительной экспертной оценке качества информационных, экономических, технических, социальных и других сложных систем, в т.ч. при сравнительной оценке качества (уровня профессионализма) самих экспертов, претендентов на вакантную должность и т.д. Напомним, что применение экспертных методов оправдано в первую очередь в тех случаях, когда проведение инструментальных исследований сопряжено с большими затратами времени и средств, либо когда вообще невозможно осуществить постановку объективных (натурных, физических) экспериментов.

 

Постановка задачи

 

Одной из актуальных прикладных задач является задача сравнительной оценки качества и оптимального выбора сложной системы из множества сопоставимых. Если выполняется условие транзитивности, то для упорядочения сравниваемых систем и оценки согласованности результатов экспертизы можно использовать методы ранговой корреляции. Однако трудно рассчитывать на то, что найдется даже один эксперт, обладающий достаточной компетентностью, чтобы сделать заключение, например, о всех представленных на рынке программных системах одного функционального назначения. Поэтому в лучшем случае речь может идти о сопоставлении в процессе экспертизы лишь нескольких сложных программных систем. (ПС). Кроме того, достаточно очевидно, что найти эксперта, хорошо знающего всего две-три системы, тоже значительно проще. Несомненно и другое: дать обоснованную количественную оценку качеству сложной ПС можно, только имея определенный опыт работы с ней. При этом следует учитывать, что на достоверность результатов сравнения наиболее существенное влияние оказывают факторы, характеризующие индивидуальные свойства эксперта: компетентность (степень пересечения тезауруса эксперта с содержанием исследуемой предметной области, решаемой задачи), природные, генетические способности (степень развитости ассоциативного мышления, глубина памяти, скорость реакции), заинтересованность в результатах экспертизы, степень мотивации и др. Причем на результатах экспертизы могут отразиться и такие характеристики эксперта, как общая эрудиция, продолжительность работы с конкретной программной системой и наличие опыта работы с другими аналогичными системами, характер задач, решавшихся с использованием данной ПС и др. Будет сказываться и так называемый "эффект очередности", заключающийся в том, что оценка, даваемая экспертом, зависит от того, в какой последовательности испытывались (осваивались) сравниваемые ПС. Ниже предложена классификация условий проведения экспериментов и постановок задач при сравнении сложных систем с использованием экспертных методов. При этом, чтобы облегчить практическую реализацию методики, каждой задаче ставится в соответствие одна или несколько процедур сравнения (см. [1-4]), т.е. исследователь, исходя из имеющихся ресурсов и с учетом конкретной ситуации, сможет сделать обоснованный выбор из перечня предлагаемых альтернатив.

Пояснение. Корректность процедур 2 и 6.2 обосновывается в [5]. Возможности использования экспертно-статистического метода для решения поставленных задач мы не рассматриваем, поскольку, как отмечается в [6, с.438], "необходимым условием его достоверности и эффективности является четкое определение анализируемого интегрального свойства и компетентность используемых экспертных мнений", а гарантировать выполнение первого условия удается не часто (что касается второго, то оно в данном случае не столь ограничительно, т.к. обеспечение его выполнения - это обычно главная забота организаторов любой экспертизы).