| Типы | Результаты эксперимента (сравнения) | ||||||||
| ПС | В1 | В2 | В3 | В4 | В5 | В6 | В7 | В8 | В9 |
| a1 | |||||||||
| a2 | |||||||||
| a3 | |||||||||
| a4 |
Продолжение таблицы 3
| Типы | Результаты эксперимента (сравнения) | ||||||||
| ПС | В10 | В11 | В12 | В13 | В14 | В15 | В16 | В17 | В18 |
| a1 | |||||||||
| a2 | |||||||||
| a3 | |||||||||
| a4 |
Рассмотрим еще одну ситуацию: сравниваются девять ПС-претендентов (n=9) при условии, что каждый эксперт знаком лишь с тремя системами (n1 = 3). В этих условиях можно использовать сбалансированный решетчатый план, в котором эксперты соответствуют блокам, а элементами являются сравниваемые ПС, т.е. число элементов в блокеk = n1 = 3; число блоков (экспертов)b = k (k + 1) = 12; число реплик (число оценок, полученных каждой ПС) r =k + 1 = 4.
Замечание. При сравнении нового и эксплуатируемого ПС более дорогостоящими обычно являются ошибки 1-го рода (принятие ошибочной гипотезы о том, что новое ПС лучше), поэтому значение вероятности отклонить верную нуль-гипотезу целесообразно выбирать в пределах 0,01,..., 0,001.
6. n > 2; m экспертов разделены на n(n - 1)/2 независимых (непересекающихся) групп с mt, (t 
n(n - 1)/2; m=еmt) экспертами в группе.
Процедура сравнения 6.1. Каждая группа экспертов оценивает все n(n - 1)/2 пар программных средств и сообщает вероятность Pijr того, что ПС ai превосходит aj по заданному критерию Kr. Причем Pij равно доле (относительному числу) экспертов в t -й группе, предпочитающих ai по сравнению с aj. Затем оценивается доля групп экспертов, предпочитающих ai по сравнению с aj, т.е. доля групп экспертов, у которыхPij > 0,5. Эта доля будет численно характеризовать относительное качество ПС ai по критерию Kr.
Процедура сравнения 6.2. Если каждая группа экспертов оценивает (сравнивает) не все, а только одну пару ПС, то вероятность того, что ПС ai лучше всех остальных прямо пропорциональна величине Pi = П Pij, (i№j) [5].
7. n > 2; m = en(e№1). Причем эксперты достаточно компетентны, чтобы оценивать все n сравниваемых ПС.
Процедура сравнения 7.1.n1=n. Каждая из eгрупп экспертов попарно сравнивает ПС ai c aj(i№j; i,jОn) по оцениваемому показателю Kr и выбирает лучшее ПС из пары, т.е. осуществляет (n-1) сравнение. Объект (программный продукт), выбранный большим числом экспертов, считается лучшим по показателю Kr среди n сравниваемых.
Если требуется получить количественные оценки рангов (весовых коэффициентов) всех n=n1 программных продуктов, то результаты сравнения и выбора каждого эксперта можно представить в виде матриц доминирования и затем эти матрицы сложить, а к полученной матрице (содержащей информацию о мнениях всех экспертов) применить процедуру 1, т.е. возвести эту матрицу в невысокую степень и найти суммы элементов каждой строки.
Процедура сравнения 7.2. n1<n. При этих условиях, наряду с эффектом очередности, усиливается влияние на результаты сравнения индивидуальных характеристик эксперта. Поэтому из-за необходимости увеличения числа экспертов m брать n1>4, по-видимому, вряд ли оправдано.
Пример плана эксперимента для процедуры 7.1 с n=n1=6; m=6e, (eі1) дан в табл.4 (здесь каждая процедура выбора Bj может реализовываться e раз), а для процедуры 7.2 при n=6; n1=3; m=e·18, (eі1) - в табл.5 (таблица базируется на использовании данных табл.4).
Таблица 4
План эксперимента (для условий 7.1)
| Последовательность процедур сравнения экспертами Bj ПС ai-aj, (i№j; i,j О1,6), n1=6 | |||
| B1 | ... | B5 | B6 |
   а1
| а5 | а6 | |
   а2
| а6 | а1 | |
   а3
| а1 | а2 | |
   а4
| ... | а2 | а3 |
   а5
| а3 | а4 | |
| а6 | а4 | а5 |
Таблица 5
План эксперимента (для условий 7.2.)
| Последовательность процедур сравнения экспертами Bj ПС ai-aj, (i-j; i,j Î 1,6), n1=3 | ||||||||
| B1 | B2 | B3 | B4 | B5 | ... | B16 | ... | B18 |
| a1 }1 а2 | a2 }1 а3 | a3 }1 а1 | a2 }1 а3 | a3 }1 а4 | ... | a6 }1 а1 | ... | ... |
| }2 | }2 | }2 | }2 | }2 | }2 | |||
| a3 | a1 | a2 | a4 | a2 | a2 | ... | ... | |
| ... | ... | ... | ... | ... | ... | ... | ... | ... |
Процедура сравнения 7.3. Каждый из m экспертов, ориентируясь на заданный показатель качества Kr, ранжирует n сравниваемых ПС. Для получения согласованного мнения экспертной группы проводится несколько туров опросов и обработки результатов эксперимента в соответствии с описанной в [1,2] методикой получения и анализа априорной информации (здесь процедура ранжирования ПС по заданному критерию качества отождествляется с процедурой отбора определяющих факторов-объектов при построении экономико-математических моделей; методика может использоваться и при ранжировании показателей, характеризующих качество ПС).
Предложенный подход оказался весьма продуктивным и многократно применялся автором и его коллегами при решении прикладных задач. Главная его особенность заключается в том, что
а) дельфийская процедура используется при ранжировании факторов-объектов (а не для прогнозирования будущего);
б) для количественного анализа степени сходимости мнений экспертов после каждого тура опросов, выявления согласованных групп экспертов и оценки целесообразности завершения экспертизы используется расстояние Кемени (мера близости на отношениях линейного порядка), а в качестве результирующего ранжирования - медиана Кемени (впоследствии, в 1978 году была доказана теорема, согласно которой, "медиана Кемени - единственное результирующее строгое ранжирование, являющиеся нейтральным, согласованным и кондорсетовым" - см.: [8]).
Однако, поскольку задача отыскания медианы Кемени относится к задачам дискретной оптимизации и ее точное решение достаточно трудоемко, при n=n1і10ё20 и m і 20, по-видимому, вполне оправдано выбирать в качестве результирующего то из ранжирований участников экспертизы, которое имеет минимальное суммарное расстояние от остальных - либо от всех, либо от взаимосвязанного подмножества, включающего основную часть экспертной группы.
Пример. Пусть m экспертам необходимо проранжировать n, (n=n1) программных систем по одному из показателей потребительского качества, например, по показателю (критерию) "удобство сопровождения". Проводится несколько туров опросов. После обработки результатов очередного тура в опросных анкетах проставляется средний, минимальный и максимальный ранги по всем n ПС, а также пояснения экспертов, сделанные в защиту сильно отличающихся ответов. Каждое ранжирование представляется в виде матрицы упорядочения в канонической форме, а затем рассчитываются меры близости (расстояния) Кемени между всеми ранжированиями. Расстояние Кемени dij численно характеризует степень рассогласования между ранжированиями двух экспертов (dmax=n(n-1)). В матрице D={dij}, (i,jОm) будут представлены все (m-1)m/2 расстояний между ранжированиями. D - симметричная положительная матрица с нулевыми диагональными элементами:
dij=dij; dii=0; dijі0.
Сумма элементов i-й строки матрицы D соответствует величине рассогласования i -го эксперта с остальными (расстояние i-го ранжирования от всех остальных). Сопоставляя суммы всех элементов матриц D, получаемых после каждого тура опросов, можно оценить скорость сходимости мнений экспертов, определить наиболее (наименее) согласованные со всеми ранжирование и выделить согласованные группы экспертов (выбирая различные пороговые значения меры близости dijЈed). Элементы матрицы непосредственных путей для графа взаимосвязи между ранжированиями определяются так:
Граф взаимосвязей можно строить и по матрице D0, получаемой из D:
Если мнения экспертов относительно рангов ПП по заданному критерию качества полностью совпадают, d0ij=0, если противоположны - d0ij=1.
Выводы
1. Выполнена классификация условий проведения экспериментов при сравнении сложных систем с использованием экспертных методов.
2. Предложены корректные процедуры сравнения и выбора, адекватные условиям решаемой задачи.
Тема 9: Сравнение сложных систем по критерию функциональной полноты
Предварительное замечание
Постановка задачи
Алгоритм сравнения
Пример реализации
