Использование метода экспертных оценок при разработке программных систем
Цель работы: изучить основные положения метода экспертных оценок, отработать методику проведения опроса и обработки его результатов.
Введение
В процессе разработки программных систем многие предварительные оценки (вероятность тех или иных рисков, стоимость проекта, очередность реализации задач и др.) не могут быть получены на основе строгих формализованных процедур в силу их отсутствия или высокой трудоемкости использования. В этом случае широко используется знания и опыт экспертов - специалистов в данной области.
В зависимости от того, принимается во внимание мнение одного эксперта или группы, различают индивидуальные и коллективные методы экспертных оценок. Коллективные методы предпочтительнее из-за большей точности и конкретности результатов эксперимента. Они делятся на три группы:
метод комиссий - проведение группой экспертов дискуссии с целью выработки общего мнения о характере исследуемого объекта;
метод отнесенной оценки - многоэтапный процесс, заключающийся в чередовании свободных творческих дискуссий с индивидуальными критическими оценками каждым экспертом результатов работы комиссии;
дельфийский метод - заочный опрос по специальным анкетам и обработка ответов методами математической статистики.
Наибольшее распространение на практике получил именно дельфийский метод.
Методика организации опроса и анализа его результатов по данному методу предполагает:
1. Определить количество и состав групп экспертов;
2. Сформулировать основной вопрос таким образом, чтобы эксперт интерпретировал его однозначно и мог дать ответ в численном виде;
3. Составить анкету, включающую основной и дополнительный вопросы, ответы на которые разъясняют существо основного вопроса;
4. Провести первый тур опроса;
5. Проанализировать ответы на согласованность мнений, выявить дополнительные факторы, которые необходимо учесть экспертам, определить экспертов, имеющих максимальное расхождение с общим мнением группы;
6. Познакомить экспертов с ответами других членов группы, сформулировать дополнительные вопросы;
7. Провести второй, третий и т.д. туры опросов до получения согласованного мнения экспертов;
8. Обобщить результаты опроса и выявить рекомендации по исследуемой проблеме.
В данной лабораторной работе рассматривается только процесс математической обработки результатов опроса.
| № задачи | Эксперты | ||||||||
| Qi | |||||||||
| t1i | |||||||||
| t2i | |||||||||
| t3i | |||||||||
| t4i | |||||||||
| t5i | |||||||||
| Ti |
|
| № задачи | Эксперты | Sj | bj | Очередность решения задач | ||||||||
| 9,5 | 3,5 | 3,5 | 7,5 | 7,5 | 64,5 | -6 | ||||||
| 9,5 | 10,5 | 11,5 | 11,5 | 10,5 | 11,5 | -34,5 | ||||||
| 11,5 | 11,5 | 10,5 | 11,5 | 9,5 | 10,5 | 11,5 | 99,5 | -41 | ||||
| 11,5 | 11,5 | 10,5 | 11,5 | 10,5 | 7,5 | -34,5 | ||||||
| 5,5 | 3,5 | 5,5 | 7,5 | 10,5 | ||||||||
| 7,5 | 7,5 | 2,5 | 7,5 | -0,5 | ||||||||
| 7,5 | 7,5 | 7,5 | 68,5 | -10 | ||||||||
| 1,5 | 3,5 | 2,5 | 1,5 | 39,5 | ||||||||
| 10,5 | 9,5 | 10,5 | 4,5 | -7,5 | ||||||||
| 3,5 | 3,5 | 2,5 | 4,5 | 1,5 | 26,5 | |||||||
| 5,5 | 3,5 | 5,5 | 40,5 | |||||||||
| 1,5 | 3,5 | 2,5 | 24,5 | |||||||||
| 702 |
|
Суммы столбцов в нормированной матрице должны быть равны между собой и равняться значению 
, где 
- нормированный ранг j- го фактора, назначенный i -ым экспертом; n - число факторов.
Далее для нормированной матрицы определяется сумма рангов S j, назначенных j -му фактору, по формуле 
, где m - число факторов. Очевидно, что в рассматриваемом примере S1=9+9,5+3,5+3,5+5+7,5+8+7,5+11 = 64,5. Для остальных факторов значения S j рассчитываются аналогично.
При этом предполагается, что чем меньше величина S j, тем больше важность j- го фактора, т.е. в данном случае данный параметр определяет очередность выполнения задач (эксперты рекомендуют начать с задачи 8, затем выполнить 12 задачу и т.д.).
На следующем шаге определяется средний ранг совокупности факторов по формуле
.
Для рассматриваемого примера он составляет
.
Средний ранг позволяет найти отклонения b j суммарных рангов S j от среднего значения S, т.е. b j = S - S j. Результаты расчетов смотри в табл. 2.
Определяется количество групп одинаковых рангов Q i, назначенных каждым экспертом, и количество рангов в каждой группе t ji (см. табл. 1), а также для каждого эксперта значение показателя 
.
T1i = 24+6+24+24 = 78.
T2i = 6+6+24+6+24 = 66.
T3i = 6+24+6+6+6 = 48.
T4i = 210+60 = 270.
T5i = 24+6+24+24 = 78.
T6i = 6+6+6+6+60 = 84.
T7i = 60+24+24 = 108.
T8i = 60+6+24+6 = 96.
T9i = 24+120+6 = 150.
Последним шагом обработки является нахождение коэффициента конкордации (согласованности мнения экспертов) по формуле
.
Максимальным значением коэффициента конкордации является 1 (все мнения экспертов максимально согласованны), а минимальным 0. Пороговым значением является 0,6: значение коэффициента конкордации выше этого значения предполагает, что эксперты достаточно единодушны в своих оценках и можно их мнение использовать как руководство к действию. При коэффициенте конкордации меньше 0,6 мнения экспертов существенно расходятся и требуется повторный тур опроса.
Для рассматриваемого примера коэффициент конкордации определится как
.
Поскольку K > 0,6, то дополнительный тур опроса можно не проводить.
