Поскольку K > 0,6, то дополнительный тур опроса можно не проводить

Использование метода экспертных оценок при разработке программных систем

Цель работы: изучить основные положения метода экспертных оценок, отработать методику проведения опроса и обработки его результатов.

 

Введение

В процессе разработки программных систем многие предварительные оценки (вероятность тех или иных рисков, стоимость проекта, очередность реализации задач и др.) не могут быть получены на основе строгих формализованных процедур в силу их отсутствия или высокой трудоемкости использования. В этом случае широко используется знания и опыт экспертов - специалистов в данной области.

В зависимости от того, принимается во внимание мнение одного эксперта или группы, различают индивидуальные и коллективные методы экспертных оценок. Коллективные методы предпочтительнее из-за большей точности и конкретности результатов эксперимента. Они делятся на три группы:

метод комиссий - проведение группой экспертов дискуссии с целью выработки общего мнения о характере исследуемого объекта;

метод отнесенной оценки - многоэтапный процесс, заключающийся в чередовании свободных творческих дискуссий с индивидуальными критическими оценками каждым экспертом результатов работы комиссии;

дельфийский метод - заочный опрос по специальным анкетам и обработка ответов методами математической статистики.

Наибольшее распространение на практике получил именно дельфийский метод.

Методика организации опроса и анализа его результатов по данному методу предполагает:

1. Определить количество и состав групп экспертов;

2. Сформулировать основной вопрос таким образом, чтобы эксперт интерпретировал его однозначно и мог дать ответ в численном виде;

3. Составить анкету, включающую основной и дополнительный вопросы, ответы на которые разъясняют существо основного вопроса;

4. Провести первый тур опроса;

5. Проанализировать ответы на согласованность мнений, выявить дополнительные факторы, которые необходимо учесть экспертам, определить экспертов, имеющих максимальное расхождение с общим мнением группы;

6. Познакомить экспертов с ответами других членов группы, сформулировать дополнительные вопросы;

7. Провести второй, третий и т.д. туры опросов до получения согласованного мнения экспертов;

8. Обобщить результаты опроса и выявить рекомендации по исследуемой проблеме.

В данной лабораторной работе рассматривается только процесс математической обработки результатов опроса.

№ задачи	Эксперты
Qi
t1i
t2i
t3i
t4i
t5i
Ti

 

	Таблица 1

 

№ задачи	Эксперты	Sj	bj	Очередность решения задач
		9,5	3,5	3,5		7,5		7,5		64,5	-6
		9,5		10,5	11,5	11,5	10,5	11,5			-34,5
	11,5	11,5		10,5	11,5	9,5	10,5	11,5		99,5	-41
	11,5	11,5		10,5		11,5	10,5	7,5			-34,5
			5,5	3,5		5,5		7,5			10,5
		7,5	7,5			2,5		7,5			-0,5
		7,5	7,5			7,5				68,5	-10
			1,5	3,5		2,5			1,5		39,5
				10,5		9,5	10,5	4,5			-7,5
			3,5	3,5		2,5		4,5	1,5	26,5
			5,5	3,5		5,5				40,5
			1,5	3,5		2,5				24,5
										702

Таблица 2

Суммы столбцов в нормированной матрице должны быть равны между собой и равняться значению , где - нормированный ранг j- го фактора, назначенный i -ым экспертом; n - число факторов.

 

 

 

Далее для нормированной матрицы определяется сумма рангов S _j, назначенных j -му фактору, по формуле , где m - число факторов. Очевидно, что в рассматриваемом примере S₁=9+9,5+3,5+3,5+5+7,5+8+7,5+11 = 64,5. Для остальных факторов значения S _j рассчитываются аналогично.

При этом предполагается, что чем меньше величина S _j, тем больше важность j- го фактора, т.е. в данном случае данный параметр определяет очередность выполнения задач (эксперты рекомендуют начать с задачи 8, затем выполнить 12 задачу и т.д.).

На следующем шаге определяется средний ранг совокупности факторов по формуле

.

Для рассматриваемого примера он составляет

.

Средний ранг позволяет найти отклонения b _j суммарных рангов S _j от среднего значения S, т.е. b _j = S - S _j. Результаты расчетов смотри в табл. 2.

Определяется количество групп одинаковых рангов Q _i, назначенных каждым экспертом, и количество рангов в каждой группе t _ji (см. табл. 1), а также для каждого эксперта значение показателя .

T_1i = 24+6+24+24 = 78.

T_2i = 6+6+24+6+24 = 66.

T_3i = 6+24+6+6+6 = 48.

T_4i = 210+60 = 270.

T_5i = 24+6+24+24 = 78.

T_6i = 6+6+6+6+60 = 84.

T_7i = 60+24+24 = 108.

T_8i = 60+6+24+6 = 96.

T_9i = 24+120+6 = 150.

Последним шагом обработки является нахождение коэффициента конкордации (согласованности мнения экспертов) по формуле

.

Максимальным значением коэффициента конкордации является 1 (все мнения экспертов максимально согласованны), а минимальным 0. Пороговым значением является 0,6: значение коэффициента конкордации выше этого значения предполагает, что эксперты достаточно единодушны в своих оценках и можно их мнение использовать как руководство к действию. При коэффициенте конкордации меньше 0,6 мнения экспертов существенно расходятся и требуется повторный тур опроса.

Для рассматриваемого примера коэффициент конкордации определится как

.

 

Поскольку K > 0,6, то дополнительный тур опроса можно не проводить.