Ћекции.ќрг


ѕоиск:




 атегории:

јстрономи€
Ѕиологи€
√еографи€
ƒругие €зыки
»нтернет
»нформатика
»стори€
 ультура
Ћитература
Ћогика
ћатематика
ћедицина
ћеханика
ќхрана труда
ѕедагогика
ѕолитика
ѕраво
ѕсихологи€
–елиги€
–иторика
—оциологи€
—порт
—троительство
“ехнологи€
“ранспорт
‘изика
‘илософи€
‘инансы
’ими€
Ёкологи€
Ёкономика
Ёлектроника

 

 

 

 


”слови€ эксперимента и предлагаемые процедуры сравнени€




 

ѕусть A = - множество сравниваемых ѕ—, - множество экспертов, участвующих в эксперименте; n 1 - число ѕ—, оцениваемых одним экспертом.

 

1. Ёксперимент не сбалансирован. —тепень доминировани€ ѕ— a1 над aj по показателю Kr точно количественно установить невозможно.

ѕроцедура сравнени€ 1. ¬ этом случае по результатам экспертных оценок может быть построен ориентированный граф, отражающий взаимное доминирование ѕ— по заданному критерию Kr. ¬ершины графа отождествл€ютс€ со сравниваемыми ѕ—. ≈сли программное средство ai превосходит aj по качеству (признаку, критерию) Kr, то в матрице непосредственных путей графа на месте ij-го элемента ставитс€ единица.

ћатрица доминировани€, построенна€ по соответствующему графу, €вл€етс€ алгебраической формой записи отношени€ доминировани€. „исленно степень доминировани€, т.е. степень превосходства (значимость) ѕ— ai по критерию Kr, определ€етс€ рангом, равным сумме элементов i-й строки матрицы S:

S = D + D2,

где D - матрица доминировани€.

≈сли отказатьс€ от требовани€ доминировани€, допустив наличие двухсторонних св€зей (эксперт не видит разницы между ѕ— ai и aj) и петель при вершинах, то ранг программного средства ai определитс€ как сумма элементов i-й строки матрицы S1:

S1 = A + A2,

где A - матрица непосредственных путей исходного ориентированного графа.

ѕроцесс построени€ матрицы непосредственных путей A сводитс€ к следующему:

1) определ€етс€ пор€док матрицы A по числу вершин в исходном графе (равен n - числу сравниваемых ѕ—); 2) вершины исходного графа (сравниваемые ѕ—) нумеруютс€ в произвольном пор€дке; этими же номерами обозначаютс€ строки и столбцы матрицы A; 3)если из вершины i графа к вершине j имеетс€ один или несколько непосредственных путей, то элемент матрицы A на пересечении i-й строки и j-го столбца будет равен единице или некоторому натуральному числу, равному количеству непосредственных путей из вершины ai к вершине aj; в противном случае (если непосредственных путей нет) этот элемент будет равен нулю.

¬ практических расчетах, чтобы получить характеристику числовой меры ѕ— из качественного превосходства одного ѕ— над другим, достаточно возвести матрицу непосредственных путей орграфа в невысокую степень, например, четвертую, а затем суммы элементов строк полученной матрицы разделить на сумму всех элементов матрицы.

ѕример расчета. ѕусть при сравнительной экспертной оценке п€ти ѕ— по одному из показателей, характеризующих качество эксплуатационной документации, получена нижеследующа€ матрица непосредственных путей ј:

 

 

                               
                              е11
            ,             е10
                              е8
                              е10
                              е8

 

2. n > 2; n1 = 2; m = n(n-1)/2. —тепень доминировани€ ѕ— ai над aj по показателю Kr можно характеризовать числом.

ѕроцедура сравнени€ 2. ≈сли по некоторому показателю (критерию) каждой паре программных продуктов ai - aj некоторой группы A, экспертами может быть дана количественна€ оценка Sij > 0, означающа€ превосходство ai над aj соответственно в Sij раз, то совокупность элементов образует матрицу превосходства ќтносительные веса (значимость) объектов группы A отождествл€ютс€ (см. [5]) с компонентами собственного вектора матрицы S.

ѕоскольку собственные векторы определ€ютс€ с точностью до произвольного множител€, то компоненты вектора ѕj целесообразно нормировать так, чтобы

≈сли оценка ѕ— проводитс€ по совокупности показателей, например, по надежности, удобству сопровождени€ и т.д., то после экспертной количественной оценки парных предпочтений по каждому показателю отдельно дл€ каждой пары вершин ai-aj мультиграфа превосходства, соответствующего группе ѕ—, получаем mдуг ((ij); (ji)) с оценками . «апись означает, что ѕ— aj превосходит ѕ— ai по показателю Kr в q раз, при этом , а веса показателей заданы, т.е.

ѕример расчета. ѕусть сравниваетс€ группа ѕ— по критерию удобства сопровождени€. Ёкспертна€ оценка дала следующие результаты: S12 = 2,5; S13 = 5; S23 = 0,125.

ћатрица превосходства дл€ рассматриваемых ѕ— имеет вид:

 

 

ѕусть далее дл€ той же группы объектов парные предпочтени€ оценивались по совокупности критериев

 

   
   
   

 

¬ычислим элементы Sij матрицы превосходства.

 

 
 
 

 

 

 

«амечание. ѕри использовании рассмотренных процедур следует учитывать, что ранг (вес, значимость) объекта - это относительный показатель, и ранг отдельного программного средства должен сопоставл€тьс€ с рангами всех n участвующих в эксперименте ѕ—.

 

3. n = n1 = 2; m > n. —равниваемые ѕ— по каждому выбранному показателю оцениваютс€ экспертами определенным числом баллов.

ѕроцедура сравнени€ 3.1. –езультаты эксперимента могут быть представлены двум€ св€занными р€дами оценок (табл.1):

“аблица 1

ѕлан эксперимента (дл€ условий 3)

Ёксперимент –езультаты эксперимента
  ѕ— а1 ѕ— а2
  a1 b1
  a2 b2
Е Е  
i ai bi
Е Е  
m am bm

—лучай 1. –аспределение подчин€етс€ нормальному закону. ѕроверку значимости различи€ между двум€ ѕ— по заданному показателю можно осуществить с использованием t - критери€ с (m - 1) степен€ми свободы.

Ќуль-гипотеза: математическое ожидание разности d равно нулю (сравниваемые ѕ— равноценны).

—лучай 2. ≈сли нет уверенности в том, что распределение d €вл€етс€ нормальным дл€ проверки значимости различи€ между ѕ— можно использовать ранговый критерий ”»Ћ ќ —ќЌј.

Ќапомним, что нулевые значени€ di исключаютс€ из рассмотрени€ и при расчетах число наблюдений n сокращаетс€ соответственно до числа ненулевых значений di (до mr). јбсолютное значение | di | упор€дочивают по рангам Ri. ≈сли среди ненулевых значений | di | есть равные, то им приписываетс€ средний ранг. ¬ычисл€ютс€ суммы положительных SRi(+) и отрицательных SRi(-) рангов, и меньша€ из сумм используютс€ в качестве статистики.

ѕри mr > 25 можно воспользоватьс€ аппроксимацией нормальным распределением.

 

«амечание. ѕреимущества описанной процедуры заключаютс€ в том, что при обработке парных наблюдений по сравнению со стандартными методами сравнени€ средних значений независимых выборок уменьшаетс€ рассе€ние внутри выборок.  роме того, распределение и может значительно отличатьс€ от нормального, в то врем€ как распределение будет достаточно хорошо аппроксимироватьс€ нормальным распределением.

 

ѕроцедура сравнени€ 3.2. √ораздо меньший объем вычислений потребуетс€ дл€ проверки значимости различи€ между системами, если воспользоватьс€ критерием знаков ƒиксона и ћуда. «десь постулируетс€ лишь независимость результатов измерений изучаемой переменной у отдельных систем.

Ќуль-гипотеза: разности результатов оценки обеих систем (разности парных сравнений) в среднем (статистически) не отличаютс€ от нул€, а значение медианы распределени€ разности равно нулю, т.е. число положительных и число отрицательных разностей должны быть равными. Ќулевые разности исключаютс€ из рассмотрени€. ¬еро€тность определенного числа плюсов и минусов определ€етс€ на основе биноминального распределени€ при ð=q=0.5. ѕри mr >50 биноминальные значени€ могут быть аппроксимированы с помощью критери€ c2, вычисл€емого по формуле:

 

c2 =((|fo(+)-fe|-0.5)2+(|fo(-)-fe|-0.5)2)/fe,

 

где fo(+), fo(-) - соответственно фактические (полученные в эксперименте) частоты знаков Ђплюсї и Ђминусї, fe - ожидаема€ частота, равна€ 0,5*mr.

≈сли расчетное значение c2 меньше табличного значени€, то нулева€ гипотеза принимаетс€.

—ледует, однако, учитывать, что с ростом объема выборки эффективность критери€ уменьшаетс€. ѕоэтому при больших mr дл€ оценки веро€тности определенного числа знаков можно использовать нормальное распределение, рассчитыва€ его параметр по формуле:

Z=(|2x-mr|-1)/ Ö mr,

 

где x - наблюдаема€ частота более редких знаков, mr - число полученных в результате экспертизы значений di, iÎmr (экспертных оценок), уменьшенное на число нулевых разностей.

 

ѕроцедура сравнени€ 3.3. ¬ качестве быстрого критери€ можно воспользоватьс€ модификацией критери€ знаков, в которой статистикой служит величина “=|(число плюсов)-(число минусов)|.

 

≈сли T>2Ö mr, то на 5% уровне при двустороннем критерии разница должна рассматриватьс€ как значима€.

 

ѕример расчета. ѕри сравнении двух программных систем были опрошены специалисты отделов компьютеризации р€да коммерческих и финансовых организаций. Ёкспертам предлагалось на основании рекламных проспектов оценить каждую из сравниваемых систем по 100 балльной шкале. „тобы элиминировать (или уменьшить) вли€ние субъективных факторов и повысить заинтересованность участников в результатах экспертизы, каждой организации была обещана помощь в освоении и внедрении лучшей системы.

 

–езультаты эксперимента представлены в нижеследующей таблице.

 

Ќомер эксперимента ѕѕ1 ѕѕ2 di ѕѕ1-ѕѕ2
      -3  
      -12  
      -15  
      +10  
      -5  
      +15  
      -10  
      +8  
      -9  
      -21  

 

 ак уже отмечалось, при обработке парных наблюдений уменьшаетс€ рассе€ние внутри выборок и распределение разности значений оценок d i приближаетс€ к нормальному распределению. ѕоэтому при проверке значимости различи€ средних значений воспользуемс€ t-критерием, вычисл€емым по формуле:

с числом степеней свободы (m-1),

 

где dср, - соответственно среднее значение и среднее квадратическое отклонение.

—татистический критерий: t -критерий, двусторонний. ”ровень значимости tтабл.= 2,3; tрасч.= 0,8 <tтабл .

“аким образом, потенциальные пользователи не могут отдать предпочтение какой-либо из систем. ѕроверка значимости различи€ по непараметрическому критерию ”илкоксона дл€ разностей пар дала такие же результаты.

 

4. n = n1 = 2; m > n. —равниваемые ѕ— оцениваютс€ экспертами по альтернативному признаку (зависима€ выборка).

ѕроцедура сравнени€ 4.1 ѕри заданных услови€х результаты эксперимента целесообразно представить в виде таблицы сопр€женности признаков (табл.2) и использовать дл€ определени€ значимости различи€ между программными системами методы статистического анализа категоризованных переменных.

 

 

“аблица 2

ѕлан эксперимента (дл€ условий 4)

 
  I (превосходит по i-му показателю) I (не I)
I a b
  I (не I) n d

 

ѕример. ѕусть оцениваетс€ качество n1(n1=2) программных продуктов a1 и a2 двум€ группами специалистов. ѕричем первую группу (из m1 специалистов) составл€ют разработчики программных систем (a1), а вторую (из m2 специалистов) - программисты-пользователи (a2).

Ќулева€ гипотеза H0: доли специалистов из первой и второй групп, предпочитающих систему a1 (a2) совпадают. јльтернативна€ гипотеза H1: доли специалистов из каждой группы, отдающих предпочтение системе a1 (a2) в генеральной совокупности разные.

–езультаты оценки представл€ютс€ в таблице сопр€женности признаков вида:

 

  а1 а2 »того
√1 ј ¬ A+B = m1
√2 ƒ C+ƒ = m2
»того: ј+— ¬+ƒ m

 

—татистический критерий: если m =(m1 + m2) £ 30 и при этом m1,m2 £ 15, то можно использовать точный критерий ‘ишера. ≈сли m > 30 и A Цƒ ≥ 15, то целесообразно использовать приближенный критерий c2.

c2= ее(|F0 - FL| - 0,5) / FL. ѕри c2 > c2 табл. принимаетс€ гипотеза H1 (суммирование производитс€ по всем клеткам таблицы). «начени€ ожидаемой частоты FLI дл€ каждой клетки вычисл€етс€ по формулам:

FLA = ((A+B)(A+C))/N;

FLB = ((A+B)(B+D))/N и т.д.

≈сли n1>2, то поправка на непрерывность не производитс€ и c2 вычисл€етс€ по формуле:

c2= ее(F0 Ц FL)2 /FL.

 

«амечание. — целью элиминировать вли€ние на результаты экспертизы очередности, в которой программные системы предъ€вл€ютс€ эксперту, целесообразно проводить попарные сравнени€ систем разными группами специалистов и представл€ть результаты оценки в виде нескольких таблиц сопр€женности признаков с последующим статистическим анализом адекватности результатов сравнени€.

ѕредположим, что в услови€х предыдущего примера подгруппы √11 и √21 сравнивали системы в последовательности a1-a2, а подгруппы √12 и √22 - в последовательности a2-a1. –езультаты экспертизы представлены в двух нижеследующих таблицах:

 

 

  а1 а2 »того
√11 25(ј) 7(¬) A+B = m11
√21 12(—) 36(ƒ) C+ƒ = m21
»того: ј+— ¬+ƒ m1

 

  а1 а2 »того
√12 6(ј) 2(¬) A+B = m12
√22 5(—) 17(ƒ) C+ƒ = m22
»того: ј+— ¬+ƒ m2

 

 

—прашиваетс€, совпадают ли результаты сравнени€. √ипотеза Ho: результаты совпадают, ожидаютс€ лишь различи€, обусловленные случайной изменчивостью.

¬ описанной ситуации вполне допустимым €вл€етс€ использование критери€ c2. ¬ соответствии с гипотезой Ho ожидаемые значени€ в клетках второй таблицы должны быть такими же, как в первой, т.е. ð11 =0.3125; ð12 =0.087; ð21 =0.15; ð22 =0.45.

 

“огда ожидаемые частоты fe дл€ второй таблицы будут соответственно равны:

fe11= 30*0.3125=9.375; fe12= 2.625; fe21= 4.5; fe22= 13.5.

 

 

¬ычислив c2 по формуле

 

 

c2расч=S(½ fo-fe½-0.5)2/fe,

найдем, что c2расч<<c2табл, т.е. нет оснований отклонить гипотезу Ho.

 

 

ѕроцедура сравнени€ 4.2. ѕри сравнении сложных ѕ— по нескольким показател€м, например, по таким показател€м, как качество документации, интерфейс, удобство сопровождени€, трудоемкость освоени€ и др. результаты экспертизы могут быть представлены в виде k*2- таблицы сопр€женности признаков.

 

 

’арактеристика качества —равниваемые системы
  ѕ—1 ѕ—2
 ачество документации a1 b1
»нтерфейс a2 b2
”добство сопровождени€ a3 b3
“рудоемкость освоени€ a4 b4

 

«десь ai, bi - соответственно количество экспертов, отдавших предпочтение по i -му показателю системе ѕ—1 (ai) и системе ѕ—2 (bi).

Ќуль-гипотеза: в структуре результатов экспертизы обеих систем нет статистически значимых различий, т.е. по совокупности рассматриваемых признаков (характеристик) качество ѕ—1 и ѕ—2 одинаково.

ƒл€ проверки нуль-гипотезы можно использовать c2 -критерий Ѕрандта и —недекора c (k-1) степен€ми свободы.

 

ѕример. ѕусть при сравнении ѕ—1 и ѕ—2 получены следующие результаты:

 

 

’арактеристика качества —равниваемые системы
  ѕ—1 ѕ—2
 ачество документации 10 (a1) 10 (b1)
»нтерфейс 15 (a2) 10 (b2)
”добство сопровождени€ 9 (a3) 12 (b3)
“рудоемкость освоени€ 5 (a4) 7 (b4)

 

—прашиваетс€, €вл€ютс€ ли оба столбца оценок статистически однородными. —равнение выполнить со статистической достоверностью 99%.

Ќуль гипотеза Ho: в структуре результатов экспертизы нет статистически значимых различий.

 

c2расч=[(Sai/(ai+bi))-a2/n]*n2/a*b= 2.01.

«десь a=Sai, b=Sbi, n=(a+b).

“ак как расчетное значение c2расч меньше, чем табличное c23;0.01, нет оснований отклонить Ho.

 

«амечание. ≈сли мы представл€ем исходные данные в виде таблиц сопр€женности признаков (номинальна€ шкала), то при оценке св€зи между переменными могут использоватьс€ различные модели, включа€ логарифмически-линейную, и меры св€зи (сравнительное исследование некоторых из широко используемых мер св€зи проведено в [7]). ќднако, как отмечаетс€ в [6, с.139]), "с точки зрени€ оценки статистической значимости св€зи между строками и столбцами традиционный и логлинейный подходы к таблицам сопр€женности, с одной стороны, и дуальное шкалирование, с другой стороны, дают сравнительно близкие результаты".

5. n > 2; n1 ≥ 2; m > n. ѕ— оцениваютс€ экспертами определенным числом баллов, причем участие одного эксперта в сравнении более чем 2-3 ѕ— нежелательно или невозможно по услови€м эксперимента.

 

ѕроцедура сравнени€ 5. ¬ описанных услови€х, по-видимому, единственно возможным и при этом достаточно корректным способом сравнени€ и выбора ѕ— оказываетс€ применение методов неполноблочного планировани€ экспериментов в активно-пассивной постановке [2,3]. ¬ частности, дл€ устранени€ вли€ни€ неоднородностей и сокращени€ затрат времени и средств на проведение эксперимента можно использовать BIB - схемы, квадраты ёдена, решетчатые планы.

ѕроцедура сравнени€ может осуществл€тьс€ в такой последовательности:

1. ¬ зависимости от числа сравниваемых ѕ—-претендентов и возможной (исход€ из реальных условий) величины n1 выбираетс€ конкретный план эксперимента.

2. ¬ соответствии с требовани€ми плана формируетс€ множество M ={bj}(j ќ z) пользователей-экспертов, каждый из которых проработал с любой из n1 ѕ— не менее заданного срока. ћножество M состоит из k групп экспертов

M = U Mt, (t ќ k), а Mt = U Mt(e), (e ќ s).

≈сли, например, n1 = 2, то и s = 2. “огда окажетс€, что эксперты, составл€ющие множество , испытывали сравниваемые типы ѕ— (работали с ними) в последовательности , а множество - в последовательности .

ѕо€сним содержание п.2 на примере. ѕредположим, что по выбранной характеристике или группе характеристик необходимо провести сравнение четырех ѕ— при условии, что каждый эксперт знаком только с двум€ системами. ѕри n = 4 и n1 = 2 целесообразно использовать BIB-схему с параметрами m = 18, = 3,k = 6. «десь m -число экспертов; - число повторений каждой пары сравниваемых ѕ—; k=n(n - 1)/2 - число групп экспертов, каждый из которых оценивает одну пару ѕ—.

“огда

Mt = Mt(1), U Mt(2); (t ќ g),

Mt(1), Mt(2) ={bj}, (j ќ d, d > l)

”словие d> желательно выполн€ть дл€ того, чтобы облегчить выбор экспертов из d с учетом требований к структуре экспертной группы. Ёкспертам каждой группы присваиваютс€ номера с использованием таблицы случайных чисел.

3. ѕосле того, как всем сравниваемым ѕ— экспертами, составл€ющими множество M, даны соответствующие оценки sij (дл€ нашего примера ), приступают к заполнению двух таблиц планировани€ эксперимента, причем перва€ из таблиц заполн€етс€ оценкамиsij, случайно выбранными из множеств , а втора€ - оценками sij(1), из множеств Mt(2).  ажда€ из заполненных таким образом таблиц может обрабатыватьс€ раздельно. ¬ дальнейшем результаты статистической обработки обеих таблиц сопоставл€ютс€ и анализируютс€ совместно. ¬озможно и объединение таблиц в одну с последующим статистическим анализом представленных в ней данных (тем самым элиминируетс€ вли€ние на результаты сравнени€ "эффекта очередности").

 

ƒл€ экспериментальных данных, представленных в табл.3, в результате статистической обработки получены следующие значени€ F-критери€: F12=67,1; F13=18,0; F14=30,3; F23=15,6; F24=7,2; F34=1,6. “абличное значение дл€ 1-процентного уровн€ значимости Fкртабл =8,68.

 

“аблица 3





ѕоделитьс€ с друзь€ми:


ƒата добавлени€: 2015-11-05; ћы поможем в написании ваших работ!; просмотров: 372 | Ќарушение авторских прав


ѕоиск на сайте:

Ћучшие изречени€:

≈сть только один способ избежать критики: ничего не делайте, ничего не говорите и будьте никем. © јристотель
==> читать все изречени€...

1475 - | 1449 -


© 2015-2024 lektsii.org -  онтакты - ѕоследнее добавление

√ен: 0.075 с.