Сучасна теорія вимірювань і експертні оцінки. Як проводити аналіз зібраних РГ відповідей експертів? Для більш поглибленого розглядання проблеми експертних оцінок знадобляться деякі поняття так званої репрезентативної теорії вимірювань, яка служить основою теорії експертних оцінок, в тій її частині, яка пов’язана з аналізом висновків експертів, що виражені у якісному (а не в кількісному) вигляді.
Репрезентативна (тобто пов’язана з поданням відношень між реальними об’єктами у вигляді відношень між числами) теорія вимірювання (РТВ) є один з складових частин економетрики. Тобто вона входить у склад статистики об’єктів нечислової природи. Нас РТВ цікавить насамперед у зв’язку з розвитком теорії і практики експертного оцінювання, зокрема, у зв’язку з агрегуванням думок експертів, побудовою узагальнених показників (рейтингів).
Думки, які отримуються від експертів, часто виражені у порядковій шкалі, тобто експерт може сказати (й обґрунтувати), що один тип продукції більш важливий,чим інший, перший технологічний об’єкт більш небезпечний, чим другий й т. д., але він не може визначити у скільки разів або на скільки більш важливий, відповідно, більше небезпечний. Тому експертів часто просять дати ранжировку (упорядкування) об’єктів експертизи, тобто розташувати їх у порядку зростання (або, точніше, неубування.) інтенсивності характеристики, яка цікавить організаторів експертизи.
Ранг – це номер (об’єкта експертизи) в упорядкованому ряду. Формально ранги виражаються числами 1, 2, 3, …, але дуже важливе те, що з цими числами не можна здійснювати звичайні арифметичні операції. Наприклад, хоча 2+3=5, але не можна стверджувати, що для об’єкта, що знаходиться н третьому місці в упорядкуванні (ранжуванні), інтенсивність характеристики, яка вивчається, дорівнює сумі інтенсивностей об’єктів з рангами 1 і 2. Так, один з видів експертного оцінювання – оцінки студентів. Сумнівно, що хто-небудь буде стверджувати, що знання відмінника дорівнюють сумі знань студента із задовільними знаннями і студента з незадовільними знаннями (5=3+2), а між відмінником така ж різниця, як між тим, хто вчиться на „добре” й тим хто має незадовільні знання (5-3=4-2). Тому, вочевидь, що для аналізу подібного роду якісних даних необхідна не звичайна арифметика, а інша теорія, яка дає базу для розробки, вивчення й застосування конкретних методів розрахунку. Ця теорія й є РТВ.
Розглянемо у якості приклада застосування результатів теорії вимірювань, пов’язаних із середніми величинами у порядковій шкалі, один сюжет, пов’язаний із ранжуванням і рейтингами.
Методи середніх балів. У теперішній час розповсюдженні експертні, маркетингові, кваліметричні, соціологічні та інші та інші опитування, у яких тих, кого опитують, просять виставити бали об’єктам, виробам, технологічним процесам, практикам і т. д. Потім розраховують середні бали й розглядають їх як інтегральні (тобто узагальнені, підсумкові) оцінки, що виставлені колективом опитаних експертів. Якими формулами користуватися для обчислення середніх величин? Адже середніх величин існують, як ми знаємо, дуже багато різних видів.
Звичайно застосовують середнє арифметичне. Фахівці з теорії вимірювань вже близько 30 років знають, що такий спосіб є більш ефективний, бо бали часто вимірені у порядковій шкалі. Обґрунтуванням є використання медіани у якості середніх балів. Однак повністю ігнорувати середнє арифметичне недоцільно із-за їх звичності та розповсюдженості. Тому є раціональним використовувати обидва методи – й метод середніх арифметичних рангів (балів) й методів медіанних рангів. Така рекомендація знаходиться в узгодженості із загально науковою концепцією стійкості, яка рекомендує застосовувати різні методи для оброблення одних і тих же даних з метою виділити висновки, які отримуються одночасно по всіх методиках. Такі висновки відповідають реальній дійсності, у той же час як висновки, які змінюються від метода до метода, залежать від суб’єктивізму дослідника, який вибирає метод обробки вихідних даних експертних оцінок.
Розглянемо приклад порівняння восьми проектів на базі тільки що сформульованого підходу. Згідно із завданням керівництва аналізувалися 8 проектів, запропонованих для виготовлення в план стратегічного розвитку залізниці. Вони позначенні так: Д, Л, Мк, Гб, Стеф, К (за прізвищами працівників, що запропонували їх до розглядання). Усі проекти були направлені 12 експертам ЕК, яка була організована за рішенням начальника залізниці. У табл. 12.1 наведені ранги 8 проектів, що були присвоєні ним кожним з 12 експертів у відповідності з уявою експертів про доцільність включення проекту у стратегічний план залізниці. При цьому експерт присвоює ранг 1 найкращому проекту, який обов’язково треба реалізувати. Ранг 2 отримує від експерта другий за привабливістю проект, …, ранг 8 – найбільш сумнівний проект, який може бути реалізований в останню чергу.
Таблиця 12.1
Ранги восьми проектів за ступенем привабливості для включення в план стратегічного розвитку залізниці
| Номер експерта | Д | Л | Мк | Б | Гб | Сол | Стеф | К |
| 2,5 | 2,5 | |||||||
Примітка. Експерт 4 вважає, що проекти Мк і Б рівноцінні, але поступаються лише одному проекту Сол. Тому проекти Мк і Б повинні стояти на другому і третьому місцях і отримати бали 2 і 3. Виходячи з того, що бали рівноцінні, то отримують середній бал (2+3)/2=5/2=2,5.
Аналізуючи результати роботи експертів, члени аналітичного підрозділу РГ були змушені констатувати, що повної узгодженості між експертами нема, а тому дані, які наведені у табл.12.1, необхідно піддати більш ретельному математичному аналізу.
Метод середніх арифметичних рангів. Спочатку для отримання групової думки експертів був застосований метод середніх арифметичних рангів. Для цього була підрахована сума рангів, які були присвоєні проектам, потім ця сума була розділена на число експертів, в результаті чого був розрахований середній арифметичний ранг. По середнім рангам будується підсумкове ранжування (упорядкування), виходячи з принципу – чим менше середній ранг, тим краще проект. Найменший середній ранг, що дорівнює 2,625, у проекту Б – тобто, в підсумковому ранжуванні він отримує ранг 1. Наступна по величині сума (3,125) у проекту Мк – він отримує підсумковий ранг 2. Проекти Л і Сол мають однакові суми (3,25), тобто, з точки зору експертів вони рівноцінні (при способі зведення разом думок експертів, що розглядається), а тому вони повинні знаходитися на 3 і 4 місцях та отримують середній бал (3+4)/2=3,5. Подальші результати наведені у таблиці 12.2.
Таблиця 12.2
Результати обчислення по методу середніх арифметичних і методу медіани для даних, які наведені у таблиці 12.1
| Д | Л | Мк | Б | Гб | Сол | Стеф | К | |
| Сума рангів | 37,5 | 31,5 | ||||||
| Середнє арифметичне рангів | 3,25 | 3,125 | 2,625 | 6,333 | 3,25 | 5,333 | ||
| Підсумковий ранг по середньому арифметичному | 3,5 | 3,5 | ||||||
| Медіани рангів | 2,25 | 7,5 | ||||||
| Підсумковий ранг по медіанам | 2,5 | 2,5 |
Таким чином, ранжування по сумам рангів (або, теж саме, по середнім арифметичним рангам) має вигляд:
Б < М < (Л, Сол) < Д < Стеф < Гб < К. (12.1)
Тут запис типу «А < Б» означає, що проект А передує проекту Б (тобто проект А краще ніж проект Б).
Так як проекти Л і Сол отримали однакову суму балів, то згідно методу, що розглядається, вони є еквівалентними, а тому об’єднані в групу (у дужках). В термінології математичної статистики ранжування (12.1) має один зв’язок.
Метод медіани рангів. Так що згідно з ранжуваннями (12.1) можна приймати рішення? Однак відповіді експертів виміряні у порядковій шкалі, а, отже для них неправомірно проводити усереднення методом середніх арифметичних. Необхідно використовувати метод медіани.
Що це означає? Треба узяти відповіді експертів, які відповідають одному проекту, наприклад, Д. Це ранги 5, 5, 1, 6, 8, 5, 6, 5, 6, 5, 7, 1. Потім їх треба розташувати у порядку не убування (простіше було б сказати – «у порядку зростання», але деякі відповіді співпадають, то необхідно використовувати незвичний термін «неубування»). Отримуємо послідовність 1, 1, 5, 5, 5, 5, 5, 6, 6, 6, 7, 8. На центральних місцях – шостому і сьомому – стоять 5 і 5. Тобто медіана дорівнює 5. Медіани сукупностей з 12 рангів, що відповідають розглянутим проектам, наведені у передостанній стрічці табл. 12.2. (При цьому медіани обчислені за звичайними правилами статистики – як середнє арифметичне центральних членів варіаційного ряду). Підсумкове упорядкування думок комісії експертів за методом медіан наведена у останній стрічці таблиці 12.2. Ранжування по медіанам має вигляд:
Б < (Мк, Л) < Сол < Д < Стеф < К < Гб (12.2)
Так як проекти Л і Мк мають однакові медіани балів, то по методу ранжування, що розглядається, вони є еквівалентими, а тому об’єднанні у одну групу (кластер), тобто з точки зору математичної статистики ранжування (12.2) має один зв’язок.
Порівняня ранжування за методом сусідніх арифметичних і методу медіан. Порівняння ранжування (12.1) і (12.2) показує їх близькість (схожість). Можна прийняти, що проекти Мк, Л, Сол упорядкованні як Мк < Л < Сол, але з причини вад експертних оцінок в одному методі признані рівноцінними проекти Л і Сол (ранжування (12.1)), а в іншому – проекти Мк і Л (ранжування (12.2)). Суттєвою є тільки розбіжність, яка стосується упорядкування проектів К і Гб: в ранжуванні (12.1) Гб < К, а в ранжуванні (12.2) Кб < Гб. Однак ці проекти – найбільш привабливі з усіх, що розглядаються, й при виборі найбільш привабливих проектів для подальшого обговорення та використання на відмічену розбіжність можна не звертати увагу.
Розглянутий приклад демонструє схожість та різницю ранжувань, отриманих по методу середніх арифметичних рангів і по методу медіан, а також користь від їх спільного застосування.
Метод узгодженнякластерізованого ранжування. Проблема міститься у виділенні загального не суворого порядку з набору кластерізованих ранжувань (на статистичній мові – ранжування по зв’язках). Цей набір може відбивати думки декількох експертів, або може бути отриманий при обробці думок експертів різними методами. Пропонується метод узгодження кластерізованих ранжувань, який дозволяє «загнати» протиріччя всередину спеціальним чином побудувавши кластери (групи), у той час як упорядкування кластерів відповідає одночасно усім вихідним упорядкуванням.
У різноманітних прикладних галузях виникає необхідність аналізу декількох кластерізованих ранжувань об’єктів. До таких галузей відноситься екологія, менеджмент, економіка, транспорт, прогнозування, наукові та технічні дослідження і т. д., особливо ті їх розділи, що пов’язані із експертними оцінками. У якості об’єктів можуть виступати зразки продукції, технології, математичні моделі, кандидати на посади й ін. Кластерізовані ранжування можуть бути отримані як за допомогою експертів, так і об’єктивним шляхом, наприклад, при зіставленні математичних моделей з експериментальними даними за допомогою того чи іншого критерія якості. У методі побудови кластерізованого ранжування, узгодженого зі всіма клатерізованими ранжуваннями, що розглядаються, протиріччя між окремими вихідними ранжуваннями опиняються всередині кластерів узгодженого ранжування. В результаті упорядкованість кластерів відбиває загальну думку експертів, точніше, те загальне, що міститься у вихідних ранжуваннях.
В кластери містяться об’єкти, з приводу яких деякі з вихідних ранжувань протирічять одна одній. Для їх упорядкування необхідно провести нові дослідження. Ці дослідження мають бути як формально-математичними (наприклад, обчислення медіани Кемені (про це нижче), упорядкування по середнім рангам або по медіанам й т. д.), так й вимагати залучення нової інформації з відповідної прикладної галузі, можливо, проведення додаткових наукових або прикладних досліджень.
Введемо необхідні поняття, потім сформулюємо алгоритм узгодження кластерізованих ранжувань у загальному вигляді та розглянемо його властивості.
Нехай є скінченне число об’єктів, які ми для простоти викладання будемо зображувати натуральними числами 1, 2, 3, …,k й назвати їх сукупність «носієм». Під кластерізованим ранжуванням, яке визначене на даному носії, розуміємо таку математичну конструкцію. Нехай об’єкти розбиті на групи, які ми будемо називати кластерами. В кластері може бути й один елемент. Об’єкти, які належать до кластеру, будемо розміщувати у фігурних дужках. Наприклад, об’єкти 1, 2, 3, …, 10 можуть бути розбитими на 7 кластерів:{ 1}, { 2, 3}, {4 }, {5, 6, 7},{ 8 }, { 9}, {10}. У цьому розбитті один кластер {5, 6, 7} місить три елементи, інший {2, 3} - два, інші п’ять – по одному елементу. Кластери не мають загальних елементів, а об’єднання їх (як множини) є вся множина об’єктів, що розглядається (увесь носій).
Друга складова кластерізованого ранжування – це суворий лінійний порядок між кластерами, задано який з них перший, який другий и т. д. Будемо зображувати упорядкованість за допомогою знака <. При цьому кластери, які складаються з одного елемента, будемо для спрощення зображувати без фігурних дужок. Тоді кластерізоване ранжування на основі введених вище кластерів можна подати так:
А = [1< { 2, 3} < 4 < {5, 6, 7} < 8 < 9 < 10].
Конкретні кластерізовані ранжування будемо містити у квадратні дужки. Якщо для спрощення мови термін «кластер» застосовувати тільки до кластера не менше чим з 2-х елементів, то можна сказати, що в кластерізоване ранжування А входять два кластера {2, 3} і { 5, 6, 7} та 5 окремих елементів.
Кластерізоване ранжування, яке введене описаним вище чином, є бінарним відношенням на носії – множині {1, 2, 3, …, 10}. Його структура така. Задане відношення еквівалентності з 7-ма класами еквівалентності, а саме {2, 3}, {5, 6, 7}, а 5 інших класів складаються з 5 окремих елементів, що залишилися. Потім введений суворий лінійний порядок між класами еквівалентності.
Введений математичний об’єкт, відомий в літературі як «ранжування по зв’язках», (М. Холлендер, Д. Вулф), «упорядкування» (Дис. Кемені, Дж. Снелл), «квазісерія» (Б. Г. Міркин), «досконалий квазіпорядок» (Ю. А. Шрейдуг). Враховуючи різнобій в термінології, А.І Орловим було признано корисним ввести термін «кластерізоване ранжування», бо в ньому явним чином названі основні елементи математичного об’єкта, що вивчається, - кластери, які розглядаються на етапі узгодження ранжувань як класи еквівалентності, і ранжування – суворий досконалий порядок між ними (в термінології Ю. А. Шрейдера).
Наступне важливе поняття – суперечність: воно визначається для четвірки – два кластерізовані ранжування на одному й тому ж носії й два різних об’єкти -елементи того ж носія. При цьому два елементи з одного кластера будемо зв’язувати символом рівності =, як еквівалентні.
Нехай А і В – два кластерізованих ранжування. Пару об’єктів (а, в) назвемо «суперечливою» відносно кластерізованих ранжувань А і В, якщо ці два елементи по різному упорядковані в А і В, тобто а < в в А і а > в в В (перший варіант суперечливості) або а > в в А і а < в в В (другий елемент суперечливості). Відмітимо, що у відповідності з цим визначенням пара об’єктів (а, в), яка еквівалентна хоча б одному кластерізованому ранжуванні, не може бути суперечливою: еквівалентність а = в не утворює «суперечності» ні з а < в, ні з а > в. Ця властивість є корисною при виділенні суперечливих пар.
Розглянемо приклад, в якому окрім А, є ще два кластерізованих ранжування:
В = ({ 1, 2} < {3, 4, 5} < 6 < 7 < 9 < { 8, 10}),
C = (3 < {1, 4} < 2 < 6 < {5, 7, 8} < {9, 10}).
Сукупність суперечливих пар об’єктів для двох кластерізованих ранжувань А і В назвемо «ядром суперечностей» й позначимо S (А, В). Для розглянутих вище у якості прикладів трьох кластерізованих ранжувань А, В і С, які визначені на одному й тому ж носії {1, 2, 3, …, 10}, маємо:
S (А, В) = [(8, 9)]; S (А, С) = [(1, 3), (2, 4)],
S (В, С) =[(1, 3), (2, 3), (2, 4), (5, 6), (8, 9)].
Як при ручному, так і при програмному знаходженні ядра можна в пошуках суперечливих пар проглядати пари (1, 2), (1, 3), (1, 4) …, (1, к), потім (2, 3), (2, 4), …, (2, к), потім (3, 4), …, (3, к), і т. д., аж до останньої пари (к - 1, к).
Користуючись поняттям дискретной математики, «ядро суперечностей» можна зобразити графом з вершинами в точках носія. При цьому суперечливі пари зазнають ребра цього графа. Граф для S(А, В) має тільки одне ребро (одна зв’язувальна компонента більш чим з однієї точки), для S (А, С) – 2 ребра (дві зв’язувальні компоненти більш ніж з однієї точки), для S (В, С) – 5 ребер (три зв’язувальні компоненти більш ніж з однієї точки, а саме ({ 1, 2, 3, 4}, {5, 6}, {9}).
Кожне кластерізоване ранжування, як і будь-яке бінарне відношення, можна задати матрицею 
з 0 і 1 порядку к х к. При цьому x (а, в) = 1 тоді і тільки тоді, коли а < в або а = в. У першому випадку х (в, а) = 0, а у другому х (в, а) = 1. При цьому хоча б одне з чисел х (а, в) і х (в, а) дорівнює 1. З визначення суперечливості пари (а, в) витікає, що для знаходження усіх таких пар достатньо перемножити поелементно дві матриці і 
, що відповідають двом кластерізованим ранжуванням, й відібрати ті і тільки ті пари, для яких х (а, в) у (а, в) = х (в, а) у (в, а) = 0.
Пропонуємий алгоритм узгодження деякого числа (двох і більше) кластерізованих ранжувань складається з трьох етапів. На першому виділяються суперечливі пари об’єктів у всіх парах кластерізованих ранжувань. На другому формуються кластери підсумкового кластерізованого ранжування (тобто класи еквівалентності – зв’язувальні компоненти графів, які відповідають об’єднанню попарних ядер суперечностей). На третьому етапі ці кластери (класи еквівалентності) упорядковуються.
Якщо думки експертів подані у вигляді бінарних відношень таких як ранжування, або розбиття на групи між якими є суворий порядок) відношення еквівалентності, толерантності (відношення схожості), то за допомогою відстані Кемені можна знайти підсумкову думку комісії експертів.
Нагадаємо, що кожне кластірезоване ранжування, як й будь-яке бінарне відношення можна задати квадратною матрицею з 0 та 1 порядку k х k. При цьому х(a,в) = 1тоді й тільки тоді, коли а < в або а = в. У першому випадку х(в,а)= 0, а у другому х(в,а) = 1. При цьому хоча б одно з чисел х(а,в) і х(в,а) дорівнює 1.
Нехай А1, А2, А3, …, Ар – відповіді р експертів, які подані у вигляді бінарних відношень. Для їх усереднення використовують так звану медіану Кемені Argmin ∑D(Аi, A), де Argmin те або ті значення А, при яких досягає мінімуму вказана сума відстаней Кемені від відповідей експертів до поточної змінної А, по якій й здійснюється мінімізація. Таким чином:
∑D(Аi, A) = D(А1, A) + D(А2, A) +…+D(Ар, A). (12.3)
Окрім медіани Кемені, використовують середнє по Кемені, в якому замість D(Аi, A) стоїть D2(Аi, A).
Медіана Кемені – частиний випадок визначення емпіричного середнього у просторах нечислової природи [ ]. Для неї є справедливим закон великих чисел, тобто емпіричне середнє наближається при зростанні числа складових (тобто р-числа доданок в сумі), до теоретичного середнього:
Argmin ∑D(Аi, A) → Argmin M[D(Аi, A)] (12.4)
Тут М – символ математичного очікування. Припускається, що відповіді р експертів А1, А2, А3,…,Ар є підстави розглядати як незалежні однаково розподілені випадкові елементи (тобто як випадкову вибірку) у відповідному просторі довільної природи, наприклад, у просторі упорядкувань або відношень еквівалентності. Систематично емпіричні та теоретичні середні і відповідні різні варіанти законів великих чисел подані в ряді робіт.
Закони великих чисел показують, по-перше, що медіана Кемені має стійкість по відношенні до незначної зміни складу експертної комісії, по-друге, при збільшенні числа експертів вона наближається до деякої межі. Її природно розглядати як істинну думку експертів, від якої кожний з них дещо відхиляється з випадкових причин.
Закон великих чисел, що розглядається тут, є узагальненням відомого в статистиці «класичного» закону великих чисел. Він заснований на іншій математичній базі – підсумуванні. Упорядкування й інші бінарні відношення не можна підсумувати, тому необхідно застосовувати іншу математику.
Обчислення медіани Кемені – задача цілочисельного програмування. Зокрема, для її знаходження використовують різні алгоритми дискретної математики, Зокрема, засновані на методі гілок і границь. Застосовують також алгоритми, засновані на ідеї випадкового пошуку, бо для кожного бінарного відношення неважко знайти множину його сусідів.
Розглянемо приклад обчислення медіани Кемені. Нехай дана квадратна матриця (порядка 9) попарних відстаней для множини бінарних відношень з 9 елементів А1, А2, …, А9 (табл. 12.3). Знайти на цій множині медіану для множини з 5 елементів {А2, А4, А5, А8, А9}.
Табл. 12.3
Матриця попарних відстаней
| А1 | А2 | А3 | А4 | А5 | А6 | А7 | А8 | А9 | |
| А1 | |||||||||
| А2 | |||||||||
| А3 | |||||||||
| А4 | |||||||||
| А5 | |||||||||
| А6 | |||||||||
| А7 | |||||||||
| А8 | |||||||||
| А9 |
У відповідності з визначенням медіани Кемені необхідно ввести в розгляд функцію:
С(А) = ∑ D(Аi, A) = D(А2, A) + D(А4, A) + D(А5, A) + D(А8, A) + D(А9, A), обчислити її значення для усіх А1, А2, …, А9 й вибрати найменше. Проведем розрахунок:
С(А1) = D(А2, A1) + D(А4, A1) + D(А5, A1) + D(А8, A1) + D(А9, A1)=
=2+1+7+3+11 = 24
С(А2) = D(А2, A2) + D(А4, A2) + D(А5, A2) + D(А8, A2) + D(А9, A2)=
=0+6+1+5+1=13
С(А3) = D(А2, A3) + D(А4, A3) + D(А5, A3) + D(А8, A3) + D(А9, A3)=
=5+2+2+5+7 =21
С(А4) = D(А2, A4) + D(А4, A4) + D(А5, A4) + D(А8, A4) + D(А9, A4)=
=6+0+5+8+8 = 27
С(А5) = D(А2, A5) + D(А4, A5) + D(А5, A5) + D(А8, A5) + D(А9, A5)=
=1+5+0+3+7 = 16
С(А6) = D(А2, A6) + D(А4, A6) + D(А5, A6) + D(А8, A6) + D(А9, A6)=
=3+4+10+1+5 = 23
С(А7) = D(А2, A7) + D(А4, A7) + D(А5, A7) + D(А8, A7) + D(А9, A7)=
=2+3+1+6+3 =15
С(А8) = D(А2, A8) + D(А4, A8) + D(А5, A8) + D(А8, A8) + D(А9, A8)=
=5+8+3+0+9 =25
С(А9) = D(А2, A9) + D(А4, A9) + D(А5, A9) + D(А8, A9) + D(А9, A9)=
=1+8+7+9+0 = 25
З усіх обчислених сум найменшою є 13 й досягається при А = А2, тобто медіана Кемені – це множина {A2}, яка складається з одного елементу.
Метод простого ранжування полягає в тому, що кожного експерта просять розташувати ознаки у порядку віддавання ним переваг. Цифрою 1 позначається найбільш важлива ознака, цифрою 2 – наступна за нею за важливістю ознака й т.д., отримані дані зводяться у табл. 12.14.
Табл.12.4
Експертні оцінки ознак (напрямків досліджень)
| експерти ознаки | …. | і | … | m | |||
| х1 | 
| 
| 
| …. | 
| … | 
|
| х2 | 
| 
| 
| … | 
| … | 
|
| х3 | 
| 
| 
| … | 
| … | 
|
| … | … | … | … | … | … | … | … |
| хj | 
| 
| 
| … | 
| … | 
|
| …. | … | … | … | … | … | … | … |
| xn | 
| 
| 
| … | 
| … | 
|
- порядок переваги даної ознаки перед іншою.
Потім за допомогою методів математичної статистики отримують узагальнену думку експертів. Визначається середній ранг, середнє статистичне значення Sj j-ї ознаки:
(12.5)
Де mkj – кількість експертів, які оцінюють j-ту ознаку (
), 
; j = номер ознаки, 
Визначається середній ранг кожної ознаки. Чим менше величина Sj, тим більше важливість цієї ознаки.
Для того, щоб можна було сказати про те, чи є випадковість розподілу рангів, або чи є узгодженість у думках експертів, здійснюється обчислення коефіцієнта конкордації К, який був введений М. Кендаллом.
Визначається середній ранг сукупності ознак:
(12.6)
Розраховується відхилення dj середнього рангу j-ї ознаки від середнього рангу сукупності:
(12.7)
Визначається число однакових рангів, які назначені експертами j-ї ознаки –tq.
Визначається кількість груп однакових рангів Q. Визначається коефіцієнт конкордації за формулою:
, (12.8)
де Ті = 
(12.9)
Коефіцієнт К може приймати значення у межах від 0 до 1. При повній узгодженості думок експертів коефіцієнт конкордації дорівнює 1, при повній розбіжності – 0.
Найбільш реальним є випадок часткової узгодженості думок експертів.
По мірі збільшення узгодженості думок експертів коефіцієнт конкордації збільшується й наближається на межі до 1. Але, якщо він дорівнює, або знаходиться близько до нуля, не завжди має місце повна розбіжність. Серед експертів можуть бути групи з добре узгодженими думками, але думки ці – протилежні й у загальній масі нейтралізують одна одну. У такому випадку необхідно провести кластер ний або комбінований аналіз для виявлення таких груп.
Позитивні якості метода простого ранжування:
1) порівняльна простота процедури отримання оцінок;
2) менша кількість експертів у порівнянні з іншими методами при оцінюванні одного й того же набору ознак.
Негативні якості:
1) свідомо вважають розподіл оцінок рівномірними;
2) зменшення важливості ознак припускається також рівномірним, у той же час, як на практиці цього не буває.
Метод задавання вагових коефіцієнтів полягає у присвоєнні усім ознакам вагових коефіцієнтів.
Вагові коефіцієнти можуть бути проставлені двома способами:
1) усім ознакам назначають вагові коефіцієнти так, щоб суми коефіцієнтів дорівнювали будь-якому фіксованому числу, наприклад, одиниці, десяти або ста;
2) найбільш важливій ознаці надають ваговий коефіцієнт, що дорівнює фіксованому числу, а усім іншим – коефіцієнти, які дорівнюють частці цього числа.
Узагальнена думка експертів також отримуються за допомогою методів математичної статистики за формулами (12.6 – 12.9).
Метод послідовних порівнянь полягає у такому:
1) експерт упорядковує усі ознаки у порядку зменшення їх значущості: А1>A2>A3>…>An;
2) надає першій ознаці значення, що дорівнює 1: А1=1, іншим ознакам призначає вагові коефіцієнти у частках одиниці;
3) порівнює значення першої ознаки з сумою усіх інших.
Тут можливі три варіанти:A1>A2+A3+…+An
A1=A2+A3+…+An
A1<A2+A3+…+An
Експерт вибирає найбільш відповідний за його думкою, варіант й приводить у відповідність з ним оцінку першої події;
4) порівнює значення першої ознаки із сумою усіх інших за вирахуванням останньої ознаки.
Призводить оцінку першої ознаки у відповідність з вибраним з трьох варіантів нерівностей:
A1>A2+A3+…+An-1
A1=A2+A3+…+An-1
A1<A2+A3+…+An-1
5) процедура повторюється до порівняння А1 з А2 + А3.
Після того як експерт уточнив оцінку першої ознаки у відповідності із вибраним ним нерівностей з трьох можливих:
A1>A2+A3
A1=A2+A3
A1<A2+A3
він переходить до уточнення оцінки другої ознаки А2 за тією ж схемою, що й у випадку першої, тобто порівнюється оцінка другої ознаки із сумою подальших.
Перевага його полягає в тому, що експерт у процесі оцінювання ознак сам аналізує свої оцінки. Замість призначення коефіцієнтів виникає творчий процес створення цих коефіцієнтів.
Недоліки такого методу:
1) складність, бо недосвідчений експерт буде дуже тяжко відтворювати таку процедуру, замість уточнення своїх попередніх оцінок, він буде плутатися в них;
2) громіздкість; на оцінку одного й того ж набору ознак він потребує у 4 рази більше операцій, чим метод простого ранжування, тобто потрібно у 4 рази більше експертів.
Метод парних порівнянь. Відповідно до цього методу усі ознаки попарно порівнюються одна з одною. На підставі попарних порівнянь шляхом подальшої обробки потім знаходять оцінки кожної ознаки.
Для того щоб експерту зручно було проводити порівняння, ознаки (A, B, C,…, N) заносяться у таблицю й по горизонталі й по вертикалі.
| A | B | C | … | N | |
| А | A/B | A/C | … | A/N | |
| В | B/A | B/C | … | B/N | |
| С | C/A | C/B | … | C/N | |
| … | … | … | … | … | |
| N | N/A | N/B | N/C | … |
Експерт заповнює клітини такої таблиці. Порівняння ознаки самої із собою дає 1. У першій клітині експерт пише 1, у другій – результат порівняння першої ознаки із другою, у третій - результат порівняння першої ознаки із третьою й т.д. Переходячи до другої стрічки, експерт записує у першій клітині результат порівняння другої ознаки з першою, у другій – одиницю, у третій – порівняння другої ознаки із третьою й т.д.
Половина таблиці, яка розташована вище діагоналей, є відображенням нижньої половини. Для облегшення роботи експерта, доцільно заповнювати лише одну половину таблиці (вище або нижче діагоналі). Таким чином, відповіді експертів будуть подані у вигляді такої матриці:
α11 α12 α13… α1n
α22 α23… α2n
α33… α3n
………………..
αnm
Після ряду математичних перетворень ми отримуємо оцінки кожної ознаки А1,А2,…,Аn, з точки зору даного експерта. Сумарні оцінки ознак отримуються шляхом ідентичної оцінки сумарної матриці, кожний елемент якої є сумою порівнянь ознак, які дали усі експерти.
Сумарна матриця має вигляд
….. 
..... 
………………….
,
де m – число експертів, які оцінюють даний набір ознак;
– оцінки відповідно 1,2,….,j,…,m експертів
– сумарні оцінки, які дали усі експерти.
Визначаючи дисперсію сумарної матриці й порівнюючи її з максимально можливою дисперсією матриці з таким же числом елементів, можна визначити узгодженість думок експертів. Чим ближче дисперсія сумарної матриці до максимально можливої дисперсії, тим вище узгодженість думок.
Таким чином, метод парних порівнянь дозволяє провести суворий, статистично обґрунтований аналіз узгодженості думок експертів, виявити, випадкові чи ні отримані оцінки. Безумовно, процедура метода парних порівнянь складніше метода простого ранжування, але простіше метода послідовних порівнянь.
Число експертів необхідне для оцінювання визначеної сукупності ознак методом парних порівнянь, у 2 рази більше, чим при використанні метода простого ранжування, й у 2 рази менше, чим при методі послідовних порівнянь.
Нині у багатьох методах проведення експертного оцінювання у якості показника компетентності експерта використовується коефіцієнт:
, (12.10)
де Кк – коефіцієнт компетентності експерта;
Кзн – коефіцієнт ступеню знайомства експерта з проблемою, що
обговорюється;
Ка – коефіцієнт аргументованості.
Коефіцієнт ступеня знайомства експерта з напрямком досліджень визначається шляхом самооцінки експерта за 10-бальною шкалою.
Значення балів самооцінки таке:
0 – експерт не знайомий з питанням;
1,2,3 – експерт погано знайомий з питанням, але питання входить до сфери його інтересів;
4,5,6 – експерт задовільно знайомий з питанням, не приймає безпосередньої участі у практичному вирішенні питання;
7,8,9 – експерт добре знайомий з питанням, приймає участь у практичному вирішенні питання;
10 – питання входить до вузького кола спеціалізації експерта.
Експерту пропонується самому оцінити ступінь свого знайомства з питанням й підкреслити відповідний бал. Потім цей бал помножується на 0,1 й отримується коефіцієнт.
Коефіцієнт аргументованості враховує структуру аргументів, які послужили експерту підґрунтям для визначення оцінки. Коефіцієнт аргументованості пропонується визначити у відповідності із табл. 12.5. шляхом підсумовування значень відмічених експертом у клітинах цієї таблиці. Визначивши Кк, помножують його на значення оцінок експертів.
Табл. 12.5
Значення коефіцієнта аргументованості
| Джерело аргументації | Ступінь впливу джерела аргументованості на Вашу думку | ||
| висока | середня | низька | |
| Проведений Вами теоретичний аналіз | 0,3 | 0,2 | 0,1 |
| Ваш виробничий досвід | 0,5 | 0,4 | 0,2 |
| Узагальнення робіт вітчизняних авторів | 0,05 | 0,05 | 0,05 |
| Узагальнення робіт закордонних авторів | 0,05 | 0,05 | 0,05 |
| Ваше особливо знайомство зі станом справ за кордоном | 0,05 | 0,05 | 0,05 |
| Ваша інтуїція | 0,05 | 0,05 | 0,05 |
Запитання і завдання до самоконтролю
1. У чому полягає сутність методів експертних оцінок?
2. Розкрийте сутність методу сценаріїв.
3. Опишіть стадії експертного опитування.
4. Розкрийте сутність проблеми підбору експертів.
5. У чому полягає сутність регламенту проведення збирання та аналізування експертних думок?
6. Порівняйте проекти методом середній балів (табл.. 12.6).
| Номер експерта | Проект | |||||
| А1 | А2 | А3 | А4 | А5 | А6 | |
| 2,5 | 2,5 | |||||
7. Порівняйте проекти методом середніх арифметичних рангів
(табл. 12.6).
8. Порівняйте проекти методом медіани (табл..12.6).
9. Порівняйте дані, обчислені за пп. 6,7,8.
10. У чому полягає сутність методу узгодження кластерізованого ранжування.
11. Обчислити медіану Кемені (квадратної матриці (табл..12.3) попарних відстаней для множини бінарних відношень з 9 елементів А1, А2,.., А9 для множини з 5 елементів { А1, А3, А6, A7, A9 }.
12. Методом простого ранжування провести експертизу експертної оцінки проектів (табл. 12.6).
