Експертне оцінювання як різновид опитувального діагностичного методу

Метод експертного оцінювання є одним із різновидів опитування. Від масового опитування він відрізняєть­ся тим, що респондентами стають найкомпетентніші у неекспериментальні методи психологічного дослідження досліджуваній Сфері особи, тобто експерти. Це зумовлює техніку збирання, аналізу та використання інфор­мації.

Особливо зацікавилися дослідницьким потенціалом експертного оцінювання після успішної реалізації Дель­фійського проекту, який перевершив за багатьма пара­метрами (короткочасність, незначна трудомісткість, собівартість процедур) традиційні методики отримання інформації. Успіх забезпечили оптимальний добір екс­пертів, своєчасне і всебічне інформування, ефектив­ність організації всіх етапів оцінювальної діяльності. У психологічному дослідженні експертне оцінювання можна вважати самостійним методом пізнання і компо­нентом спостереження, опитування, експерименту та аналізу продуктів діяльності.

Експертне (лат, ехреrtus — досвідчений) оцінювання (експерти­за) — метод отримання узагальненої інформації шляхом оціню­вання ситуації, події чи явища групою незалежних експертів.

Узагальнену інформацію отримують із допомогою екс­пертного опитування, у якому беруть участь фахівці в галузі, яка цікавить дослідника. Під час масових опиту­вань чим більшою є вибіркова сукупність, тим краще, оскільки зростає їх репрезентативність, а в експертному опитуванні збільшення кількості експертів не поліпшує якості інформації. Оптимальна їх кількість — 25—30, а іноді й 10 осіб. До експертного опитування можна вдава­тися під час вивчення всіх галузей діяльності, однак воно особливо ефективне при діагностуванні, прогнозуванні, оцінюванні станів соціальних об'єктів, прийнятті рішень.

Отже, основна проблема при застосуванні методу експертних оцінок — добір експертів, оскільки від них залежить цінність отриманих результатів. Завданням експерта — компетентного фахівця, який має досвід у конкретній галузі, - є формулювання власної думки про досліджуваний об'єкт або явище за певною шкалою відповідно до передбачених правил.

Найпростішим методом добору експертів є метод «грудка снігу», при використанні якого основне зав­дання — знайти одного фахівця в досліджуваній сфері і з'ясувати, хто ще знається на цій проблемі. Успіш­ним результатом є інформація про кількох фахівців, які внесуть свої пропозиції. Ця процедура триватиме, доки прізвища не почнуть повторюватися. Після цього підраховують, скільки разів згадано те чи інше прізви­ще. Осіб, яких згадували найчастіше, включають до складу експертів.

Можна здійснювати добір експертів документаль­ним методом, тобто на підставі певних якостей людей, зафіксованих у документах (публікації з конкретної тематики або посилання на праці певного автора, участь у роботі різних рад, науковий ступінь та звання, стаж роботи за фахом та інші значущі для конкретного дослі­дження критерії).

Послуговуючись методом атестації, експертів добирають шляхом голосування у спеціально створеній для цього комісії. Експериментальний метод добору експертів реалізується на підставі тестування або за результатами їх попередньої роботи. Також можна використовувати і метод самооцінки, який полягає у застосуванні спеціальної анкети, відповідаючи на запи­тання якої кандидат в експерти демонструє рівень знань та аналітичні здібності.

Експертне опитування класифікують за рівнем стан­дартизації процедур і технікою роботи. За рівнем стандартизації процедур можна послуговуватись віль­ним та формалізованим інтерв'ю або анкетами з від­критими запитаннями. Залежно від техніки роботи вдаються до:

— бальних оцінок, коли експерт оцінює певні чин­ники в балах або розподіляє їх згідно із заданими крите­ріями, а бали визначають при обробленні даних;

- ранжування, за якого експерт має впорядкувати запропоновані об'єкти, надаючи кожному відповідний ранг;

— парного порівняння, коли зі складених дослідни­ком пар суджень експерт у кожній із них указує ті, що переважають за заданим критерієм;

- послідовного порівняння, що полягає у визначен­ні експертом важливості кожного чинника порівняно з іншими.

Різновиди експертного оцінювання застосовують на будь-якому етапі дослідження: при визначенні його цілей і завдань, побудові і перевірці гіпотез, виявленні проблемних ситуацій, у процесі інтерпретації понятійно­го апарату, вироблення рекомендацій для обґрунтування адекватності використовуваного інструментарію тощо.

Особливостями його є циклічність процедури, відсутність прямого контакту експертів, анонімність учасників, опе­рування кількісними оцінками і їх аргументацією. Отже, експертне оцінювання — процедура отриман­ня оцінки проблеми на основі групової думки експертів. Цей метод ефективний із погляду нівелювання помилок окремих дослідників (експертів) і вироблення єдино правильної позиції чи прийняття кваліфікованого рішення.

Послідовність експертного оцінювання

Високу якість одержаних результатів забезпечує до­тримання алгоритму дій при експертному оцінюванні. Моніторингова група, яка складається з експертів для організації експертизи, спочатку формулює дослідниць­ке завдання, добирає компетентних фахівців, інструктує їх, розробляє оцінні параметри, забезпечує роботу екс­пертів (технічне, математично-статистичне опрацюван­ня даних, логіко-семантичне оформлення суджень).

Оцінки експертів не завжди точні, що часто зумовле­но їхніми особистісними якостями (некомпетентністю, упередженістю, несумлінністю, незацікавленістю в успіху справи, невпевненістю в собі) або прорахунками моніторингової групи (нечіткістю мети і завдань робо­ти, здійсненням експертного опитування без спеціально розробленої програми, нечіткістю інструкцій з оціню­вання, недостатнім обліком впливу факторів, перекру­чуванням результатів експертизи, поверховістю в обро­бленні суджень експертів). Тому необхідно на цьому етапі подбати про максимальне наближення оцінок екс­пертів до істини. Суб'єктивність експертного оцінюван­ня не означає його неефективності, воно надає недостовірну інформацію лише через добір некваліфікованих фахівців і неякісне організовану їх роботу.

Оцінювальна діяльність експертів передбачає:

- підготовку до експертизи (вивчення порядку і правил оцінювання, ознайомлення зі способами реєстрації суджень, актуалізацію знань у конкретній галузі);

- дослідження об'єкта експертизи;

- виникнення імпліцитної оцінки, за якої суб'єк­тивне враження слабодиференційоване і нестійке, не виражене засобами внутрішнього мовлення чи словами; - експлікацію (формулювання), а потім вербальне або символічне вираження оцінки;

- перевірку правильності результату оцінювання;

- аргументування оцінки;

- участь в інформаційному обміні між експертами. Вимогою до роботи експертів є стандартизованість їхніх дій, суджень, які залежно від особливостей дослі­дження існують у формі вільного чи стандартизованого інтерв'ю, анкетування з напівзакритими або відкри­тими питаннями.

Традиційно статистичне опрацювання матеріалу відбувається із застосуванням вимірювальних шкал: найменувань, порядку (рангової), інтервалів, відношень (пропорцій). Моніторингова група, визначивши аде­кватний дослідженню тип вимірювальної шкали, роз­робляє для експертів конкретні параметри, які слід оці­нити в індивідуальних судженнях.

Після оцінювання експертів дослідник перевіряє індивідуальні судження та аргументує їх, виявляючи несуперечність складових; аналізує думки експертів, з'ясовуючи їх узгодженість між собою; виокремлює групу експертів із подібними та різними оцінками, ви­значаючи причини відмінностей між індивідуальними думками; виявляє вплив компетентності експертів на зміст та обґрунтування їх оцінок.

На вірогідності результатів у процесі експертного оцінювання позначається оцінний суб'єктивізм, спри­чинений поліфункціональністю оцінки, неможливістю обрахувати оцінні процедури, різним рівнем професійної підготовленості, індивідуально-особистісними особливо­стями експертів, сформованими до моменту оцінювання уявленнями про можливості досліджуваних, відмінно­стями в умінні абстрагуватися від наявних міжособистісних відносин із досліджуваними, характерологічними особливостями (відповідальність, сумлінність, зібра­ність, зацікавленість тощо); ситуаційними умовами оці­нювання (втома), облаштуванням робочого місця (освіт­леність, температура приміщення), чергуванням різних за якістю відповідей або робіт, впливом на оцінку загального рівня досліджуваних. На вірогідність резуль­татів експертного оцінювання також впливають:

- ефект ореолу (вплив на оцінку сформованих уяв­лень про можливості досліджуваних);

- ефект фасаду (залежність оцінки від враження, яке справив досліджуваний на момент оцінювання: зовнішній вигляд, стать, манера поведінки, логічність відповіді, упевненість);

- ефект контрасту (залежність оцінки від оцінок попередніх досліджуваних);

— ефект фону (вплив на оцінку загального рівня під­готовленості досліджуваних).

Перекручування результатів експертного оцінюван­ня може зумовити специфіка оцінюваної сфери. За участю групи фахівців, які оцінюють об'єкт і дискутують про його характеристики, вплив багатьох причин спотворювань послаблюється, однак це не гарантує точноcті результатів.

Недостовірність результатів очного групового оцінювання зумовлюють такі чинники:

а) намагання ідентифікувати повідомлення з його джерелом, через що слухач приймає або спростовує думку залежно від ставлення до людини, яка її висловила не від реального змісту;

б) доцентровий тиск (усереднення експертних оці­нок у процесі їх обговорення);

в) тенденція захищати власну позицію навіть після того, як експерт переконався в її неправильності;

г) прагнення домінувати, що виникає в осіб, які не є визнаними лідерами, але претендують на це;

ґ) вплив феномену «групового мислення», що про­являється в підтриманні групового рішення;

д) нестійкість імпліцитної оцінки, що легко змінюється під впливом висловлених іншими експертами думок.

Ці чинники впливають і на підсумки групового оцінювання, що відбувається в заочній формі і позбавлене посередньої взаємодії експертів між собою. Однак заочна форма експертизи передбачає кілька турів, що збільшує тривалість і трудомісткість процедури.

Отже, при збиранні інформації методом експертного оцінювання можлива організація й колективної роботи експертів. Наприклад, «мозкова атака» за заздалегідь підготовленим сценарієм, за якої експерти спільно розв'язують поставлені завдання, або метод комісії (виокремлення проблеми та обговорення різних пропо­зицій щодо її подолання). Одним із поширених техніч­них прийомів організації колективної роботи експертів с метод Дельфі, коли експерти розв'язують завдання, зберігаючи анонімність суджень. Опитування здійсню­ють методом інтеракції (лат. interactio — повторення) у кілька турів. Починаючи з другого туру, експерти ознайомлюються з попередніми результатами в опрацьо­ваному вигляді. Кожному експерту вказують на відхи­лення його оцінок, суджень від середніх значень. Якщо оцінка експерта дуже відрізняється від середньої, він повинен або аргументувати це відхилення, або внести уточнення у свої судження.

Помилки при проведенні експертизи пов'язані пере­дусім із нечіткістю визначення цілей, неправильним добором експертів або невідповідністю цілей експертно­го опитування можливостям експертів, а також обран­ням неадекватної техніки її організації.