Методика оценки эффективности мероприятийпо профессиональному психологическому отбору

Оценка эффективности является необходимым и важным эле­ментом профессионального психологического отбора (ПЛО). Этот элемент предусматривает проверку правильности прогнозов про­фессиональной пригодности ранее отобранных лиц на основе дан­ных об их фактической успешности в ходе обучения или реаль­ной деятельности.

Оценка эффективности мероприятий по ППО должна произ­водиться специалистами подразделений профотбора ежегодно.

Окончание табл. 8. 8 (мужчины)

ОСТ шка­		Арифметический счет
ла СЭМ	1-3	4-5	6	7-10
6-10	низкий	достаточ­ ный	средний	высокий
4-5	низкий	достаточ­ ный	средний	средний
2-3	низкий	достаточ­ ный	достаточ­ ный	достаточ­ ный
1	ЖНИ	низкий	низкий	низкий

 

Таблица 8.9

Порядок вынесения итогового заключения о профессиональной пригодности на основании результатов социально-психологического изучения, оценки уровня ОИР, адаптационных способностей по показателю ЛАП, интегрального значения тестов специальных способностей и интегрального значения тестов ОТД

Результаты социально­психологическо­го изучения >	Общее интел­лектуальное развитие	Многофакторный личностный оп­росник «Адап­тивность»	Специальные способности	Общеобразова­тельные тесты достижений	Категория профессиональной пригодности
1 категория					1 КАТЕГОРИЯ
1 категория			1 или 2 категория	2 категория	2 КАТЕГОРИЯ
1 категория			2 категория	1 или 2 категория
1 категория			1 категория	3 категория
1 категория			3 категория	1 категория
По одному из блоков 2 категория, по остальным двум блокам 1 категория			Не ниже 2 категории		2 КАТЕГОРИЯ
По двум блокам 2 категория, по одному блоку 1 категория			Не ниже 2 категории
2 категория			Не ниже 2 категории
3 категория	1 категория
1 или 2 категория	По одному из блоков 3 категория		Не ниже 2 категории		3 КАТЕГОРИЯ
1 или 2 категория	По одному из блоков 3 категория		По одному из блоков 3 категория
По всем блокам 3 категория
1 или 2 категория | 3 категория			Не ниже 2 категории
1 категория			По одному из блоков 4 категория
По одному из блоков 4 категория			По одному из блоков 4 категория		4 КАТЕГОРИЯ
По всем блокам 3 категория			По одному или обоим блокам 4 категория
По одному из блоков 4 категория			Не ниже 3 категории
По всем блокам 4 категория

 

Оценка эффективности мероприятий по ППО должна быть многосторонней и комплексной, что требует учета различных показателей (табл. 8.10). Эти показатели делятся на два класса: деятельностные и экономические. Показатели первого класса от­ражают влияние ППО на обучение, эффективность деятельности и функциональное состояние специалистов. Каждый из этих по­казателей может рассматриваться в индивидуальном и в группо­вом аспектах. Показатели же второго класса составляют основу экономической эффективности мероприятий ППО.

Оценку практической эффективности мероприятий по ППО целесообразно проводить на основе анализа процентного распре­деления контролируемых результатов успешности обучения и/или работы по категориям профпригодности.

В качестве основных контролируемых результатов успешнос­ти обучения и/или работы чаще всего используются следующие показатели:

· оценки сдачи экзаменов и зачетов;

· успеваемость на практических и теоретических занятиях (текущая успеваемость);

· оценки выполнения контрольных упражнений, прохожде­ния практики и стажировки;

· успешность выполнения специалистами служебных обязан­ностей;

· увольняемость по неуспеваемости, нежеланию учиться, не­дисциплинированности.

Контролируемые результаты успешности обучения и/или ра­боты и их соответствие категориям профпригодности, как прави­ло, определяют на основе оценочных шкал. Для этих целей чаще всего применяют 5- или 10-балльные шкалы. При использовании 5-балльной шкалы руководствуются следующим:

-  средняя оценка в 4,5-5 баллов соответствует первой группе успешности обучения (службы) й адекватна первой катего­рии профпригодности;

- средняя оценка в 3,76-4,4 балла соответствует второй груп­пе успешности обучения (службы) и адекватна второй кате­гории профпригодности;

-  средняя оценка в 3-3,76 балла соответствует третьей груп­пе успешности обучения (службы) и адекватна третьей ка­тегории профпригодности;

-  средняя оценка менее 3 баллов соответствует четвертой груп­пе успешности обучения (службы) и адекватна четвертой категории профпригодности.

При экспертной оценке успешности обучения и службы по 10-балльной шкале экспертная оценка в 8 и более баллов соот­ветствует первой группе успешности обучения (службы) и адек­ватна первой категории профпригодности, 6-7 баллов — второй группе успешности обучения (службы) и второй категории проф­пригодности, 4-5 баллов — третьей группе успешности обучения (службы) и третьей категории профпригодности, менее трех бал­лов — четвертой группе успешности обучения (службы) и четвер­той категории профпригодности (табл. 8.11).

Таблица 8.11

Шкала экспертных Оценок

Балл	Содержательная интерпретация экспертных оценок
10	По своим способностям и личным качествам, успешности обучения и службы лучший по своей специальности
9	Лучший по своей специальности, обладает высокими способностями и личными качествами, отлично усваивает теоретический материал и практические навыки специальности и службы
8	По своим способностям и личным качествам, успешности обучения и службы, по легкости усвоения материала и практических навыков специальности и службы существенно отличается от среднего уровня работающих по этой специальности
7	Обладает хорошими способностями и личными качествами, лучше других усваивает материал и овладевает практическими навыками специальности и службы
6	Обладает хорошими способностями и личными качествами, по ряду показателей лучше, чем большинство, усваивает материал и практические навыки специальности и службы

Окончание табл. 8. 11

Балл	Содержательная интерпретация экспертных оценок
5	По всем своим показателям ничем не отличается от большинства остальных ни в лучшую, ни в худшую сторону
4	Обладает средними способностями и личными качествами, по усвоению материала и овладению практическими навыками специальности и службы несколько отличается от большинства других в худшую сторону
3	Способности и личные качества ниже средних, усвоение материала и овладение практическими навыками специальности и службы медленнее и требует большего внимания, чем у остальных
2	Способности и личные качества низкие, усвоение материала и овладение практическими навыками специальности и службы очень медленное, требует много внимания при низкой эффективности отдачи
1	Способности и личные качества недостаточны для усвоения материала и овладения практическими навыками специальности и службы, самый слабый в коллективе

 

В группу экспертов рекомендуется включать непосредствен­ных начальников, которые определяют результаты успешности обучения (службы) по шкале экспертных Оценок. Может быть использован и метод групповой (коллективной) оценки личнос­ти, когда в качестве экспертов выступает весь состав функцио­нального подразделения, коллектива, группы. Интегральная эк­спертная оценка определяется ее средним значением для каждо­го оцениваемого результата успешности обучения и службы.

Точность прогноза профпригодности характеризуется числом совпадений прогнозов профпригодности с реальными оценками успешности обучения и работы, а также числом случаев, когда прогноз профпригодности оказался выше или ниже реальных оценок успешности и оценивается следующими показателями, выраженными в процентах:

Показатель абсолютной точности прогноза профпригоднос­ти (Тп):

где nl(l), л2(2), гаЗ(З), п4(4) — соответственно количество лиц, отнесенных по результатам мероприятий профотбора к 1, 2, 3, 4-й категориям профпригодности, группа успешности обучения (служ­бы) которых соответствует категории их профпригодности; No — общее количество лиц, взятое для оценки эффективности ППО.

Показатели погрешности прогноза профпригодности в сторо­ну его завышения — DTn(+) и в сторону его занижения — DTn(-):

где nl(2, 3, 4) — количество лиц из числа имеющих 1-ю катего­рию профпригодности, реальная успешность обучения (службы) которых оценена 2, 3, и 4-й группами; л2(1) — количество лиц из числа имеюпгих 2-ю категорию профпригодности, реальная успешность обучения (службы) которых оценена 1-й группой; п2(3, 4) — количество лиц из' числа имеющих 2-ю категорию профпригодности, реальная успешность обучения (службы) кото­рых оценена 3-й и 4-й группами; л3(1, 2) — количество лиц из числа имеющих 3-ю категорию профпригодности, реальная ус­пешность обучения (службы) которых оценена 1-й и 2-й группа­ми; пЗ(4) — количество лиц из числа имеющих 3-ю категорию профпригодности, реальная успешность обучения (службы) кото­рых оценена 4-й группой; га4(1, 2, 3) — количество лиц из числа имеющих 4-ю категорию профпригодности, реальная успешность обучения (службы) которых оценена 1, 2 и 3-й группами.

Оценка эффективности методов определения групп профпригод­ности по критерию точности прогноза определяется из условий:

> при Тп Менее 65% точность в оценке группы профпригод­ности ниже среднестатистической нормы и методы оценки профпригодности неэффективны (среднестатистические нор­мы в данном случае и во всех других определены на основе

данных расчетов по оценке эффективности, проведенных в 100 организациях);

- при Тпболее 65% методы оценки профпригодности эффек­тивны;

-т при Тп более 70% методы оценки профпригодности высо­коэффективны.

Надежность методов прогнозирования категорий профпригод­ности и отбора на их основе специалистов определяется стабильно­стью более высоких результатов успешности деятельности у тех из них, кто получил 1-ю и 2-ю категорию профпригодности по срав­нению со специалистами, получившими 3-ю и 4-ю категорию проф­пригодности, и оценивается следующими показателями:

где HI, 2 (+), Я3(+) и Я4(+) — показатели успешного овладения специальностью (не ниже 2-й группы успешности обучения и служ­бы) количеством лиц nl, 2(1, 2) из числа имеющих 1-ю и 2-ю катего­рии профпригодности (N1, 2) и количеством лиц пЗ (1, 2) и п4(1, 2)

из числа имеющих 3-ю и 4-ю категории профпригодности (N3; N4); DH(+) — показатель надежности прогнозирования результа­тов успешного освоения специальности работники, имеющими 1-ю и 2-ю категории профпригодности, относительно рабоотников, име­ющих 3-ю и 4-ю категории профпригодности:

.             

где HI, 2(-), Н3(~) и Н4.(-) — показатели слабого освоения специ­альности (не выше 3-й группы успешности обучения и службы, включая отчисленных из учебных подразделений по различным причинам) количеством работников л 1, 2 (3, 4) из числа имею­щих 1-ю и 2-ю категории профпригодности (N1,2), количеством работников гаЗ (3, 4) из числа имеющих 3-ю категорию профпри­годности (N3) и количеством работников га4(3, 4) из числа имею­щих 4-ю категорию профпригодности (N4); DH(-) <— • показатель надежности прогнозирования результатов слабого освоения спе­циальности работниками, имеющими 3-ю и 4-ю категории проф­пригодности по сравнению с теми, которые имеют 1-ю и 2-ю категории профпригодности.

Оценка эффективности методов прогнозирования категорий профпригодности и успешности профессиональной деятельности по критерию надежности определяется из условий:

> при DH(+) больше DHdon(+) и (или) DH(-) больше DHdon(-) методы определения категорий профпригодности и соответ­ственно прогнозирование успешности деятельности и прак­тически надежны и эффективны;

> при DH(+) меньше DHdon(+) и (или) DH(-) меньше DHdon (-) методы определения категорий профпригодности и соответ­ственно прогнозирование успешности деятельности прак­тически ненадежны и неэффективны.

Допустимые значения показателей надежности НдоЫ+) и Ндоп(-) определены исходя из статистических данных оценки практи­ческой эффективности мероприятий ППО в 100 организациях и составляют значения, равные 2 (DHdon(+) - 2; DHdon(-) = 2).

Достоверность прогноза успешности деятельности отобранных в результате ППО специалистов определяется количеством лиц с 1, 2, 3 и 4-й категориями профпригодности, успешность деятель­ности которых оценена группой успешности не ниже категории их профпригодности, выраженных в процентах от общего коли­чества обследованных:

D я 1(1) + я2(1, 2) + пЗ(1, 2, 3) + п4(1, 2, 3, 4); (8Щ

~        No         

где ral(l) — количество лиц, имеющих 1-ю категорию профпри­годности, которые по успешности деятельности отнесены к 1-й группе успешности; л2(1, 2) — количество лиц, имеющих 2-ю категорию профпригодности, которые по успешности деятельно­сти отнесены к 1-й и 2-й группам успешности; пЗ(1, 2, 3) — ко­личество лиц, имеющих 3-ю категорию профпригодности, кото­рые по успешности деятельности отнесены к 1,2 и 3-й группам успешности; п4(1, 2, 3, 4) — количество лиц, имеющих 4-ю кате­горию профпригодности, которые по успешности деятельности отнесены к 1, 2, 3 и 4-й группам успешности; No — общее коли­чество специалистов, принятое для оценки эффективности ППО.

Оценка эффективности прогнозирования успешности деятель­ности отобранных специалистов на основе оценок их профпри­годности по критерию достоверности определяется из условий:

· при D более 75% методы прогнозирования успешности дея­тельности на основе оценок их профпригодности достоверны;

· при D менее 75% методы прогнозирования успешности деятель­ности на основе оценок их профпригодности недостоверны.

(Среднестатистическая норма достоверности, равная 75%, определена на основе данных расчетов практической эф­фективности, проведенной в 100 организациях.)

Мероприятия по ППО считаются практически эффективными, если методы оценки категорий профпригодности и прогнозирова­ния на их основе успешности деятельности по всем показателям — точности, надежности и достоверности — эффективны. В других случаях мероприятия ППО считаются неэффективными по сово­купности показателей или по отдельному показателю.

Методика оценки практической эффективности ППО может применяться отдельно как для каждого контролируемого резуль­тата успешности деятельности, так и для оценки результатов определения профпригодности по одной или нескольким методи­кам психологического и психофизиологического обследования.

Экономическая эффективность мероприятий ППО определяет­ся за период деятельности путем сопоставления экономического эффекта, включающего величину сокращения стоимости прямых или условных затрат на подготовку специалистов, со стоимостью средств, затраченных на проведение мероприятий по ППО:

                                                      (8.51)

где 3S — общий экономический эффект, достигнутый за счет сокращения затрат в виде предотвращения ущерба и дополни­тельной экономии денежных средств, полученных при обучении и деятельности отобранных специалистов. Зппо — суммарные за­траты на организацию, материальное обеспечение и проведение мероприятий по ППО.

Оценка экономической эффективности мероприятий по ППО проводится путем сравнения расчетного показателя экономичес­кой эффективности Е с нормативным значением этого показате­ля Ен и, кроме того, характеризуется величиной общего эконо­мического эффекта 3S, достигнутого за счет проведения меро­приятий по ППО.

При ES большем, чем £к-затраты на мероприятия по ППО считаются экономически эффективными, а при ES меньшем, чем Ен — экономически неэффективными. Нормативное значение по­казателя экономической эффективности Ен принимают равным величине, обратно пропорциональной сроку окупаемости затрат на мероприятия по ППО:

                                                                            (8.52)

где Ток — требуемый срок окупаемости затрат, максимальное значение которого не должно превышать период обучения и служ­бы отобранных работников.

Таким образом, для оценки эффективности мероприятий по ППО необходим комплексный подход с учетом как деятельност­ных, так и экономических показателей. Эффективность меро­приятий по ППО оценивается их практической и экономической значимостью.

Вопросы для самоконтроля

1. Дайте характеристику параметрам уравнения множествен­ной регрессии.

2. Что такое метод многомерного шкалирования?

3. Какие характеристики оценки эффективности мероприятий ППО вы знаете?

Задание для самостоятельной подготовки

Используя данные (с. 533-549), постройте уравнение мно­жественной регрессии для прогнозирования успешности профес­сиональной деятельности. По полученному уравнению множе­ственной регрессии рассчитайте прогностическую оценку успеш­ности деятельности.

Для справки:

RegNum — регистрационный номер обследуемого;

Psd — показатель сердечной деятельности по пробе Руфье;

Stest, КОТ — тесты оценки уровня интеллектуального развития;

NPU — уровень нервно-психической устойчивости;

N — направленность на выполнение деятельности (мотивация);

D — экспертная оценка успешности профессиональной дея­тельности по 10-балльной шкале.

Оцените эффективность построенной вами математической модели ППО по показателям точности, надежности и Достоверности.

Вопросы для тестового контроля знаний

1.  Точность прогноза профпригодности характеризуется:

а) числом совпадений прогнозов профпригодности с реальны­ми оценками успешности обучения и работы;

б) стабильностью результатов успешности деятельности;

в) количеством лиц, успешность деятельности которых оцене­на группой успешности не ниже категории их профпригодности;

г) все ответы верны;

д) все ответы неверны.

2. Надежность методов прогнозирования категорий профпри­годности и отбора на их основе специалистов определяется:

а) числом совпадений прогнозов профпригодности с реальны­ми оценками успешности обучения и работы;

б) стабильностью результатов успешности деятельности;

в) количеством лиц, успешность деятельности которых оцене­на группой успешности не ниже категории их профпригодности;

г) все ответы верны;

д) все ответы неверны.

3.  Достоверность прогноза успешности деятельности отобран­ных в результате ППО специалистов определяется:

а) числом совпадений прогнозов профпригодности с реальны­ми оценками успешности обучения и работы;

б) стабильностью результатов успешности деятельности;

в) количеством лиц, успешность деятельности которых оцене­на группой успешности не ниже категории их профпригодности;

г) все ответы верны;

д) все ответы неверны.

Рекомендуемая литература

1. Боровиков В. П., Боровиков И. П. Statistical — статистичес­кий анализ и обработка данных в среде Windows. М.: Филинъ, 1997. 608 с.

2. Булка А. П. Прогнозирование успешности профессиональ­ной деятельности военнослужащих на основе математической мо­дели нечеткой нейронной сети. Дисс. канд. мед. наук, 2005 г. 205 с.

3. Глосс Дж., Стенли Дж. Статистические методы в педагоги­ке и психологии..М.: Прогресс, 1976. 496 с.

4. Гмурман В. Е. Теория вероятностей и математическая ста­тистика. М.: Высшая школа, 1997. 480 с.

5. Елисеева И. И., Юзбашев М. М. Общая теория статистики. М.: Финансы и статистика, 1995. 368 с.

6. Интерпретация и анализ данных в социологических иссле­дованиях. М.: Наука, 1987. 254 с.

7. Львовский Е. Н. Статистические методы построения эмпи­рических формул. М.: Высшая школа, 1988. 239 с.

8. Сидоренко Е. В. Методы математической обработки в пси­хологии. СПб., 1996. 352    с.

9. Стивене С. С. Экспериментальная психология. М., 1960. 1982. Т. 1. 320 с.

10. Трифонов Е. В. Измерения в психофизиологии. В кн.: Те­оретические основы военной психофизиологии. Л.: Изд-во Воен­но-медицинской академии, 1991. С. 140-147.