Особенности автоматизации психологического ипсихофизиологического обследования

Автоматизацию деятельности специалистов, проводящих пси­хологическое и психофизиологическое обследование, следует рас­сматривать как одно из обязательных условий усовершенствова­ния системы профессионального психологического отбора (ППО) и сопровождения профессиональной деятельности. Внедрение в практику автоматизированных систем психодиагностики позволяет:

· повысить точность измерения психофизиологических па­раметров;

· ускорить процедуру тестирования и снизить затраты (прежде всего временные) на проведение обследования;

· добиться более полной стандартизации условий обследова­ния й снижения влияния субъективных факторов на его результаты.

Вместе с тем, «взрывное» распространение информационных технологий во многих сферах общественной практики привело к появлению огромного множества психодиагностических программ­ных продуктов сомнительного качества, различных как по це­лям применения, так и по содержанию тестовых заданий, выход­ных показателей, интерпретации результатов, организации хра­нения и обработки данных. Практически ни Одна из предлагае­мых компьютерных программ не содержит сведений о теорети­ческом обосновании той или иной методики обследования. В них не приводятся данные, подтверждающие валидность, надежность и достоверность использованных тестов. Это в большинстве слу­чаев делает невозможным применение имеющихся компьютер­ных психодиагностических средств в практике профотбора и про­фессионального психологического сопровождения деятельности служащих.

Таким образом, с одной стороны, дальнейшее совершенство­вание системы профессионального психологического отбора и сопровождения невозможно без внедрения новых информатиза- ционных технологий и компьютерного психологического и пси­хофизиологического обследования. С другой стороны, вновь раз­рабатываемые технические средства должны строго соответство­вать потребностям практики. С учетом сложившихся реалий не­обходимо в обязательном порядке проведение экспертизы приме­няемых для этих целей документов и технических средств. Про­ведение экспертизы предусматривает оценку:

· теоретического и экономического обоснования предлагаемых организационных, методических и технических решений;

· результатов практической проверки предлагаемых органи­зационных форм, методических приемов, показателей и кри­териев, которые могут подтвердить.их соответствие назначению (валидность), надежность, достоверность и практи­ческую приемлемость;

· технической документации (инструкции по эксплуатации, инструкции пользователю и др.);

· методических документов по применению технического средства профессионального психологического отбора кан­дидатов на конкретные должности;

· результатов технических испытаний.

Выполнение перечисленных пунктов требует определенной строгости и последовательности при разработке новых программ­ных продуктов психологического и психофизиологического об­следования. К сожалению, в настоящее время не существует нормативно-методических документов, регламентирующих такие разработки. В метрологии для обеспечения единства, точностии достоверности измерений физических величин действует толь­ко ГОСТ В 23428, разработанный в 1979 г. и безнадежно устарев­ший. Целью темы является подготовка материалов психофизио­логического профиля, необходимых для формулировки и обосно­вания требований к формату представления результатов компью­терного психологического и психофизиологического обследова­ния; оказание помощи психологам, психофизиологам и програм­мистам в регламентации разработок автоматизированных систем психологического и психофизиологического обследования.             

В данной теме рассматриваются методические основы и осо­бенности автоматизации психологического и психофизиологичес­кого обследования, показана структура автоматизированной экс­пертной системы и требования, предъявляемые к ее разработке.

Методические особенности автоматизации психологического и психофизиологического обследования

Исторически сложилось так, что наибольшее внимание уде­лялось, да и уделяется до настоящего времени, вопросам автома­тизации процедур психологического и психофизиологического тестирования— автоматизации методик, тестов, применяемых для отбора специалистов различного профиля.

С начала 50-х гг. XX в. автоматизация психодиагностичес­ких методик осуществлялась на основе ряда современных для того периода технических решений — разрабатывались различ­ные механические или электромеханические устройства, позво­ляющие автоматически предъявлять испытуемым разнообразные стимулы, на которые они должны были реагировать строго опре­деленным образом, чаще путем нажатия на специальные кноп­ки, клавиши. По окончании предъявлений стимулов рассчитыва­лись и выдавались на табло итоговые показатели, например, коли­чество ошибок, среднее время реакции на стимул и т. д. Эти по­казатели экспериментатор записывал в специальные протоколы.

Примером таких автоматизированных устройств могут служить приборы измерения простой и сложной сенсомоторной реакций, реакции на движущийся объект, критической частоты слияния световых мельканий. Известны и более сложные автоматизиро­ванные комплексы, которые нашли широкое применение в прак­тике психофизиологического отбора курсантов военных училищ, а также претендентов на некоторые ответственные военно-учет­ные специальности.

Широкое распространение вычислительной техники, и преж­де всего персональных компьютеров, придало мощный импульс развитию процесса автоматизации методов психологического и психофизиологического обследования. Анализ разработок в этой области показывает, что большинство программных или аппа­ратно-программных комплексов было направлено также на про­цесс автоматизации тестирования, т. е. на компьютеризацию из­вестных психодиагностических методик, первоначально ориен­тированных на традиционное бланковое использование.

Современные средства программирования позволяют в прин­ципе любой стандартный психологический тест реализовать на персональном компьютере. Исключение, пожалуй, составляют тесты, в которых в качестве стимульного материала используют­ся сложные визуальные стимулы, такие как скрытые изображе­ния, трехмерные объекты. Достаточная простота в представле­нии стандартных психологических тестов на компьютерах вы­звала их массовое распространение. Этот процесс в нашей стране стал практически неконтролируемым. Результатом этого явилось зачастую непродуманное и необоснованное применение компью­терных вариантов тестов на практике, в том числе и в професси­ональном психологическом отборе.

Вместе с тем, специальные исследования, выполненные уче­ными в нашей стране и за рубежом, убедительно показали пре­имущества и ограничения в возможностях компьютерной психо­диагностики. Прежде всего было доказано, что они связаны с раз­личным восприятием испытуемым информации, предъявляемой на бланке и на экране компьютера, а также в ответных реакци­ях: ручка, карандаш или клавиатура компьютера. Как следствие этого положения явилось одно из главных требований к компью­терным вариантам тестов — для каждого компьютерного теста должна быть получена настолько высокая, насколько возможно, корреляция с оригиналом и продемонстрирована его валидность. Если эти требования не соблюдаются, то компьютерный тест нельзя рассматривать как аналог бланковому. В этом случае он должен рассматриваться как любой новый тест и проходить всю процедуру его валидизации и проверки на надежность.

Если доказано, что оригинальный бланковый тест и его ком­пьютерный вариант идентичны, то можно говорить о наличии преимуществ компьютерного тестирования. По сравнению со стан­дартной формой, представление тестов на компьютере становит­ся, по существу, автоматическим, при условии, что испытуемые знакомы с работой на компьютере. Правда, при этом тестирова­ние становится индивидуальным — если приходится одновременно тестировать большие группы, то необходимо и большое количе­ство компьютеров. Подлинным' преимуществом компьютерного представления тестов является то, что при этом становится воз­можным автоматическая обработка и представление результатов, а также автоматизированное хранение данных в любой необходи­мой форме, чем обеспечивается их дальнейший статистический анализ. Таким образом, компьютерная автоматизация психоло­гического тестирования дает возможность не только автоматизи­ровать в полном объеме процесс предъявления испытуемому сти­мулов, но и процесс обработки результатов тестирования и ин­терпретацию результатов по тестам.

Преимущество компьютеризированного тестирования, кото­рое еще предстоит осознать, состоит в возможности использова­ния таких заданий, которые не могут быть представлены ника­ким другим образом. Здесь речь идет о специфических компью­терных тестах. На самом деле, любая компьютеризированная вер­сия стандартного теста не может быть лучше его оригинала, она напоминает хорошо оформленное издание книги, которое, одна­ко, не улучшает ее содержания. При разработке специфических компьютерных тестов, тем не менее, следует помнить, что новые возможности по организации стимульного материала и измере­нию параметров ответных реакций испытуемого не следует свя­зывать только с возможностями компьютерной техники. Они дол­жны быть обоснованы и иметь веские доказательства примене­ния в психодиагностической процедуре. В качестве примера но­вых обоснованных возможностей можно привести:

· регистрацию латентного времени ответа испытуемого на вопросы теста (обоснование — для вызывающих беспокой­ство у испытуемых заданий теста латентное время ответа увеличивается);

· регистрацию времени реакции на суждение о подобии дли­ны отрезка (основание — скорость обработки информации является мерой подвижности нервных процессов);

· регистрацию времени реакции на задачи выбора (основа­ние — связь этого параметра с интеллектом);

· предъявление вращаемых фигур (основание — связь с про­странственными способностями).

Следующим явным преимуществом компьютерного тестиро­вания является возможность реализации индивидуально-ориен­тированного обследования, разновидностью которого является адаптивное тестирование. Оно может быть определено как тести­рование, основанное на заданиях, в максимальной степени при­способленных к каждому индивиду. Так, например, опытные исследователи интеллекта не обязательно предъявляют испытуе­мому все задания по всем шкалам. Обычно они могут оценить необходимый уровень трудности и, следовательно, предъявить небольшое количество заданий, прежде чем испытуемый достиг­нет порога, выше которого задания выполнить не сможет. Мас­терство и проницательность исследователя позволяют ему в этом случае создать индивидуально ориентированный тест интеллек­та. В случае индивидуально ориентированного тестирования на компьютере в программу предъявления заданий закладывается аналогичная процедура, которая основывается на анализе обрат­ной связи.

Однако при этом нужно помнить и об основных недостатках этого метода автоматизации. Основная проблема индивидуально ориентированного тестирования состоит в том значении, которое придается уровню трудности. В сфере изучения способностей и достижений в обучении это имеет смысл. Например, в основе математических задач лежит реальная шкала трудности. В дру­гих областях исследований, таких как черты личности и моти­вы, это никоим образом не имеет места. Проблема также возни­кает в связи с необходимостью точного определения трудности задании и, следовательно, формирования больших выборок для нормирования шкал.

Анализ существующего опыта проектирования человеко-компьютерных интерфейсов показывает, что в ходе разработок выяв­ляются особенности, имеющие различные аспекты, которые можно условно разделить на организационный, технологический, эрго­номический и психодиагностический.

Организационный аспект

Юридическое оформление мероприятий профессионального психологического отбора и психофизиологического сопровожде­ния деятельности предусматривает выход нормативных регули­рующих документов, закрепляющих конкретные научно-методи­ческие алгоритмы проведения таких мероприятий. К настояще­му времени такие алгоритмы и нормативные документы не раз­работаны.

С позиций современных компьютерных и информационных технологий подобные системы должны задаваться в самостоятель­ную разработку, а не базироваться на упрощенной автоматиза­ции бланковых методик. При этом разработка автоматизирован­ных систем должна соответствовать порядку, предписанному для

опытно-конструкторских работ с обязательным проведением ис­пытаний опытного образца и документальным подтверждением эффективности мероприятий.

Должна быть установлена практика нормативно-правового закрепления автоматизированных систем. На федеральном уров­не должен быть разработан нормативный документ, обязатель­ный для соблюдения любой организацией, которая намерена раз­рабатывать, использовать или контролировать методики и систе­мы психологического и психофизиологического обследования. В этом документе должны быть четко изложены требования к процедурам, выполняемым при разработках методик и систем психологического и психофизиологического обследования, а также установлены требования к документации по учету и регистрации исследований, проводимых для обеспечения разработок. Только в этом случае будут максимально использованы возможности со­временных технологий и могут быть получены прогностические качества, недоступные бланковым методикам.

Технологический аспект

После формирования облика системы необходимо начинать с компьютеризации тестов и в первую очередь с проектирования человеко-компьютерных интерфейсов испытуемых, несмотря на всю их кажущуюся простоту. Дело в том, что интерфейс не мо­жет повторить бланковую версию, но может быть спроектирован в самых разнообразных видах, в том числе и непригодных для целей профессионального психологического отбора и психофизио­логического сопровождения деятельности. Разработку интерфей­сов нельзя поручать программисту, так как он исходит из ограниче­ний программных инструментальных средств и действующих реко­мендаций. Специалисты по психодиагностике, воспитанные на блан­ковых методиках, также не могут полноценно решить эту задачу. Разработка приемлемого интерфейса возможна только при совмес­тной работе перечисленных специалистов, и вести ее необходимо методом последовательных приближений. Проверять каждую версию на испытуемых, с выявлением у них затруднений в пользо­вании и частоты ошибок, корректировкой времени выполнения компьютеризированных тестов в сторону увеличения или умень­шения в зависимости от его затрат на конкретные операции.

Эргономический аспект

Основное требование к человеко-компыотерному интерфейсу — его соответствие подготовленности пользователя. Поэтому в ряде случаев возникает проблема формирования элементарных навы­ков работы с компьютером непосредственно в ходе проведения обследования. При этом необходимо обеспечить минимальное воздействие различного уровня компьютерной грамотности об­следуемого на его результаты. '

Предельное упрощение человеко-компьютерного интерфейса (а большинство тестов выполняются с использованием двух кла­виш) оказалось недостаточным. Анализ предшествующего опыта разработки автоматизированных систем показал, что:

 Несмотря на требование «коротко нажать клавишу и отпу­стить», некоторые испытуемые удерживают ее дольше допусти­мого с проскоком нескольких кадров инструкции. То есть до при­обретения собственного опыта работы с компьютером требование инструкции для испытуемого остается «вещью в себе». Для предупреждения проскоков приходится увеличивать по времени цикл обращения процессора к клавиатуре. Причем увеличение дол­жно вводиться только на период чтения инструкций и выполнения тренировочных заданий, поскольку навык формируется быстро, а временные задержки при выполнении теста снижают результаты.

 Испытуемым неизвестно время реакции компьютера. Отме­чаются случаи, когда они не замечают смены тестового задания после выполнения первого и выжидают без признаков беспокой­ства до 10-15 секунд. Для устранения этого затруднения необходи­мо в тренировочных заданиях выдавать какие-нибудь сообщения,

например: «Правильно. Выполните следующее задание». В лично­стных опросниках для предупреждения такого явления необходи­мо избегать начала первых заданий с одних и тех же слов.

 Недопустимо вместо «меню ответов» применять цифровой ввод номера варианта. Испытания показывают, что при этом об­следуемые совершают в несколько раз чаще ошибки выбора И ввода. Объяснение простое — при подведении курсора к выбран­ному варианту происходит дополнительный контроль.

 Полноценная автоматизированная система требует созда­ния учебного варианта, поскольку из опасения «засорить» базу данных специалисты ППО не проходят тренировочного самотес­тирования и не имеют возможности просмотреть результаты учеб­ных («идеальных», «негодных» и «средних») испытуемых. Все это затрудняет освоение системы.

Психодиагностический аспект

Время освоения работы с клавиатурой оказывает определен­ное влияние на результаты испытуемого. Для исключения дан­ного эффекта в компьютерной системе по сравнению с бланко­вой методикой целесообразно изменить последовательность предъявления тестов. Первыми должны предъявляться личнос­тные опросники со свободным временем выполнения, и только потом — тесты познавательных способностей, выполняемые в условиях лимита времени и при высокой психологической на­пряженности.

Выходе испытаний автоматизированной системы по отбору на военную службу по контракту выявилось, что часть кандидатов при выполнении тестов познавательных способностей применя­ют тактику случайных ответов. При такой тактике кандидаты выполняют весь или почти весь тест, а поскольку вероятность правильного угадывания ответа лежит в пределах 0,2-0,25 (чис­ло альтернатив в ответах обычно 4-5), то, в конечном счете, чис­ло правильных ответов оказывается достаточным для получения3-й категории пригодности. Анализ гистограмм распределений показал, что в диапазоне чисел правильных ответов, ожидаемых для данной тактики, действительно имеется выброс, позволяю­щий судить, что к этой тактике прибегает примерно 6% кандида­тов. Можно предположить, что это лица с низким интеллектом и низкой мотивацией. Для отсева таких кандидатов необходим контроль над правильностью ответов с пятипроцентным превы­шением вероятной частоты.

Кроме того, выявилось психологическое воздействие на кан­дидатов исходного положения курсора на первом варианте в меню ответов, как это обычно принято в практике программирования. Так, частота первого варианта ответа по сравнению с бланковы­ми методиками личностных опросников в отдельных случаях возрастала на 12%. Возможно, кандидаты, сомневаясь в выборе, невольно оценивают подсвеченный курсором вариант как своего рода подсказку. Пришлось во всех тестах курсор в исходном со­стоянии установить на нейтральную (пустую) позицию, хотя это и несколько увеличило время тестирования.

Существенным затруднением компьютерного психологического и психофизиологического обследования является то, что экран­ная форма с тестовым заданием имеет довольно невзрачный вид. Поэтому понятно стремление программистов улучшить дизайн. Однако хороший дизайн зачастую вступает в противоречие с тре­бованиями эргономики и психодиагностики.

Так, для компьтеризированных тестов, в изобилии появив­шихся на рынке программных продуктов, характерны следую­щие несоответствия:

· набор текста прописными буквами или курсивом. При этом ухудшается распознавание слов, читаемость и снижаются результаты испытуемого;

· центрирование по строке коротких заданий, что не соответ­ствует ожиданиям тестируемого;

· включение в экранную форму служебной информации, от­влекающей внимание испытуемого;

· Применение блеклых цветов вместо хороших контрастных;

· применение большого количества ярких цветов;

· «украшательство» теста картинками, рамочками, логоти­пами и прочими атрибутами;

· неоправданное применение звуковых сигналов (например, при переходе к следующему заданию теста);

· применение интерфейсов, рассчитанных на подготовленных испытуемых;

· отсутствие графического стандарта при использовании груп­пы тестов;

· пропуск процедуры обеспечения адекватности компьютер­ной и бланковой версий теста и т. п.

Все это или снижает результаты испытуемого, или повышает в них долю случайной составляющей.