Хороший тест лучше среднего интервьюера

К сожалению, в наших дебатах вокруг тестов редко апеллируют к результатам исследований сравнительной прогностической эффективности тестов и нетестовых диагностических процедур. Нет ничего удивительного в том, что наши специалисты просто не располагают такими данными, ведь подобные исследования очень дорогостоящи. За рубежом подобные исследования неоднократно проводились на весьма репрезентативных выборках испытуемых. Таблицы сравнительной эффективности (для прогнозирования профессиональной деятельности) различных тестов и такой процедуры, как интервью, публикуются практически в любом западном учебном пособии по организационному поведению (Fincham, Rhodes, 1998).

Суммируя различные источники, я бы так оценил в настоящее время выявленные коэффициенты прогностичности:

Почему же столь низкой оказывается валидность обыкновенного интервью? Все дело в том, что извлечение диагностически значимой информации из интервью требует не только значительного опыта интервьюирования (личного проведения сотен и тысяч интервью), но и определенного искусства, куда входит умение владеть собственными эмоциями, не выражать их резко, чтобы не индуцировать какое-то ситуационное атипичное ответное эмоциональное состояние у интервьюируемого (настороженность и замкнутость, лицемерную любезность, развязность, восторженно-прекраснодушное воодушевление и т.п.). Живое общение людей (каким бы объективным профессионалом ни старался быть интервьюер) - это всегда вольный или невольный обмен эмоциями, который создает весьма различный фон в зависимости от ситуационного коммуникативного контекста, возникшего здесь и теперь в той или иной диаде (группе) общающихся друг с другом людей. На практике выясняется, что все разговоры о том, что "точнее всего понимаешь человека, когда посмотришь ему в глаза", как правило, лишь прикрывает стремление отстоять режим личной власти над судьбами.

Соотношение эффективности формализованных и неформализованных процедур в области психодиагностики можно сравнить с ситуацией противостояния шахматиста и шахматной программы. Хотя гроссмейстеры успешно конкурируют с шахматными суперкомпьютерами, средней руки разрядники (не говоря про новичков и любителей) проигрывают хорошей компьютерной программе весьма устойчиво. Имеется в виду программа, которая опирается, например, на компьютерный банк отработанных дебютов. Ведь подобный дебютный репертуар выработал коллективных разум сотен и тысяч профессиональных шахматистов в течение всей писаной истории шахмат.

Так получается и с тестами. Плохой тест может уступать среднему интервьюеру, но хороший тест, прошедший психометрическую апробацию на сотнях испытуемых, показавший прогностическую валидность, превосходит среднего одиночного интервьюера. (подчеркнем здесь слово "одиночного", так как коллектив интервьюеров всегда работает эффективнее). Особенно это касается многофакторных тестов. Сколько параметров (характеристик) индивидуальности способен оперативно отслеживать интервьюер? Опросы показывают, что всего лишь чуть больше, чем обычный человек - в пределах 5-7 (что-то похожее на магическое число 7+/-2?), и в этом случае уже батарея из 12-16 факторов дает значительное преимущество.

Более высокое положение в указанном таблице методики "Ассессмент-центр" вполне объяснимо как раз в логике совмещения тестов и экспертных оценок, о которой мы говорили в предыдущем параграфе: здесь имеет место сочетание методов тестирования и интервьюирования, плюс деловые игры с множественной экспертной оценкой (привлекаются независимые судьи, способные сообща отследить больше параметров).

Выводы

Подводя итоги этой статьи, еще раз подчеркну главный тезис: нынешние дискуссии по поводу метода тестов, по моему убеждению, часто оказываются непродуктивными из-за того, что участники дискуссии (причем неважно, сторонники это тестов или противники) не вполне адекватно воспринимают статус теста как инструмента. Тест является инструментом не только научного исследования, не только индивидуального консультирования и помощи, но и социальной практики в малых и больших организациях. Бо?льшая часть недоразумений связана даже не с качеством (увы, подчас низким) разработанных тестов, но с их неправильным, неквалифицированным использованием. Значительная часть пользователей тестов в России до сих пор руководствуется нетехнологичными преставлениями о возможностях тестов, можно сказать даже, мифологическими. Значимость тестовых результатов либо резко переоценивается, либо недооценивается, причем некоторые пользователи приписывают ответственность за ошибки при тестировании разработчикам, не понимая, что это они сами - прежде всешго сами - несут ответственность за выбор и адекватное применение инструмента.

Тест - это оружие. И пользоваться им надо умело. Надо правильно заряжать это оружие и нацеливать в нужную сторону. Как нет универсального оружия, пригодного во всех ситуациях, так нет и универсальных тестов. Тест больше полезен, когда включен в контекст более широких процедур, использующих, кроме тестирования, экспертные оценки.

₁ Автору этих строк довелось разрабатывать по заказу Минобразования России в 2002-2003 гг. так называемый "Портал информационной поддержки ЕГЭ" (см. адрес в Интернете- ege.edu.ru). На этом портале ежегодно размещались репродукции свыше 300 статей по тематике ЕГЭ, среди которых добрая половина содержала всегда остро дискуссионные доводы "за" или "против" самого метода тестирования в российском образовании.

₂ При этом не ближайшие, но отдаленные интересы испытуемого конечно же не страдают, но оказываются защищены: ведь за преступления на дороге, совершенные из-за незнания правил, самому водителю также приходится строго отвечать.

₃ Может быть, и не надо было бы царедворцам Бориса Годунова брать страшный грех на душу и подстраивать в Угличе самоубийство царевича Дмитрия, если бы в то время в России существовал защищенный демократической властью институт медико-психиатрической экспертизы наследников престола, который просто установил бы диагноз "паталогический педагогически-некурабельный генетически-детерминированный садизм", после которого царевич смог бы жить спокойной частной жизнью и периодически истязать только мелких домашних животных, но никак не подданных огромной страны.

₄ При этом, конечно же, не имеется в виду право испытуемого на совершения подлога - путем использования, например, тех же шпаргалок при выполнении интеллектуальных и образовательных тестов.

₅ Это показали, в частности, тестологические обследования десятков тысяч наших выпускников школ и абитуриентов вузов в рамках проекта компьютеризованного тестирования "Телетестинг" (Шмелев, 2000): наши российские учащиеся в массе своей демонстрируют поразительную беспомощность при решении простейших текстовых логических задачек, хотя при этом "щелкают как орешки" сложные математические уравнения (правда, опять-таки не имея ни малейшего представления о том, какие физические процессы могут быть описаны с помощью этих формально-математических моделей).

₆ Только не следует примитивно трактовать подобные примеры. Автор, конечно, не предлагает делать выводы на материале одного вопроса. Выводы следует делать путем подсчета ответов на несколько десятков вопросов, обеспечивая статистическую достоверность.