Практика показала, что их не должно быть меньше 50, однако лучше всего более 200. Часто возникает вопрос, какой должна быть величина коэффициента валидности, чтобы она считалась приемлемой? В общем отмечается, что достаточно того, чтобы коэффициент валидности был статистически значим. Низким признается коэффициент валидности порядка 0,2-0,3, средним — 0,3-0,5 и высоким — свыше 0,6.
Но, как подчеркивают А. Анастази [12], К. М. Гуревич [43] и др., не всегда для вычисления коэффициента валидности правомерно использовать линейную корреляцию. Этот прием оправдан лишь тогда, когда доказано, что успех в какой-то деятельности прямо пропорционален успеху в выполнении диагностической пробы. Позиция зарубежных тестологов, особенно тех, кто занимается профпригодностью и профотбором, чаще всего сводится к безоговорочному признанию того, что для профессии больше подойдет тот, кто больше выполнил заданий в тесте. Но может быть и так, что для успеха в деятельности нужно обладать свойством на уровне 40 % решения теста. Более высокий показатель в тесте уже не имеет никакого значения для профессии. Наглядный пример из монографии К.М. Гуревича: почтальон должен уметь читать, но читает ли он с обычной скоростью или с очень большой скоростью — это уже не имеет профессионального значения. При таком соотношении показателей методики и внешнего критерия наиболее адекватным способом установления валидности может быть критерий различий.
Возможен и другой случай: более высокий уровень свойства, чем это требует профессия, служит помехой профессиональному успеху. Так, еще на заре XX в. американский исследователь Ф. Тейлор нашел, что наиболее развитые работницы производства имеют невысокую производительность труда. То есть высокий уровень их умственного развития мешал им высокопроизводительно трудиться. В этом случае для вычисления коэффициента валидности более подошли бы дисперсионный анализ или вычисление корреляционных отношений.
Как показал опыт работы зарубежных тестологов, ни одна статистическая процедура не в состоянии полностью отразить многообразие индивидуальных оценок. Поэтому часто для доказательства валидности методик используют другую модель — клинические оценки. Это не что иное, как качественное описание сущности изучаемого свойства. В этом случае речь идет об использовании приемов, не опирающихся на статистическую обработку.
Существует несколько видов валидности, обусловленных особенностями диагностических методик, а также временным статусом внешнего критерия [12; 27; 43; 77; 108 и др.]. Однако чаще всего называются следующие.
1. Валидность «по содержанию». Этот прием используется, например, в тестах достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть уверенным в том, Что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала? На это и должна ответить проверка валидности по содержанию. Для этого проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность «по содержанию» также подходит к критериально-ориентированным тестам. Иногда этот прием называют логической валидностью.
2. Валидность «по одновременности», или текущая валидность, определяется с помощью внешнего критерия, по которому информация собирается одновременно с экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени: успеваемость в период испытания, производительность в этот же период и т.д. С ними сопоставляют результаты успешности по тесту.
3. «Предсказывающая» валидность (другое название — «прогностическая» валидность). Определяется также по внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-либо оценках способность человека к тому виду деятельности, для которой он оценивался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик — предсказанию будущей успешности, — применять его очень трудно. Точность диагноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.
4. «Ретроспективная» валидность. Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.
При приведении данных о валидности разработанной методики важно точно указать, какой вид валидности имеется в виду (по содержанию, по одновременности и т. д.). Желательно также сообщать сведения о численности и особенностях индивидов, на которых проводилась валидизация. Такая информация позволяет пользующемуся методикой исследователю решить, насколько валиден этот прием для той группы, к которой он собирается его применять. Как и в случае с надежностью, необходимо помнить, что в одной выборке методика может обладать высокой валидностью, а в другой — низкой. Поэтому, если исследователь планирует использовать методику на выборке испытуемых, существенно отличающейся от той, на которой проводилась проверка валидности, ему необходимо заново провести такую проверку. Приводимый в руководстве коэффициент валидности применим только к группам испытуемых, подобных тем, на которых он определялся.
Вопросы
1. Что такое дифференциальная психометрия? В чем ее отличие от общей психометрии?
2. Дайте определение понятию «стандартизация методик».
3. Что такое репрезентативная выборка? Как она строится?
4. Назовите приведенные в главе критерии оценки результатов диагностических испытаний.
5. Что такое надежность методики? Назовите виды надежности.
6. Что такое валидность методики? Назовите ее основные виды.
Рекомендуемая литература
Анастази А. Психологическое тестирование: В 2 кн. /Под ред. К.М. Гуревича, В.И. Лубовского. - М., 1982. - Кн.1. - С. 66-179.
Бурлачук Л.Ф. Психодиагностика. - СПб., 2003. - С. 105-107, 161-176.
Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психологической диагностике. — Киев, 1989.
Гайда В.К., Захаров В.П. Психологическое тестирование. — Л., 1982.
Гуревич К.М. О надежности психофизиологических показателей // Проблемы дифференциальной психофизиологии. — М., 1969. — Т.6.
Гуревич К.М. Надежность психологических тестов //Психологическая диагностика. Ее проблемы и методы. — М., 1975.
Гуревич К.М. Статистика — аппарат доказательства психологической диагностики //Проблемы психологической диагностики. — Таллин, 1977.
Гуревич К.М. Что такое психологическая диагностика. — М., 1985.
Гуревич К.М. Проблемы дифференциальной психологии. — М.; Воронеж, 1998. - С. 242-254, 256-272.
Носе И.Н. Введение в технологию психодиагностики. — М., 2003. — С. 83-98.
Общая психодиагностика /Под ред. А.А. Бодалева, В.В. Столина, 1987.-С. 15-17,53-90.
Основы психодиагностики /Под ред. А.Г. Шмелева. — Ростов н/Д, 1996. - С. 131-156.
