Глава 13. Требования к методикам

Надежность и валидность

Прежде чем психодиагностические методики могут быть использованы для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их качество и эффективность. Создание любого психологического инструмента измерения предполагает соблюдение определенных требований. Они касаются точности, достоверности и адекватности методики измерения, сопоставимости получаемых с ее помощью результатов.

К числу основных критериев оценки качества психодиагностических методик относятся надежность и валидность.

Существенным качеством психодиагностических методик является их надежность {reliability) — характеристика методики, отражающая точность психодиагностических измерений, а также постоянство, устойчивость результатов теста к действию посторонних случайных факторов. Результат психодиагностического исследования обычно подвержен влиянию большого количества неучитываемых факторов, таких как эмоциональное состояние или утомление, освещенность, уровень мотивированности испытуемых на обследовании и др. Любое изменение ситуации исследования усиливает влияние одних и ослабляет воздействие других факторов на результат обследования.

Надежным мы называем то, что не подводит нас, проявляет постоянство и предсказуемость. Наиболее очевидна надежность в отношении различных физических объектов или технических устройств. Надежен стул, ножки которого не сломаются под тяжестью тела, надежна электрическая лампочка, которую не надо заменять каждый месяц, и т.д. Таким же образом мы оцениваем и психические свойства. Так, память мы считаем надежной, если она не подводит нас, когда надо назвать по имени знакомого человека, набрать номер телефона или найти необходимую вещь.

Мы вправе говорить о ненадежности психодиагностической методики, если нет согласованности показателей, полученных у тех же самых испытуемых при повторном исследовании той же самой методикой или эквивалентной ей.

Не менее, а может быть и более значимым показателем качества диагностической методики наряду с надежностью является валидность (от англ. validity — действительный, пригодный, имеющий силу). Ее определяют как степень, в которой тест действительно измеряет то, для чего он предназначен.

Валидность теста — понятие, указывающее, что тест измеряет и насколько хорошо он это делает. В психологической диагностике валидность — обязательная и наиболее важная часть сведений о методике, включающая данные о степени согласованности результатов теста с другими сведениями об исследуемой личности, полученные из различных источников (теоретические ожидания, наблюдение, экспертные оценки, результаты других методик,достоверность которых установлена, и т.д.), суждение об обоснованности прогноза развития исследуемого качества, связь изучаемой области поведения или особенности личности с определенными психологическими конструктами. валидность описывает также конкретную направленность методики (контингент испытуемых по возрасту, уровню образования, социально-культурной принадлежности и т.д.) и степень обоснованности выводов в конкретных условиях использования теста.

Подобным же образом устанавливается валидность тестов, предназначенных, например, для оценки обучаемости детей с общим нарушением речи или других психических характеристик. Иногда приводится возражение против применения психодиагностических процедур на том основании, что их все равно надо сопоставлять; реальными результатами деятельности испытуемого. На самом деле методика проверяется на прогностические возможности на репрезентативной выборке испытуемых как раз для того, чтобы затем с ее помощью своевременно выявлять требующие коррекции психические свойства, а не ждать, пока они проявятся в полной мере в практической, в том числе учебной, деятельности ребенка.

Стандартизация

Следующее ключевое требование к психодиагностическим методикам — их стандартизация (от англ. standard — типовой, нормальный) — унификация, регламентация, приведение к единым нормативам процедуры и оценок теста. Благодаря стандартизации методики достигается сопоставимость полученных результатов у разных испытуемых.

В психологической диагностике различают две формы стандартизации:

- в первом случае под стандартизацией понимаются обработка и регламентация процедуры проведения, унификация инструкции, бланков обследования, способов регистрации результатов, условий проведения обследования, характеристика контингентов испытуемых, строгая периодичность процедуры обследования — обязательное условие обеспечения надежности теста и определения тестовых норм для оценки результатов обследования;

- во втором случае под стандартизацией понимается преобразование нормальной (или искусственно нормализованной) шкалы оценок в новую шкалу, которая основана уже не на количественных эмпирических значениях изучаемого показателя, а на его относительном месте в распределении результатов в выборке испытуемых.

К числу требований по стандартизации процедуры диагностического исследования надлежит отнести, например, такие:

1) инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;

2) ни одному испытуемому не следует давать никаких преимуществ перед другими;

3) в процессе обследования не полагается давать отдельным испытуемым дополнительные пояснения;

4) обследование с разными группами надо проводить по возможности в одно и то же время дня в сходных условиях;

5) временные ограничения в выполнении заданий для всех испытуемых должны быть одинаковыми и т.д.

Обычно авторы методики приводят в руководстве точные и подробные указания по процедуре ее проведения. Формулирование таких указаний составляет основную часть стандартизации новой методики, так как только строгое их соблюдение дает возможность сравнивать между собой показатели, которые достигнуты разными испытуемыми.

Стандартизация оценки выполнения теста относится скорее к областям психометрии и статистики. Часто особенно трудно определить, успешен или неуспешен ребенок при выполнении данного задания.

Например, ребенок шести лет, выполняя тест оценки интеллекта Векслера, получил балл, равный 70. Трудно сказать, хорошо это или плохо? Часто ли такой показатель встречается у детей данного возраста?

Количественный результат как таковой ничего не означает. Полученный дошкольником балл нельзя интерпретировать как показатель относительно высокого, среднего или низкого уровня развития, поэтому это развитие выражено в мерах, присущих данной методике, и, таким образом, абсолютного значения полученные результаты иметь не могут.

Очевидно, нужно располагать точкой отсчета и какими-то дозированными мерами, чтобы с их помощью оценивать полученные при диагностировании индивидуальные или групповые данные.

Возникает вопрос: что брать за эту точку отсчета? В традиционном тестировании такая точка добывается статистическим путем — это так называемая статистическая норма. В данном случае этот термин представляет категорию статистики и не носит оценочного характера в отличие от его бытового употребления или употребления в медицине, где норма противопоставляется патологии, болезни.

Статистическая норма всегда относится к какой-либо конкретной популяции или выборке конкретной категории испытуемых (детей или взрослых, мужчин или женщин, нормально говорящих или [имеющих нарушения речи и т.д.) и представляет собой некоторую усредненную ее характеристику, или точку отсчета, позволяющую определить место конкретного испытуемого относительно этой точки. Сложность и многообразие психических свойств не позволяет создать единую шкалу для их измерения. В качестве так называемых первичных (необработанных, сырых) показателей используют количество правильно решенных заданий, время, необходимое для их выполнения, количество ошибок и другие объективные единицы измерения, соответствующие содержанию психодиагностической методики.

Такой первичный показатель приобретает ценность средства диагностики в том случае, когда он позволяет сравнивать разных индивидуумов или их группы, а это возможно только при использовании соответствующей системы норм.

Система норм создается путем стандартизации, т. е. упорядочивания, приведения к единообразию процедур и оценок теста. В результате достигается сопоставимость полученных результатов при обследовании разных испытуемых, в том числе разными методиками. Вернемся теперь к результату, полученному ребенком шести лет. Его коэффициент интеллекта равен 70, что по стандартизированной шкале Векслера соответствует пограничному уровню развития, так как норма интеллектуального развития находится в диапазоне от 110 до 119.