Стандартизация

 

Диагностическая методика отличается от любой исследовательской тем, что она стандартизирована. Стандартизация — это единообразие процедуры проведения и оценки выполнения теста. Рассматривается она в двух планах:

♦ как выработка единых требований к процедуре эксперимента;

♦ как определение единого критерия оценки результатов диагно­стических испытаний.

Стандартизация процедуры эксперимента подразумевает унифика­цию инструкций, бланков обследования, способов регистрации резуль­татов, условий проведения обследования.

К числу требований, которые необходимо соблюдать при проведе­нии эксперимента, можно, например, отнести такие:

1) инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;

2) ни одному испытуемому не следует давать никаких преимуществ перед другими;

3) в процессе эксперимента не следует давать отдельным испытуе­мым дополнительные пояснения;

4) эксперимент с разными группами следует проводить в одинако­вое, по возможности, время дня, в сходных условиях;

5) временные ограничения в выполнении заданий для всех испыту­емых должны быть одинаковыми и т. д.

Обычно авторы методики в руководстве приводят точные и подроб­ные указания по процедуре ее проведения. Формулирование таких указаний составляет основную часть стандартизации новой методи­ки, так как только строгое их соблюдение дает возможность сравнить между собой показатели, полученные разными испытуемыми.

Другим наиболее важным этапом в стандартизации методики явля­ется выбор критерия, по которому следует проводить сравнение ре­зультатов диагностических испытаний, поскольку диагностические методики не имеют заранее определенных стандартов успешности или неудачи в их выполнении.

Так, например, ребенок шести лет, выполняя тест умственного раз­вития, получил балл, равный 117. Хорошо это или плохо? Часто ли такой показатель встречается у детей данного возраста? Количественный результат как таковой ничего не означает. Полученный дошколь­ником балл нельзя интерпретировать как показатель относительно вы­сокого, среднего или низкого развития, так как это развитие выражено в мерах, присущих данной методике, и, таким образом, абсолютного значения полученные результаты иметь не могут. Очевидно, нужно располагать точкой отсчета и какими-то дозированными мерами, что­бы с их помощью оценивать полученные при диагностировании инди­видуальные и групповые данные. Возникает вопрос, что за эту точку отсчета брать? В традиционном тестировании такая точка добывается статистическим путем — это так называемая статистическая норма.

В общих чертах стандартизация диагностической методики, ориен­тированной на норму, осуществляется путем ее проведения на боль­шой представительной выборке испытуемых, которая ничем не отли­чается от той, для которой данная методика предназначена. На этой группе испытуемых, называемой выборкой стандартизации, разраба­тываются нормы, указывающие не только средний уровень выпол­нения, но и его относительную вариативность выше и ниже среднего уровня. В результате можно оценить разные степени успешности или неуспешности в выполнении диагностической пробы. Это позволяет определить положение конкретного испытуемого относительно вы­борки стандартизации [10, т. 1].

Для вычисления статистической нормы психологи-диагносты об­ратились к давно применяемым в биологии приемам математической статистики.

 

Рассмотрим пример.

На призывной пункт явилось несколько тысяч молодых людей.

Допустим, что все они примерно одного возраста. Что мы получим при измерении их роста? Обычно оказывается, что большинство почти одного роста, совсем немного будет людей очень маленького и очень вы­сокого роста. Остальные же распределятся симметрично, уменьшаясь по количеству от среднего максимума в ту и другую сторону. Распреде­ление рассматриваемых величин — это нормальное распределение (или распределение по нормальному закону, кривая распределения Гаусса). Математики показали, что для описания такого распределения доста­точно знать два показателя — среднюю арифметическую и так назы­ваемое стандартное отклонение, которое получается путем несложных вычислений. Назовем среднюю арифметическую х, а стандартное откло­нение σ (сигма малая). При нормальном распределении все изучаемые величины практически находятся в пределах х + 5 σ.

Рассмотрим как определялась статистическая норма для тестов Стэн-форд-Бине. В группу испытуемых входили 4498 человек от 2,5 до 18 лет. Усилия стэнфордских психологов были направлены на то, чтобы распределение полученных по каждому возрасту данных о выполнении

тестов было близко к нормальному. Этого результата удалось добиться далеко не сразу; в некоторых случаях ученым приходилось заменять одни задания другими. В конце концов эта работа была закончена, и бы­ли подготовлены тесты по каждому возрасту со средней арифметиче­ской, равной 100, и со стандартным отклонением, равным 16. Принима­ется, что результаты в пределах х ± σпоказывают границы наиболее характерной, представительной части распределения, границы нормы для данного возраста. При σ = 16 и х = 100 эти границы нормы будут от 84 до 116. Интерпретируется это так: результаты испытуемых, которые не выходят за эти границы, находятся в пределах нормы. Те, чьи резуль­таты менее 84, находятся ниже нормы, а те, чьи результаты более 116, — выше нормы. Нередко этот же прием применяют и для дальнейшей клас­сификации. Тогда результаты в пределах от х - σ до х - 2 σ интерпрети­руются как «несколько ниже нормы», а от х - 2 σ до х - З σ — как «значи­тельно ниже нормы». Соответственно классифицируются результаты, находящиеся выше нормы.

Вернемся к результату, полученному ребенком шести лет, о котором упоминалось выше. Его успешность по тесту равна 117. Этот результат выше нормы, но очень незначительно (верхняя граница нормы 116).

 

Кроме статистической нормы, основой для сравнения, интерпрета­ции результатов диагностических испытаний могут стать и такие по­казатели, как процентили.

Процентиль — это процентная доля индивидов из выборки стандар­тизации, первичный результат которых ниже данного первичного по­казателя.

 

Например, если 28 % людей правильно решат не более 15 задач в ариф­метическом тесте, то первичному показателю 15 соответствует 28-й про­центиль (Р ₂₈). Процентили указывают на относительное положение ин­дивида в выборке стандартизации. Их также можно рассматривать, как ранговые градации, общее число которых равно 100, с той лишь разни­цей, что при ранжировании принято начинать отсчет сверху, т. е. с луч­шего члена группы, получающего ранг 1. В случае же процентилей от­счет ведется снизу, поэтому чем ниже процентиль, тем хуже позиция индивида.

 

50-й процентиль (Р ₅₀) соответствует медиане — одному из показа­телей центральной тенденции. Процентили свыше 50 представляют показатели выше среднего, а те, которые лежат ниже 50, — сравнитель­но низкие показатели. 25-й и 75-й процентили известны также под на­званием 1-го и 3-го квартилей, поскольку они выделяют нижнюю и верхнюю четверти распределения. Как и медиана, они удобны для опи­сания распределения показателей и сравнения с другими распреде­лениями [10, т. 1].

Процентили не следует смешивать с обычными процентными пока­зателями. Последние являются первичными показателями и представляют собой процент правильно выполненных заданий, тогда как процентиль — это производный показатель, указывающий на долю от общего числа членов группы. Первичный результат, который ниже любого показателя, полученного в выборке стандартизации, имеет ну­левой процентильный ранг (Р _о). Результат, превышающий любой по­казатель в выборке стандартизации, получает процентильный ранг 100 (Р₁₀₀). Эти процентили, однако, не означают нулевого или абсолютно­го результата выполнения теста.

Процентильные показатели обладают рядом достоинств, в частности:

♦ их легко рассчитать и понять даже сравнительно неподготовлен­ному человеку;

♦ их применение достаточно универсально и подходит к любому типу тестов.

Однако недостаток процентилей - это существенное неравенство единиц отсчета в том случае, когда анализируются крайние точки рас­пределения. При использовании процентилей (как уже отмечалось вы­ше) определяется только относительное положение индивидуальной оценки, но не величина различий между отдельными показателями.

В психодиагностике существует и другой подход к оценке резуль­татов диагностических испытаний. В нашей стране под руководством К. М. Гуревича [35] разрабатываются тесты, в которых в качестве точ­ки отсчета выступает не статистическая норма, а независимый от ре­зультатов испытания, объективно заданный социально-психологиче­ский норматив.

Социально-психологический норматив реализуется в совокупности заданий, составляющих тест. Следовательно, сам тест в полном его объеме и является таким нормативом. Все сопоставления индивиду­альных или групповых результатов тестирования проводятся с тем максимумом, который представляется в тесте (а это полный набор зна­ний). В качестве критерия оценки выступает показатель, отражающий степень близости результатов к нормативу. Имеется разработанная схема представления групповых количественных данных.

Для анализа данных относительно их близости к социально-психо­логическому нормативу, условно рассматриваемому как 100 %-ное вы­полнение всего теста, все испытуемые подразделяются по результа­там тестирования на 5 подгрупп:

1) наиболее успешные — 10%;

2) близкие к успешным — 20 %;

3) средние по успешности — 40 %;

4) мало успешные — 20 %;

5) наименее успешные — 10%.

Для каждой из подгрупп подсчитывается средний процент правиль­но выполненных заданий. Строится система координат, где по оси аб­сцисс идут номера подгрупп, по оси ординат — процент выполненных каждой из подгрупп заданий. После нанесения соответствующих то­чек вычерчивается график, отражающий приближение каждой из под­групп к социально-психологическому нормативу. Такая обработка проводится по результатам как теста в целом, так и каждого субтеста в отдельности.

Выборка стандартизации. При разработке и применении любой точки отсчета следует обращать особое внимание на выборку испыту­емых, на которой проводится стандартизация диагностической мето­дики. В математической статистике принято различать такие понятия, как генеральная совокупность (популяция) и выборка.

Всякая большая совокупность людей, которую хотели бы исследо­вать или относительно которых собираются делать выводы, называет­ся генеральной совокупностью.

Выборка — это часть или подмножество совокупности. Проводить исследование всей популяции не принято. Обычно из нее выделяют группу людей — выборку стандартизации — которая реально подверга­ется тестированию, и с ее помощью оценивается генеральная совокуп­ность. Чтобы оценки носили достоверный характер, выборка должна быть репрезентативна, представительна рассматриваемой популя­ции, т. е. ее вероятностные свойства должны совпадать или быть близ­кими к свойствам генеральной совокупности.

 

А. Анастази [10, т. 1] приводится пример формирования репрезента­тивной выборки при стандартизации шкалы Векслера. Выборка вклю­чала 1700 человек с равным количеством мужчин и женщин. Испытуе­мые в возрасте от 16 до 64 лет были распределены по семи возрастным уровням. При формировании выборки исследователи опирались на дан­ные последней переписи населения США. Учитывалось пропорциональ­ное распределение населения по географическим районам, принадлеж­ность к городскому и сельскому населению, принадлежность к белой или цветной расе, учитывались также уровень образования и профес­сия. На каждом возрастном уровне в выборку были введены один муж­чина и одна женщина, находящиеся в учреждениях для умственно от­сталых.

 

По мнению А. Анастази, подавляющее большинство диагностиче­ских методик стандартизовано не для столь широких популяций, как многие полагают. Трудно рассчитывать, что по какому-либо тесту имеются адекватные нормы для таких обширных популяций, как, напри­мер, «взрослые американцы-мужчины» или «американские дети 14-лет­него возраста». Выборки, ориентированные на широкие популяции, не всегда репрезентативны и чаще всего бывают смещены в тех или иных отношениях (т. е. некоторые подгруппы популяции могут быть пред­ставлены непропорционально своей численности). Так, если опре­делить популяцию как «14-летние дети», а выборку стандартиза­ции составить из 14-летних школьников, то ее нельзя рассматривать в качестве репрезентативной, поскольку не все 14-летние дети являют­ся школьниками. В этом случае лучше сузить определение популяции (т. е. определить ее как «14-летние школьники»), чем переносить нор­мы, полученные на школьниках, на популяцию 14-летних детей.

Таким образом, одним из способов обеспечения репрезентативно­сти выборки является ограничение популяции. Ограничить популяцию можно по разным признакам: по возрасту, полу, социальному проис­хождению, профессии, социально-экономическому статусу, здоровью и т. д. Такая популяция определяется как специфическая, и стандар­тизация диагностических методик осуществляется на узконаправлен­ных выборках, которые репрезентативны специфической популяции. Создатель диагностической методики должен всегда сообщать, для ка­кой специфической популяции были разработаны нормативные по­казатели.

Отбор испытуемых в выборку стандартизации осуществляется сле­дующим образом:

1) дается определение популяции с выделением в ее структуре пе­ременных, значимых и малозначимых для изучаемого психиче­ского явления (возраст, образование, профессия и т. д.);

2) популяция делится на части в соответствии со значимыми пере­менными;

3) испытуемые отбираются в случайном порядке и пропорциональ­но численности каждой значимой части совокупности. Случай­ный отбор может осуществляться по алфавиту, по таблице слу­чайных чисел или другим способом. Важно, чтобы у всех пред­ставителей популяции были равные шансы попасть в выборку стандартизации. Это условие подразумевает, что каждый выбор не зависит от остальных.

Объем выборки может варьироваться в широких пределах, но ее минимальный порог, необходимый для получения достоверных ре­зультатов, — порядка 200 человек [26].

 

§ 2. Надежность и валидность

 

Прежде чем психодиагностические методики могут быть использо­ваны для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффек­тивность. Эти требования в психодиагностике складывались годами в процессе работы над тестами и над их совершенствованием. В резуль­тате появилась возможность оградить психологию от всевозможных безграмотных подделок, претендующих на то, чтобы называться диаг­ностическими методиками.

К числу основных критериев оценки психодиагностических мето­дик относятся надежность и валидность. Большой вклад в разработку этих понятий внесли зарубежные психологи (А. Анастази, Е. Гизелли, Дж. Гилфорд, Л. Кронбах, Р. Торндайк и Е. Хаген и др.). Ими были разработаны как формально-логический, так и математико-статисти-ческий аппарат (прежде всего, корреляционный метод и факторный анализ) обоснования степени соответствия методик отмеченным кри­териям.

В психодиагностике проблемы надежности и валидности методик тесно взаимосвязаны, тем не менее существует традиция раздельного изложения этих важнейших характеристик. Следуя ей, начнем с рас­смотрения надежности методик.