Психометрия – математико-статистическая технология создания измерительных процедур. Психометрия обосновывает требования, которым должны удовлетворять тесты, правила их разработки и применения. Данные требования в первую очередь касаются качества того инструмента (теста), посредством которого собираются данные.
Стандартизация тестовой методики
Стандартизация – единообразие процедуры проведения и оценки выполнения теста. Стандартизация рассматривается в двух планах: как выработка единых требований к процедуре эксперимента и как определение единого критерия оценки результатов диагностических испытаний.
Стандартизация процедуры эксперимента подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования. К числу требований, которые необходимо соблюдать при проведении эксперимента можно отнести такие, как:
- инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;
- ни одному испытуемому не следует давать никаких преимуществ перед другими;
- в процессе эксперимента не следует давать отдельным испытуемым дополнительные пояснения;
- эксперимент с разными группами следует проводить в одинаковое, по возможности, время дня, в сходных условиях;
- временные ограничения в выполнении заданий для всех испытуемых должны быть одинаковыми и т.п.
Формулирование точных указаний по процедуре проведения методики составляет основную часть стандартизации новой методики, т.к. только строгое их соблюдение дает возможность сравнивать между собой показатели, полученные разными испытуемыми.
Другим важным этапом в стандартизации является выбор критерия, по которому следует проводить сравнение результатов диагностических испытаний, поскольку диагностические методики не имеют заранее определенных стандартов успешности и неудачи в их выполнении. Для этого высчитывается статистическая норма. Стандартизация методики, ориентированная на норму, осуществляется путем ее проведения на большой репрезентативной выборке того типа, для которой данная методика предназначена. Относительно этой выборки определяются нормы, указывающие средний уровень выполнения и его относительную вариативность выше или ниже среднего уровня. В результате можно оценить разные степени успешности или неуспешности в выполнении диагностической пробы. Это позволяет определить положение конкретного испытуемого относительно выборки стандартизации.
Надежность теста
Надежность теста – характеристика методики, отражающая точность психологических измерений, а также устойчивость результатов теста к действию случайных факторов. Общий разброс (дисперсию) результатов произведенных измерений можно представить как результат суммирования двух источников разнообразия: самого измеряемого свойства и нестабильности измеряемой процедуры, обусловливающей наличие ошибки измерения.
К числу таких факторов следует отнести:
- Нестабильность диагностируемого свойства.
- Несовершенство диагностических методик (неправильно составлена инструкция, задания разнородны по своему характеру, нечетко сформулированы методические указания и т.д.).
- Меняющаяся ситуация обследования (разное время дня, когда проводится экспериментальные серии, разная освещенность помещения, наличие или отсутствие посторонних шумов и др.).
- Различия в манере поведения экспериментатора (от серии к серии по-разному предъявляет инструкцию, по-разному стимулирует выполнение задания и т.п.).
- Колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее состояние, в другом – утомление).
- Элементы субъективности в способах оценки и интерпретации результатов (когда ведется протоколирование ответов испытуемых, оцениваются ответы по степени полноты, оригинальности и т.д.).
Если все эти факторы иметь в виду и постараться в каждом из них устранить условия, снижающие точность измерения, то можно добиться приемлемого уровня надежности теста. Поэтому одним из важнейших средств повышения надежности психодиагностической методики является единообразие процедуры обследования, его строгая регламентация. При такой стандартизации процедуры исследования можно существенно уменьшить влияние посторонних случайных факторов на результаты теста и таким образом повысить их надежность.
Надежность методики определяется в трех вариантах:
1 – надежность самого измерительного инструмента;
2 – стабильность изучаемого признака;
3 – константность (относительная независимость результатов от личности экспериментатора).
Надежность при повторном тестировании по прошествии времени называется ретестовой надежностью.
Внутренняя согласованность – это характеристика теста, указывающая на степень однородности состава заданий с точки зрения измеряемого качества. Однородность, в свою очередь, характеризует степень соответствия всех заданий измеряемой черте или свойству. Измерение надежности теста по внутренней согласованности представляет собой корреляцию параллельных форм теста.
Математико-статистическим приемом, с помощью которого устанавливается надежность, является корреляционный анализ (по Пирсону или Спирмену). Удовлетворяющим значением для ретестовой надежности является коэффициент – 0,7.
Источники неудовлетворительной надежности:
- Субъективное оценивание. Субъективное оценивание является общим источником ошибок. При таком оценивании допускаются различия между результатами различных экспериментаторов и между результатами работы одного и того же экспериментатора в разных случаях. Решением этой проблемы будет использование только тех типов заданий, результаты выполнения которых могут быть обработаны объективно. При использовании таких типов заданий источником неудовлетворительной надежности может стать только случайная ошибка при подсчетах.
- Угадывание. Влияние угадывания испытуемыми правильного ответа снижается с увеличением общего количества заданий теста.
- Понятие заданий. Использование понятных недвусмысленных заданий улучшает надежность теста.
- Величина теста. Чем длиннее тест, тем он надежнее.
- Инструкция к тесту. Инструкции к тесту должны быть однозначными и понятными. При помощи инструкций можно легко изменить уровень трудности заданий.
- Неудовлетворительная ретестовая надежность. Ошибки, допускаемые при проведении повторного тестирования обычно являются источником неудовлетворительности ретестовой надежности.
На уровень надежности методики оказывает влияние исследуемая выборка. Она может снижать или, наоборот, завышать показатель. В связи с чем в последнее время надежность определяется на однородных выборках (схожих по полу, возрасту, уровню образования, профессиональной подготовке и т.д.).
