Один и тот же тест, применяемый к одним и тем же испытуемым, должен давать в одинаковых условиях совпадающие результаты (если только не изменились сами испытуемые). Однако при самой строгой стандартизации точной аппаратуры результаты тестирования всегда несколько варьируют. Например, спортсмен, только что прыгнувший в длину с места на 260 см в следующем прыжке показывает лишь 255 см.
Надежностью теста называется степень совпадения результатов при повторном тестировании одних и тех же людей (или других объектов) в одинаковых условиях. Вариацию результатов при повторных измерениях называют внутрииндивидуальной или (используя более общую терминологию математической статистики) внутригрупповой либо внутриклассовой. Четыре основные причины вызывают эту вариацию.
1. Изменение состояния испытуемых (утомление; врабатывание; научение; изменение мотивации, концентрации внимания и т.п.)
2. Неконтролируемые изменения внешних условий и аппаратуры (температура, ветер, влажность, напряжение в электросети, присутствие посторонних лиц и т.п.), т.е. все то, что объединяется термином «случайная ошибка измерения».
3. Изменение состояния человека, проводящего или оценивающего тест (и, конечно, замена одного экспериментатора другим или замена судьи).
4. Несовершенство теста (есть такие тесты, которые заведомо малонадежны, например, штрафные броски в баскетбольную корзину до первого промаха. Даже баскетболист, имеющий высокий процент попадания, может случайно ошибиться при первых бросках).
Основное различие теории надежности тестов от теории ошибок измерения состоит в том, что в теории ошибок измеряемая величина считается неизменной, а в теории надежности тестов предполагается, что она меняется от измерения к измерению. Например, если мы измеряем результат выполненной попытки в метании копья, то он вполне определенный и с течением времени измениться не может. Конечно, в силу случайных причин (например, неодинакового натяжения рулетки), нельзя с идеальной точностью, скажем, с точностью до 0,0001 мм, измерить этот результат. Однако используя более точный мерительный инструмент (например, лазерный измеритель расстояния) и проведя повторные измерения, можно повысить их точность до необходимого уровня. Вместе с тем если перед нами стоит задача определить подготовленность метателя в определенном периоде тренировки, то самое точное измерение показанных им результатов мало чем поможет: ведь они от попытки к попытке будут изменяться.
Чтобы разобраться в идее методов, используемых для суждения о надежности тестов, рассмотрим упрощенный пример. Предположим, что мы хотим сравнить результаты прыжков в длину с места у двух спортсменов по двум выполненным попыткам. Выводы должны быть точными, поэтому нельзя ограничиться регистрацией лишь лучших результатов. Допустим, что результаты каждого из спортсменов варьируют в пределах ±10 см от средней величины и равны соответственно 220±10 см (т.е. 210 и 230 см) и 320±10 см (т.е. 310 и 330 см). В таком случае вывод, конечно, будет совершенно однозначным: второй спортсмен превосходит первого. Различия между их результатами (320 см – 220 см = 100 см) явно больше случайных колебаний (±10 см). Гораздо менее определенным будет вывод, если при той же самой внутригрупповой вариации (±10 см) различие между испытуемыми (межгрупповая вариация) будет маленьким. Скажем, средние значения будут равны 220 см (в одной попытке 210 см, в другой – 230 см) и 222 (212 и 232 см). Тогда может случиться, например, что в первой попытке первый спортсмен прыгнет 230 см, а второй – только 212 см; и создается впечатление, что первый существенно сильнее второго. Из примера видно, что основное значение имеет не сама по себе внутриклассовая изменчивость, а ее соотношение с межклассовыми различиями. Одна и та же внутриклассовая вариация дает разную надежность при разных различиях между классами (в частном случае, между испытуемыми).
Говоря о надежности тестов, различают их стабильность (воспроизводимость), согласованность, эквивалентность.
