Проблема надежности и обоснованности тестирования и шкалирования

Проблема обоснованности обусловлена тем, что исследователь не имеет гарантии уверенности в том, что он измеряет именно то, что стремился измерить. В конечном счете обоснованность полностью не гарантируется. Даже если провести тонкий анализ соответствия поставленных вопросов содержанию проблемы, он может быть элиминирован выборочной ошибкой, которую, как мы говорили, трудно оценить. Обоснованность социологической шкалы зависит от соотношения эмпирического и теоретического в социальном исследовании, от того, насколько правомерен эмпирический вывод и на какую теоретическую концепцию он опирается. Эмпирический факт получает достоверность на базе определенной теории, а определенная теория основывается на некоторых эмпирических данных. Надежность означает то, кик измерено то, что было намечено измерить. Проверка надежности может быть осуществлена повторным измерением или на другой выборке. Однако в первом случае искажение может быть нейтрализовано динамикой явления, а во втором — искажение может быть обусловлено ошибкой выборочного измерения. Но всегда его границы весьма условны и подвижны. Вне зависимости от трудности решения этих проблем или даже невозможности решения; они не могут быть обойдены при построении социологических шкал.

Обоснованность связана с вопросом о том, что измеряет тест. Когда тест применяется для предсказания действия в некоторой жизненной ситуации, то обоснованность часто определяют на основе корреляции между тестом и некоторой мерой критерия.

Рассмотрим количественные подходы к объяснению тестовых баллов. Математические модели, выбранные для этого, дают возможность применять различные статистические операции.

Предположим, что тесты составлены из вопросов и что вероятность случайного успеха в ответе на вопрос крайне мала. Понятие надежности относится к точности, с которой балл пред-

ставляет состояние индивида в любом аспекте, измеряемом при помощи теста. Общепризнанно, что чаще всего баллы являются ненадежными, что они не свободны от ошибок. Наиболее важный шаг в понимании надежности был сделан, когда полученный балл представили в виде простой комбинации истинного балла и ошибки18:

= + ,

где = полученный тестовый балл, = истинный балл, = ошибка.

Предполагается, что истинный балл и ошибка находятся на той же самой шкале, что и полученный балл. Существуют различные способы определения истинного балла. В одном случае утверждается, что суть балл, полученный данным индивидом в идеальных условиях или благодаря идеальным средствам измерения, в другом — что суть среднее полученных баллов из очень большого числа независимых тестирований одним и тем же тестом отдельного индивида. Ошибка есть приращение (положительное или отрицательное), являющееся функцией условий отдельного случая тестирования отдельного индивида.

Существуют и некоторые дополнительные предположения. Первое: ошибки могут быть как положительными, так и отрицательными, и их средняя равна нулю. Второе: в больших популяциях ошибки не коррелируют с истинными баллами, т.е. у индивидов с высокими истинными баллами нет тенденции к большим положительным или к большим отрицательным ошибкам. Третье: нет корреляции между ошибками одного типа теста и ошибками параллельного типа того же самого теста. Эти три вида предположений могут быть изложены в форме уравнений:

Предположение I: =0,

где — средняя ошибок.

Предположение II: = 0,

где — корреляция истинного балла и ошибки.

Предположение III; re e =0,

где и — ошибки в типах I и II одного и того же теста.

Полагаем, что = + = .

Известно, что дисперсия суммы невзвешенных величин равна сумме дисперсий:

= +

Понятие надежности вводится как доля дисперсии истинных баллов в дисперсии полученных баллов: = .

Исходя из представлений о параллельных формах теста, у которых равны средние, дисперсии и надежности, легко получить формулу для удвоенного теста:

=2 (1+ ); = 4 .

Преобразуя выражение надежности для удвоенного теста, получим

= = = .

Формула =2 /(1 + ) названа формулой Спирмена - Брауна для надежности удвоенного теста . Эта формула применяется для определения надежности произвольного теста19. Тест подразделяется на две равные половины (split-half method), например берутся только нечетные и только четные вопросы. Зная надежность половины теста по формуле Спирмена — Брауна, находим надежность всего теста. Известна также формула Кудера-Ричардсона.

= ,

где п — число вопросов; р — относительное число правильных ответов на вопрос;

q =1 — р 20.

Глава четвертая

Многомерная статистика и проблема измерения