Величина коэффициентов надежности (Rхх) ТПА-САД

б) Расчет надежности методики методом параллельных форм осуществлен при использовании методики Равена (Дж. Равен, 1936) и семантического дифференциала (Ч. Осгуд, 1952) в ка­честве параллельных тестов. Показатели методики Равена ис­пользованы как опорные для сопоставления с показателями обучаемости (темпа усвоения информации), а семантического дифференциала (СД) — с показателями направленности.

В первом случае коэффициент надежности (R_xx) определен при помощи формулы:

где x_1i — показатели обучаемости методики САД;

x_2i — показатели методики Равена;

N — объем выборки.

Коэффициент корреляции СТ с показателями методики Равена (В и ∑) составил R_xx = 0.4, а теста САМ с показателями методики Равена (С, Е и ∑) — 0.47 при с < 0.01.

При определении надежности мотивационной части САД сопоставлены показатели СД и аналогичные показатели САМ, измеренные в дихотомической шкале наименований. В каче­стве коэффициентов надежности использованы коэффициент контингенции (Q) и коэффициент ассоциации (Ф), которые равны, соответственно, Q = 0.8; Ф = 0.5 (с ≤ 0.01).

в) Расчет надежности методом расщепления теста осуще­ствлен при помощи формулы [32]:

где К — число задач в заданиях;

pi — доля 1-го варианта ответа на i-й вопрос;

qi — доля 2-го варианта ответана i-й вопрос.

При К- 18 (тестСАМ); Σpi*qi = 3.69; Σ х²= 16.16; R_хх = 0.82 (р = 0.05).

Интерпретация коэффициента надежности: 82% дисперсии результатов теста САМ зависят от истинной дисперсии по из­меряемому свойству (обучаемости), а 18% — от дисперсии ошибки (или вследствие других влияний неких факторов).

5). Расчет валидности методики САД. Проблема валидности технологии САД требует особого и длительного разговора. На наш взгляд, главным здесь является пункт, посвященный перекрестной валидизации. Так как тест создавался для задач профориентации молодежи и был рассчи­тан на подростков, обучающихся в школе, то в основе своей он содержит принцип измерения профилированной обучаемости. Он оптимален для реализации целей диагностики обучаемости студентов, учащихся различных курсов и колледжей. Но как только пользователь касается сферы смыслообразования, ис­следования мотивации и операциональной части в процессе реальной деятельности взрослых людей, методика меняет свой предметный облик. Она начинает «видеть» тех испытуемых, которые имеют малый опыт, менее успешны, у которых еще не завершен процесс обучения-становления как профессионала. Тест продолжает фиксировать процесс интериоризации, а ему уже навязывают другой «внешний критерий», а именно поиск наиболее профессионально успешных. Объяснение здесь про­стое: в ситуации научения внешний критерий — это скорость и качество сформированного навыка, а в реальной профессио­нальной деятельности навык продолжает формироваться толь­ко у менее опытных и поэтому менее квалифицированных ис­пытуемых. Методика, оценивая обучение, в первом случае вы­соко коррелирует с результатом, а во втором — практически не соответствует ему.

На этих проблемах концептуальной и перекрестной валид­ности мы подробнее остановимся ниже.

Внутренняя ваяидность ТПА-САД определяется путем иссле­дования концептуальной, содержательной, конструктной, опе­рациональной и расчета эмпирической валидности.