Занятие 10. 2 первичный анализ тестовых заданий

 

Цель работы. Расчет индексов трудности и коэффициентов дискриминативности заданий теста.

Определение основных понятий. Статистическая трудность задания теста - доля лиц репрезентативной выборки, правильно решивших задачу.

Дискриминативность задания - способность этого задания дифференцировать испытуемых по отношению к «минимальным» и «максимальным» результатам.

Первичным («сырым») результатом Х одного испытуемого будем называть количество правильно решенных им задач.

Математический аппарат. Оценкой трудности задачи служит измеряемый в процентах индекс трудности

I = . (1)

Л. Ф. Бурлачук и С. М. Морозов определяют индекс трудности как

I = , (2)

где T - количество испытуемых, правильно решивших задачу, N - объем репрезентативной выборки.

Слишком сложные, как и слишком простые задачи искажают информацию об испытуемых данной выборки. Оптимальное значение индекса трудности равно 50%.

Сравнить трудности двух задач можно при помощи критерия c², который при условии, что р ₁ (вероятность решения первой задачи) и р ₂ (вероятность решения второй задачи) равны примет следующий вид:

c² = , (3)

где п - количество испытуемых, х ₁ - количество испытуемых, правильно решивших первую задачу, у ₁ - количество испытуемых, неправильно решивших первую задачу; х ₁ + у ₁ = п; п, х₂, у ₂, х ₂ +у ₂ =п - аналогичные характеристики второй задачи; число степеней свободы при этом равно 1.

Табличные значения c² при различных значениях уровня значимости а.

а 5% 1% 0.1%

c² 3,84 6,63 10,8

Если вычисленное значение превышает табличное, то нулевая гипотеза отклоняется, т. е. задачи считаются разными по трудности.

Показателем дискриминативности задания служит мера соответствия его успешного решения успешному решению всех заданий теста. Он называется коэффициентом дискриминации и вычисляется как коэффициент точечно-бисериальной корреляции между средним первичным результатом задания и средним первичным результатом по всем заданиям теста (случай, когда все испытуемые решили все задачи без пропусков).

-1 £ r £ 1

r = (4)

 

å X _n - сумма всех правильных ответов Х _n = X,

åХ - сумма всех ответов N _n = N ₁

где r - коэффициент детерминации, Х ₁ - первичный результат испытуемого, правильно решившего задачу, N ₁ - количество испытуемых, правильно решивших задачу, Х - первичный результат произвольного испытуемого, N - объем выборки испытуемых.

Чем ближе значение r к 1, тем более соответствует данная задача всему тесту. При отрицательных значениях r задача должна быть исключена. Отсутствие зависимости между отдельным заданием и всем тестом (значение r меньше критического) может говорить или о том, что задача намного трудней остальных, или - намного легче. В первом случае это задание будет служить «фильтром», который завышает оценки теста у «сильных» испытуемых и занижает у «средних» и «слабых», т. е. искажает результаты тестирования. Во втором случае это задание будет служить излишним балластом, не дающим никакой информации. В этом заключается смысл коэффициента дискриминативности.

Порядок работы. Студентам предлагаются 44 задания теста «Домино» Равена. Время решения задач не ограничивается, чтобы избежать пропусков.

Обработка результатов

1. Расчет индекса трудности.

Результаты решения заданий теста объединяются в таблицу (табл. 10.2.1), где Т - количество испытуемых, правильно решивших задачу, I - индекс трудности задачи.

Таблица 10.2.1

Таблица результатов

Номер задания	T	I

 

В таблице следует найти самую «трудную» и «самую» легкую задачи, проверить статистическую значимость различия индексов трудности этих задач, сделать соответствующий вывод. Сравнить самую «трудную» и самую «легкую» задачи с задачами «среднего» уровня трудности.

2. Расчет коэффициента дискриминативности. Необходимо составить таблицу первичных результатов следующим образом (табл. 10.2.2), где Х - первичные результата (от 1 до 44); N ₁ - количество испытуемых, которые получили данный первичный результат; N ₂ - количество испытуемых, получивших данный первичный результат из числа решивших самую «легкую» задачу; N ₃ - самую «трудную» задачу.

Таблица 10.2.2

Таблица первичных результатов

Х	N 1	N 2	N 3

 

Вычислить коэффициенты дискриминативности для самой «трудной», «легкой» задач.