Поиск:

Образец матрицы для анализа заданий

⇐ Предыдущая 24 25 26 27 282930 31 32 33 Следующая ⇒

Обследуем

Задания

Сумма

Сумма

Следующим шагом будет вычисление показателя, определяющего долю испытуемых, ответивших в соответствии с «ключом» опросника или индекса эффективности задания*. Этот показатель подсчитывается делением количества обследуемых, давших правильный (так называемый «ключевой») ответ, на их общее количество. В идеале этот индекс для каждого задания должен располагаться в интервале от 0,25 до 0,75, приближаясь в среднем к 0,5 для всего опросника. Индекс, меньший чем 0,25, показывает, что задание неэффективно потому, что очень немногие обследуемые отвечают на него правильно, а выше 0,75 указывает на то, что на данное задание получено слишком много правильных ответов. В табл. 3.3 анализа заданий индекс эффективности для каждого задания получается следующим образом: (a)3/5 = 0,6; (b)2/5 = 0,4; (с) 0/5 = 0; (d)3/5 = 0,6 и (е)5/5=1. Из этого следует, что нужно устранить задания (с) и (е) из окончательной версии опросника.

* В ряде случаев определяется как индекс сложности задания; например, во многих шкалах интеллекта присутствуют субтесты, предназначенные для определения общей осведомленности и состоящие из вопросов типа: «Назовите столицу Уругвая» или «Кто автор "Критики чистого разума"?». В таких тестах с помощью индекса сложности устраняются те задания, на которые отвечают почти все испытуемые (легкие) и те, на которые отвечают правильно очень немногие (сложные).

Также нужно удостовериться, просмотрев результаты в таблице анализа заданий, в том что хороший индекс эффективности, т. е. лежащий где-то посередине между крайними оценками, не просто означает выбор средних оценок в оценочном континууме каждым испытуемым, а представляет собой вариацию различных оценок.

Задания (вопросы, утверждения) только тогда следует включать в окончательную версию опросника, когда они измеряют те же самые личностные особенности, что и другие, предназначенные для этого задания. Для определения дискриминативности заданий используется коэффициент корреляции каждого задания с общим баллом всего теста. Чем выше коэффициент корреляции, тем выше дискриминантность задания, тем лучше задание. Это основной критерий. Как правило, требуется минимальная корреляция в 0,2. Задания с отрицательной или нулевой корреляцией почти всегда исключаются.

Для расчета этого показателя чаще всего применяется коэффициент произведения моментов Пирсона (заметим, что он наиболее приемлем для оценивания заданий, имеющих пять и более вариантов ответа, а в случае дихотомических заданий используется точечно-бисериальная корреляция). Вычисления обычно производятся с помощью специальных компьютерных программ, однако каждый разработчик тестов должен хотя бы один раз провести расчеты вручную. Это дает возможность проникновения в смысл того, что происходит с заданиями теста. Тем читателям, которые попытаются осуществить эту процедуру, напоминаем, что коэффициенты корреляции всегда меньше +1 и больше -1. Если получено значение коэффициента, выходящее за границы этого интервала, значит, допущена ошибка в расчетах. Формула коэффициента произведения моментов Пирсона имеет вид:

где r – коэффициент корреляции; X – результат по каждому заданию; Y– балл (результат) по всему тесту; п – количество попарных произведений; Σ – сумма.

Для того чтобы подсчитать коэффициент корреляции произведения моментов Пирсона, нужны: сумма баллов испытуемых по каждому заданию (Σ Х), сумма баллов, испытуемых по всему тесту (Σ Y), сумма квадратов баллов испытуемых по каждому заданию (Σ X ²), сумма квадратов баллов испытуемых по всему опроснику (Σ Y ²), сумма произведения баллов по каждому заданию и по всем заданиям (Σ XY). Путем подстановки в формулу значений перечисленных показателей вычисляется коэффициент корреляции. Нижеследующий пример демонстрирует простой способ получения этого коэффициента. Для избежания ошибок рекомендуется повторный подсчет по каждому заданию.

При решении вопроса о включении задания в окончательную версию теста нужно принимать во внимание многие факторы. В дополнение к изучению эффективности и дискриминантности нужно определить то количество заданий, которое потребуется для окончательной версии (не менее 20-30 заданий!) и насколько хорошо они «вписываются» в ранее созданную для теста решетку. Например, можно включить задания с низкой дискриминативностью, если имеется немного заданий по некоторой области измерения. Также иногда имеет смысл включение в окончательный вариант опросника задания с недостаточно высоким показателем эффективности при условии, что оно обладает достаточной дискриминантностью. Также важно обеспечить приблизительно равное количество прямых и обратных заданий. Для испытуемых разных полов необходимо выполнить отдельные процедуры анализа заданий.

Испытуемые	Балл по заданию	Балл по заданию в квадрате	Балл по всему тесту	Бал по всему тесту в квадрате	Произведение баллов по заданию и по всему тесту
n	X	X²	Y	Y²	XY
1	1	1	30	900	30
2	3	9	57	3249	171
3	5	25	94	8836	470
4	4	16	76	5776	304
5	3	9	80	6400	240
6	1	1	33	1089	33
7	2	4	54	2916	108
8	2	4	58	3364	116
9	5	25	83	6889	415
10	4	6	76	5776	304
n = 10	Σ Х =30	Σ X ²=110	Σ =641	Σ Y ² = 45195	Σ XY =2191

Способы улучшения заданий выясняются как раз на этой стадии конструирования теста. Например, изменение формулировки ответа в задании с «иногда» на «всегда» может повысить показатель эффективности. Однако эти изменения во всех вопросах (утверждениях) могут повлиять на надежность и валидность теста. Процедура анализа заданий дает необходимую информацию относительно параметров каждого задания. Тем не менее только исследователь может вынести решение о том, какой из критериев наиболее важен для реализации цели создаваемого теста.

В начале 1980-х гг., помимо традиционных процедур анализа заданий, появляются более сложные, использование которых невозможно без достаточно мощного компьютерного обеспечения. К таковым прежде всего относится теория «задание–ответ» (item response theory, IRT). Технические приемы этой теории, несмотря на продолжающиеся дискуссии, сегодня включаются во вновь создаваемые тесты. Однако речь идет прежде всего о тестировании способностей. Наиболее сложные проблемы возникают в связи с попытками приложения ITR к тестам личности. Безусловно, нельзя утверждать, что процедуры из ITR неприменимы в оценке личности, однако требуется решение многих задач, прежде чем эта теория заменит традиционные процедуры анализа заданий (подробнее об этой теории см. в работах П. Клайна, 1994; А. Анастази и С. Урбина, 2001; и др.).

⇐ Предыдущая 24 25 26 27 282930 31 32 33 Следующая ⇒

Поделиться с друзьями:

Дата добавления: 2018-10-17; Мы поможем в написании ваших работ!; просмотров: 186 | Нарушение авторских прав

Поиск на сайте:

Лучшие изречения:

Так просто быть добрым - нужно только представить себя на месте другого человека прежде, чем начать его судить. © Марлен Дитрих
==> читать все изречения...

1686 -

| 1502 -