В заданиях закрытой формы можно выделить основную часть, содержащую постановку проблемы, и готовые ответы, сформулированные преподавателем. Среди ответов правильным обычно бывает только один, хотя не исключаются и другие варианты. Неправильные, но похожие на правильные и потому правдоподобные ответы называются дистракторами [53] Число дистракторов редко бывает больше пяти, хотя в отдельных случаях, когда есть такая необходимость, может достигать шести-семи.
При разработке закрытых заданий число дистракторов часто стараются увеличить, чтобы уменьшить вероятность угадывания правильного ответа. Многие разработчики напрямую связывают тенденцию к увеличению числа ответов с повышением качества заданий теста. Вообще говоря, предположение такого рода хотя и очень распространено, не всегда бывает верным. Во-первых, случайный выбор правильною ответа — это последнее средство, к которому прибегает далеко не каждый слабый ученик, даже если он наверняка не знает правильного ответа. Во-вторых, хотя большинство разработчиков считает, что чем больше дистракторов, тем лучше задание, это верно только до известного предела.
В погоне за увеличением числа ответов к заданию нередко теряется чувство меры, и дистракторы формируются некорректно, без малейшей привлекательности даже для самых слабых испытуемых группы Причина появления тенденции к снижению качества заложена в тех трудностях, которые неизменно испытывает любой даже опытный разработчик при подборе правдоподобных неправильных ответов к заданиям теста. Если эти трудности становятся непреодолимыми, а число ответов к заданию строго регламентировано и довольно велико, то разработчик нередко включает неправдоподобные дистракторы, наносящие явный ущерб качеству заданий теста.
В идеале каждый дистрактор должен в равной мере использоваться всеми испытуемыми, выбирающими неправильный ответ Очевидно, что по мере того, как дистракторы становятся неправдоподобными, они перестают выполнять свою функцию, и наделе получается задание не с гипотетическим, а с реальным меньшим числом ответов.
Дистрактор, который никто не выбирает в качестве правильного ответа, обычно называют неработающим. Если в задании имеется хотя бы один неработающий дистрактор, то для улучшения задания его необходимо удалить. Удаление позволит выявить не формальное, а реальное число ответов к заданию теста. В самом плохом случае, когда все дистракторы в задании не работают, все испытуемые выполнят даже очень трудное задание верно, выбрав единственный правдоподобный, правильный ответ. Тогда можно считать, что задание полностью не состоялось, и начинать работу сначала, с формулировки новых неправильных ответов. Как правило, преподавателю бывает трудно придумать правдоподобные неправильные ответы, и потому к процессу создания дистракторов нередко стараются привлечь учеников. Один из методов получения правдоподобных дистракторов — предъявление ученикам неоконченного списка вариантов выбора и последующее использование неправильных ответов, предложенных ученикам. Другой метод — предъявление группе испытуемых заданий в открытой форме и последующий анализ типичных ошибок учеников в составленных ими ответах.
В последнем случае в работе над заданием в закрытой форме можно выделить следующие этапы: написание задания в открытой форме, экспериментальная проверка задания в нескольких классах в целях получения достаточного количества различных ответов учеников, анализ ответов и выделение типичных ошибок учеников, подбор дистракторов из числа выделенных типичных ошибок.
В процессе анализа ошибок при отборе дистракторов разработчик должен проявить особую осторожность, так как наибольшую опасность представляют неправильные ответы, вводящие в заблуждение лучших, знающих учеников. Именно отсюда и появляются невалидные задания с инвертированными профилями ответов (см. разд. 2.3), в которых слабые ученики добиваются успеха, а сильные выбирают в качестве правильного не запланированный автором задания ответ. Таким образом, тестовое задание считается «хорошо работающим», если знающие ученики выполняют его правильно, а незнающие выбирают любой из ответов с равной вероятностью. В первую очередь это обеспечивается ясностью формулировок основной части задания, хотя не менее важна одинаковая правдоподобность дистракторов, которые должны быть равновероятно привлекательны для слабых учеников.
Мера привлекательности оценивается после первой эмпирической проверки на любой репрезентативной выборке с помощью подсчета долей учеников, выбравших каждый из дистракторов в качестве правильного ответа. Например, если задание с четырьмя дистракторами и одним правильным ответом выполняли 25 учеников и 12 из них ответили на него неверно, то каждый из четырех дистракторов в качестве правильного ответа должны выбрать 3 ученика. Соответственно доля учащихся для каждого дистрактора будет 3/12, или 0,25. В этом случае все неправильные ответы к заданию равновероятно правдоподобны и, следовательно, сформулированы удачно. Конечно, точное равенство долей является определенной идеализацией, практически недостижимой при эмпирической проверке, но тем не менее, создавая задания, к этому равенству нужно стремиться. При существенном смещении одной из долей в сторону уменьшения или увеличения задание теста подлежит переработке.
Возвращаясь к прежней теме обсуждения, хотелось бы отметить еще один негативный момент, связанный с излишним увеличением числа ответов к заданиям теста. Даже если дистракторы достаточно краткие, рост их числа сверх всякой меры неизбежно приведет к громоздкости заданий теста. В результате учащимся потребуется значительно больше времени для выполнения тех же заданий. Если время тестирования строго фиксировано, преподавателю придется уменьшить объем контролируемого материала, что, без сомнения, негативно отразится на обоснованности оценок учеников по результатам выполнения теста. В этой связи напрашивается вывод: стойкая тенденция к увеличению числа дистракторов не всегда оправданна. К тому же при выполнении громоздких заданий ухудшаются мотивация и внимание у тестируемых, что при прочих равных условиях отрицательно отражается на качестве оценок учеников. Говорить об оптимальном числе дистракторов не представляется возможным, так как оно зависит от различных условий и целей создания теста. Конечно, здесь важны талант и опыт разработчика, его умение подбирать дистракторы к заданиям теста.
В общем случае задания с четырьмя—пятью дистракторами создавать гораздо труднее, чем с одним или двумя. Однако последние, помимо несомненных достоинств, состоящих в краткости формулировок и быстроте выполнения, обладают и существенным недостатком — высокой вероятностью угадывания правильного ответа, затрудняющей объективную оценку знаний учеников при выполнении теста. Поэтому задания с двумя ответами, один из которых дистрактор, обычно используют для экспресс диагностики, например в автоматизированных контрольно-обучающих программах для входа в обучающий модуль при адаптивном тестировании или для самоконтроля, когда испытуемому необходимо оперативно выявить пробелы в собственных знаниях по определенным разделам курса. В сфере итогового контроля задания с двумя и тремя ответами малоэффективны, и потому их никогда не включают в итоговые тесты.
Если тестирование проводится с помощью бланков, то задания закрытой формы с одним правильным ответом сопровождаются инструкцией:
