Типичные недостатки преатестовых заданий с выбором ответов

Нередко в процессе создания заданий отдельные требования к форме неосознанно нарушаются. Как правило, это бывает связано с тем, что все внимание разработчика поглощено содержанием, а не формой. В некоторых случаях разработчик осознанно идет на ряд нарушений, объясняя их спецификой содержания дисциплины. Эти объяснения вряд ли можно считать обоснованными, хотя действительно не всякое содержание поддается представлению в форме тестового задания, а иногда поддается, но с большим трудом. Тем не менее многолетний опыт работы авторов пособия с различными коллективами разработчиков заданий говорит о том, что большинство нарушений требований формы может быть устранено. Всегда можно создать задания, комплексно отражающие основные, если не все, требования формы и получить корректные во всех отношениях задания теста.

Нарушение отдельных требований порождает ряд характерных недостатков, затрагивающих не только форму, но и содержание заданий и возникающих даже у опытных авторов в процессе работы над заданиями теста. Такие ситуации рассматриваются далее для случая, когда в заданиях планируется только один правильный ответ.

Первый наиболее существенный недостаток связан с отсутствием логической корректности в формулировках заданий теста. Обычно ситуация неопределенности возникает из-за некорректно сформулированной основной части задания, порождающей несколько правильных ответов, в то время как, по замыслу автора, этот ответ должен быть только один.

Например, в задании

Задание 61

Какие системы вы знаете

1) биологические, логические, общественные

2) механические, картографические, пунктуации

3) магистральные, связи, блокировки

4)учебные, пенитенциарные

автор, преподаватель естествознания, ожидал получить один правильный ответ, непосредственно ориентированный на содержание преподаваемой им дисциплины. В действительности же сложилось несколько иначе, поскольку в задании наряду с планируемым возможны и другие правильные ответы, все элементы которых по разным основаниям тоже характеризуют системы.

Легко наметить направление коррекции. Для этого в основную часть задания необходимо внести уточнение, сужающее круг поисков ученика в процессе выбора правильного ответа. Что касается приведенной постановки проблемы, то она не годится, поскольку создает ситуацию полной неопределенности при подведении итогов: любой ответ из четырех предлагаемых к выбору нельзя оценить как неправильный, в равной степени как и трудно приравнять его к планируемому правильному ответу.

Определенные отступления от логической определенности, но уже по другим причинам, наблюдаются в следующем задании:

Задание 62

Здесь второй и третий ответы можно считать частично верными, так как X — Y > О и Х + Y > Q при определенных дополнительных условиях, накладываемых на величину Х и Y. Опыт тестирования показывает, что в каждой группе находятся ученики с высоким уровнем развития интеллекта, которые хорошо схватывают логически четкие формулировки и проявляют нестандартность мышления, если этой четкости нет. Нередко этим ученикам планируемый правильный ответ кажется тривиальным, поэтому они стараются подкорректировать неудачное задание и ввести дополнительные условия на X и Y, что неизбежно нарушает замысел преподавателя и порождает несколько правильных ответов.

Приведенное в качестве примера задание легко подправить, слегка изменив формулировку основной части для придания ей должной четкости. В исправленном виде задание имеет вид:

Задание 63

X Если — > 0, то при всех Х\\ У положительно выражение

l)XY

2)X+Y

3) X - Y

Вообще двусмысленность формулировок — наиболее распространенный недостаток при создании заданий теста. Это в какой-то мере естественно, так как разработчик задания замкнут на контекст, в котором это задание, как ему кажется, должно восприниматься, и ему трудно заметить другой смысл своих формулировок. Обычно этот недостаток легко устранить, прочитав написанное задание по прошествии некоторого времени. В противном случае он снимается после первой же эмпирической проверки, так как всегда находятся наиболее способные ученики, которые сразу же начнут сомневаться в том, что они правильно поняли некорректные задания теста. И, как показывает практика, о сомнениях такого рода они сразу же сообщают педагогу.

Нередко логическая некорректность заданий бывает следствием попытки авторов оценить сразу несколько знаний и сформулировать несколько вопросов к одному заданию теста. Например, в задании на выбор одного правильного ответа

Задание 64

Изменится ли температура кипения в открытом сосуде при повы шении атмосферного давления? Если изменится, то как?

1) повышается

2) понижается

3) остается неизменной

4)может повыситься

5) может понизиться

6) изменится

испытуемому необходимо ответить на два вопроса. Во-первых, зафиксировать сам факт наличия или отсутствия процесса изменений. Во-вторых, если изменения есть, выбрать направление процесса. Именно таков, по-видимому, был замысел автора, если судить по основной части задания теста. К сожалению, сам по себе замысел оказался довольно неудачен, и потому вполне естественно, что автор не сумел корректно реализовать его при подборе ответов к рассматриваемому заданию теста.

Действительно, первый и второй ответы, из которых второй правильный, нацелены исключительно на выявление характера изменений и предполагают существование только одного, второго, вопроса. Следующий по порядку ответ, наоборот, соответствует первому вопросу, он просто фиксирует отсутствие изменений температуры и ничего не говорит об их характере. Четвертый и пятый варианты для выбора, наверное, были вынужденными. Скорее всего, они включены автором из-за регламентированного числа ответов к разрабатываемому заданию теста и ориентированы на другую инструкцию, требующую выбора наиболее правильного ответа. И наконец, последний, шестой, вариант утверждает наличие изменений и включает в себя как частный случай правильный ответ.

Любому читателю, даже не знающему физики, вполне понятна ошибка разработчика — задание допускает существование двух в разной степени правильных ответов. Конечно, легко наметить направление коррекции. В рассматриваемой ситуации необходимо оставить только второй вопрос и к нему предложить ученику три корректных с точки зрения логики ответа: повышается, понижается, остается неизменной.

Еще более неудачным является следующее задание:

Задание 65

Найдите ошибку в определении частей речи в предложении: «Ка кой (то) зверь бежал мне (на) встречу. Кто (бы) это мог быть?»

1) какой-то — неопределенное местоимение

2) на встречу — предлог и существительное

3) кто, это — местоимения

4)бы — частица в составе формы сослагательного наклонения глагола

где, по замыслу автора, перед определением частей речи ученик должен мысленно раскрыть скобки, проставленные в основной части. Правда, непонятно, каким путем автор задания планировал проверить результат раскрытия скобок учеником. По-видимому, это непонятно и автору, который формулировкой основной части задания загнал себя в тупиковую ситуацию. Для выхода из подобной ситуации автору приходится самому раскрыть скобки и привести в одном из вариантов им же полученный неправильный ответ.

Примечательная особенность задания состоит в том, что ошибку совершает сам педагог, а не ученик. Недостатки приема, использованного в задании, вполне очевидны всем тем, кто занимается педагогической работой. Одно дело, когда ошибки принадлежат ученику, и совсем другое дело, когда за создание ошибок берется педагог.

По сходным причинам, связанным с попытками оценить несколько знаний или умений с помощью одной содержательной основы, крайне неудачно следующее задание, предполагающее выбор одного правильного ответа.

Задание 66

По дороге навстречу друг другу равномерно движутся два автомо биля, один со скоростью 60 км/ч, а другой — 90 км/ч. В начальный момент времени расстояние между автомобилями было 150 км. Опре делите графически место и время встречи автомобилей.

Варианты ответов:

1) 60 км от начала движения 1-го автомобиля через 1 час

2) 90 км от начала движения 2-го автомобиля через 1 час

3) 90 км от начала движения 1-го автомобиля через 1 час

4) 60 км от начала движения 2-го автомобиля через 1 час

5) среди указанных ответов нет верного

Без всякого преувеличения можно считать, что задание полностью не состоялось. В нем неудачно все, начиная от постановки задачи и кончая формулировкой ответов. Основная часть имеет тот же, характерный для предыдущих примеров недостаток, порождаемый желанием автора проверить с помощью одного задания как можно больше умений учеников: определить место и время встречи и использовать графический метод решения задач. Правда, попытки ученика полностью выполнить задание мало что дадут, поскольку одинаковое время встречи автомобилей приведено автором в каждом из четырех ответов.

Что касается указания метода решения, то, наверное, это имеет педагогическую целесообразность. Но как проверить факт применения рекомендуемого метода с помощью теста? Одно дело, когда проверка проводится традиционным путем и ученик объясняет преподавателю метод решения задачи. Совсем другое дело на тестировании, где отслеживается не метод получения результата, а сам результат и есть заранее разработанное правило получения баллов без участия педагога. Поэтому рассматриваемое задание в плане проверки метода решения не только не состоялось, но и не могло состояться. Естественно, что в нем нет никаких характерных особенностей, указывающих на специфику использованного учеником метода выбора правильного ответа.

Еще один просчет разработчиков в рассматриваемом задании связан с включением двух правильных ответов. Особенность подобных заданий состоит в том, что в них ответы учеников оказываются правильными в разной степени, так как кто-то из испытуемых может выбрать только один, а кто-то и оба правильных ответа. Отсюда возникает необходимость введения дополнительных правил при выборе шкалы оценки результатов, в противном случае баллы испытуемых будут получены с большой погрешностью измерения.

В целом из приведенных примеров можно вывести общую рекомендацию: для достижения логической определенности, обеспечивающей продуцирование у знающих учеников бесспорно правильного ответа, каждое задание должно быть нацелено на проверку одного знания или умения, которое закладывается в правильный ответ.

Приведенное утверждение не стоит отождествлять с идеей примитивизма, которая нередко обсуждается противниками применения тестов в учебном процессе. Ориентация задания на проверку одного умения вовсе не исключает применения цепочки умений в процессе выполнения задания, а лишь регламентирует единственность того, что выносится в ответы к данному заданию теста.

Отсутствие логической корректности условия задания бывает вызвано частично правильными ответами, которые для увеличения числа дистракторов авторы включают в отдельные задания теста.

Например, в задании на выбор одного правильного ответа

Задание 67