Визуализация истинных баллов тестируемых

Представляет интерес анализ обратной ситуации, когда после определенной работы в тесте остались только валидные задания и можно оценить состоятельность профилей ответов испытуемых, а не заданий теста. Ситуация с испытуемыми осложняется тем, что их нельзя просто и легко исключить из рассмотрения как несосто­ятельные задания. Ученики выполняли тест, и в любом случае они должны получить свои оценки, причем не любые, смещенные в сторону занижения или завышения, а те, которые отражают ре­альную картину подготовки тестируемой группы.

Проблема получения истинных баллов выглядит достаточно тривиально для случая состоятельных профилей ответов на зада­ния теста. Однако она значительно осложняется для тех испытуе­мых, ответы которых не вписываются в рассматриваемую схему. Ситуация с несостоятельными профилями ответов учеников до­вольно сложна и требует дополнительного обсуждения.

На рис. 2.7 представлены профили ответов двух испытуемых на одни и те же 10 заданий теста, ранжированных по нарастанию трудности и расположенных вдоль оси переменной измерения. Уровень подготовки испытуемых оказался одинаковым, посколь­ку каждый из них выполнил по шесть заданий, однако не одних и тех же, а разных по трудности из представленных десяти заданий теста.

Рис. 2.7. Положение истинных баллов испытуемых для правильного (А) и инвертированного (Б) профилей ответов на оси переменной измерения

Профиль А отличается явной состоятельностью. В нем при­ведены результаты испытуемого, который выполнил правильно подряд шесть наиболее легких заданий и не справился с четырьмя более трудными заданиями теста. Для педагога подобный профиль интересен тем, что в нем наглядно представлен так называемый кумулятивный эффект, когда правильный ответ на шестое задание обеспечивает воспроизводимость правильных ответов на более лег­кие предшествующие задания теста.

Конечно, стойкий кумулятивный эффект наблюдается далеко не всегда, в основном для заданий, довольно тесно связанных по содержанию. В англоязычной методической литературе популярен пример заданий на умножение

который вполне ясно, хотя и довольно упрощенно, иллюстрирует идеи кумулятивное™ на практике. Действительно, если испытуе­мый умеет умножать на четырехзначное число, то он тем более спра­вится с умножением на трех-, двух- и однозначные числа.

Конечно, в процессе выполнения заданий нельзя исключать возможность случайных ошибок по невнимательности, простых описок, которые могут внести элементы инвертированности в пра­вильные профили ответов. Однако в целом, если в тест отобраны состоятельные задания, содержание которых обеспечивает оценку значений планируемой переменной измерения, то есть надежда на стойкий кумулятивный эффект в профилях ответов учеников. В противном случае при возникновении инвертированных профи­лей у педагога появляются основания для вывода о низком каче­стве подготовки учеников и, соответственно, о низкой эффектив­ности своей работы. Для подобных нежелательных выводов есть веские основания, поскольку в процессе обучения не была обеспе­чена реализация важнейшей цели, которую большинство педаго­гов трактует как формирование правильной структуры, а не объе­ма знаний учеников.

Возвращаясь к профилю А, необходимо решить вопрос с вы­бором точки на оси переменной измерения, соответствующей ис­тинному баллу первого ученика. Естественно предположить, что эта точка расположена между шестым и седьмым заданиями теста. Положение точки левее седьмого задания выглядит вполне зако­номерным, так как испытуемый не выполнил правильно ни одно­го начиная с седьмого задания теста. Продвижение к искомой точ­ке с другого конца теста дает столь же определенную картину: учащийся выполнил правильно шесть заданий и потому его истин­ный балл должен быть никак не меньше шести.

У читателя может возникнуть вопрос обоснования возможного превышения наблюдаемого балла при оценке истинного уровня подготовки ученика, а именно: насколько правомерно считать, что истинный балл больше 6 либо почему при оценке истинного ре­зультата нельзя ограничиться наблюдаемым баллом 6? Ответ на вопрос будет выглядеть достаточно просто, если предположить, что между шестым и седьмым заданиями помещены еще несколько более трудных, чем шестое, но менее трудных, чем седьмое, зада­ний теста. Успех ученика при их выполнении будет выглядеть впол­не закономерно, поскольку они все же легче, чем седьмое задание теста. Из этого рассуждения вытекает возможность смещения точ­ки локализации истинного балла вправо от наблюдаемого балла вдоль оси переменной измерения. Есть и другой не менее веский аргумент в пользу выбора точки локализации истинного балла меж­ду шестым и седьмым заданиями теста — идея смещения хорошо увязывается с обшей концепцией истинной оценки как величины, не зависящей от подбора заданий теста.

В отличие от предыдущего случая выбор предположительного места локализации истинного балла второго ученика с профилем ответов Б — задача довольно непростая. К. тому же сам по себе про­филь Б трудно объясним в силу своей явной несостоятельности: ученик не справился с четырьмя наиболее легкими заданиями и вместе с тем выполнил верно шесть более трудных заданий теста. Сложность выбора места локализации истинного балла для про­филя Б становится вполне явной, если рассмотреть гипотетичес­кие экстремальные ситуации.

Предположим, что точка, соответствующая истинному баллу второго ученика, находится на оси правее самого трудного десятого задания, что в какой-то мере вполне оправданно, так как ученик выполнил верно десятое задание теста. Однако тогда не ясно, как увязать принятое предположение с фактом неправильного выпол­нения первых четырех более легких заданий теста.

Столь же непонятным остается общее решение задачи лока­лизации, если пойти по другому пути и поставить в центр внимания неправильно выполненные учеником задания теста. В этом случае точку локализации истинного балла ученика необходимо выбрать левее самого легкого задания с оценкой трудности £,, что представ­ляется довольно неразумным и плохо согласуется с естественной логикой, так как шесть наиболее трудных заданий были выполне­ны учеником верно.

К сожалению, для профиля Б трудно, а скорее просто невоз­можно найти разумное решение, поскольку в равной степени ало­гичным кажется любое другое расположение истинного балла уче­ника между точками, локализующими положение заданий на оси переменной измерения. Таким образом, стремление педагога оце­нить всех учеников, выполнявших тест, нельзя признать рацио­нальным, так как задача становится неразрешимой для случая ин­вертированных профилей ответов учеников. Здесь выявляется определенная закономерность: чем выше мера инвертированности профиля ответа ученика, тем меньше оснований для реализа­ции основной цели измерения — определения истинного балла каждого ученика тестируемой группы.

Конечно, причины несостоятельности профилей ответов уче­ников могут быть самыми разными. Далеко не все инверсии в про­филях указывают на некачественную структуру знаний испытуемого. Например, возможна ситуация, когда ученик нарушил пред­лагаемый порядок расположения заданий в тесте при их выполне­нии и сосредоточил все усилия на самых трудных заданиях из кон­ца теста, а к легким не успел приступить. Быть может, имели место ошибки разработчика при оценке значений параметра трудности заданий либо при ранжировании заданий по нарастанию трудно­сти в тесте. Возможно, в процессе создания теста отсутствовал этап отбора заданий с несостоятельными профилями либо представ­ленные в тесте задания не обладают четко выраженным куму­лятивным эффектом из-за особенностей содержания теста. Окон­чательный вывод должен принадлежать педагогу-разработчику, поскольку именно он знаком со всеми обстоятельствами, сопут­ствовавшими процессам создания и применения теста.

Для уточнения вывода представляет интерес сравнительный ана­лиз результатов выполнения теста, который помогает сузить круг возможных причин инверсий в профилях ответов учеников. Сфор­мулированное утверждение удачно иллюстрируется данными при­мера на рис. 2.7. Не обладая дополнительными сведениями, легко предположить, что причиной инвертированности профиля Б явля­ется несостоятельность отдельных заданий теста. О том, что пред­положение неверно и здесь имеет место несостоятельность второго испытуемого, а не заданий, свидетельствуют результаты первого уче­ника, у которого в профиле А все распределяется закономерно. Ес­тественно, что для планирования процесса обучения наибольший интерес представляет профиль Б, причины несостоятельности ко­торого педагогу предстоит выяснить в процессе непосредственного общения с учеником по результатам выполнения теста.