Работа эксперта по первому направлению заключается в анализе содержания отдельных заданий теста. При работе по первому направлению эксперт должен заполнить таблицу (приложение 3.2). В таблице первая графа содержит номера заданий теста. Во второй графе приводятся номера выбранных экспертом правильных ответов в закрытых заданиях тестов. Ответы к открытым заданиям приводятся экспертом вне таблиц на отдельном листе. Форма представления ответа зависит от формы рецензируемого задания теста. При выполнении открытых заданий с кратким ответом эксперт приводит под номером задания полученный им краткий ответ (слово, символ, число...). Здесь же необходимо обратить внимание авторов теста на возможные случаи появления неоднозначности, когда на месте планируемого единственного могут возникнуть дополнительные, частично правильные ответы. К открытым заданиям со свободно конструируемым ответом эксперт должен предложить в произвольной форме свой вариант оценки распространенного ответа, эссе или доказательства.
В третьей графе таблицы располагаются результаты анализа содержания заданий в терминах требований к уровню подготовки выпускников. Для проведения анализа эксперту необходимо сопоставить содержание каждого задания теста и перечень пронумерованных требований, который входит в комплект материалов для экспертизы и выдается эксперту вместе с тестами. По результатам сопоставления эксперт выявляет номер требования, на которое преимущественно ориентировано содержание данного задания, и приводит этот номер в третьей графе для каждого задания теста. Здесь в процессе анализа возможны ситуации, когда в отдельных заданиях контролируется не одно, а два или более требований к уровню подготовки выпускников. В этом случае эксперт приводит только один номер того требования, которое в основном проверяется с помощью данного задания теста.
В четвертой графе таблицы проставляется уровень базовости. Дифференциация заданий по уровням позволяет разделить их на три группы: Б, П, С. Дифференциация производится на основе сопоставления содержания заданий с требованиями к уровню подготовки выпускников. В том случае, когда задание проверяет степень достижения требований на минимальном уровне, достаточном для выставления оценки «удовлетворительно», оно считается соответствующим группе Б. К группе П относятся задания, правильное выполнение которых позволяет выставить ученику хорошие и отличные оценки. Таким образом, задания группы П по трудности превышают минимально достаточный уровень, но находятся в пределах минимума содержания образования поданному предмету. И наконец, в группу С включаются задания, выходящие за пределы минимума содержания и требований к уровню подготовки выпускников.
В пятой графе таблицы эксперт оценивает уровень значимости содержания каждого задания теста. Оценка значимости связана с необходимостью включения в тест только тех элементов содержания, которые являются наиболее важными, ключевыми для освоения учебного курса в пределах требований к уровню подготовки. Оценку значимости предлагается проводить по отдельным заданиям без учета того, что отдельные элементы содержания в заданиях могут пересекаться. При этом в центр внимания необходимо ставить то, что измеряет задание, не принимая в расчет промежуточные элементы знания, востребованные в процессе выполнения задания теста.
Оценку значимости содержания заданий эксперты проставляют по четырех балльной шкале. Балл 0 выставляется в том случае, когда эксперт считает неоправданным включение данного задания в тест. Балл 1 выставляется в том случае, если содержание задания представляется эксперту незначимым, 2 — значимым, а 3 — наиболее важным опорным элементом. Полученные оценки по отдельным заданиям теста необходимо усреднить. Для этого суммируются баллы по отдельным заданиям и найденное число делится на общее число заданий теста. Например, если всего было 30 заданий и первому заданию эксперт присвоил балл 2, второму — 3, третьему — 1 и т. д., то эта оценка будет
Суммарная оценка приводится в конце столбца на месте пятой графы.
Для заполнения шестой графы эксперту необходимо представить гипотетический случай, когда задания с выбором ответа выполняла представительная (репрезентативная) выборка удовлетворительно подготовленных учеников. Требование репрезентативности вполне оправдано с точки зрения теории, поскольку, чем представительнее выборка, тем достовернее оценка эксперта.
Однако на практике дело обстоит несколько иначе. Эксперту довольно трудно предположить, сколько учащихся, например, из 100 или 200 «троечников» в состоянии выполнить каждое задание теста. В этой связи в основу получения оценок по шестой графе лучше положить сравнительно небольшую выборку. К примеру, можно мысленно представить группу «троечников» всего из 10 человек и затем посчитать гипотетический процент учащихся, правильно выполнивших каждое задание теста.
В седьмой графе эксперт также приводит предполагаемый процент испытуемых, правильно выполнивших каждое задание теста, однако ориентируется в своих гипотетических оценках не на группу «троечников», а на выборку, где равномерно представлены все категории отметок от двух до пяти.
Следующая графа содержит ожидаемое время выполнения учеником каждого задания теста. При выборе времени эксперту следует ориентироваться на ученика со средней подготовкой. Первоначальное представление о времени выполнения заданий эксперт может составить в процессе своей работы над тестом. Поэтому,
приступая к выполнению заданий, эксперту нужно заготовить все необходимое: часы, бланк с номерами заданий — и строго фиксировать начало и конец работы над каждым заданием теста.
Полученное время необходимо скорректировать с учетом того, что задание выполнял преподаватель, а не ученик. Для коррекции зафиксированное время выполнения каждого задания обычно увеличивают в 4-5 раз. Полученный результат (в минутах) следует записать в графу для ожидаемого времени выполнения учеником каждого задания теста.
В девятой графе таблицы эксперт проставляет звездочки на местах, соответствующих номерам неудачных заданий теста. К неудачным в первую очередь следует отнести закрытые задания, где помимо правильного возникают частично правильные ответы. Здесь же очень важно отметить неудачные открытые задания с кратким ответом, в которых возможны случаи появления неоднозначности, когда на месте планируемого единственного ответа можно привести синонимы, различные числа либо более или менее правильные ответы.
Все пояснения по выявленным неудачным заданиям эксперт должен привести в последней графе, которая оставлена для дополнительных замечаний по качеству содержания заданий теста. Если эксперт считает нужным дать развернутые рекомендации по улучшению содержания заданий, то их следует привести на отдельных листах как приложение к последней графе таблицы.
Крайне важно в этой графе отметить случаи отсутствия четкого логического выделения одного предмета измерения в каждом задании теста. Для достижения логической четкости в каждом задании лучше спросить только о чем-либо одном. Часто встречающиеся попытки проверить сразу несколько знаний и ввести несколько величин в ответы, как правило, отрицательно сказываются на качестве заданий и всего теста. Другая причина некорректности может быть связана с двусмысленностью формулировок, порождающей несколько правильных ответов в тех случаях, когда планировался только один правильный ответ.
В этой же последней графе эксперт характеризует качество формулировок содержательной основы заданий теста. В случае необходимости здесь следует отметить лексическую избыточность формулировок либо, наоборот, их ясность и краткость, охарактеризовать качество представления графической информации, если она есть в заданиях теста. При оценке качества формулировок эксперту следует помнить о том, что тестовые задания должны быть сформулированы предельно четко, точно, лаконично и корректно с точки зрения общепринятой в учебном предмете терминологии и символики предмета. И наконец, здесь же, в последней графе, отмечаются случаи появления неправильных заданий теста.