Первое направление работы эксперта

Работа эксперта по первому направлению заключается в ана­лизе содержания отдельных заданий теста. При работе по первому направлению эксперт должен заполнить таблицу (приложение 3.2). В таблице первая графа содержит номера заданий теста. Во второй графе приводятся номера выбранных экспертом правильных отве­тов в закрытых заданиях тестов. Ответы к открытым заданиям при­водятся экспертом вне таблиц на отдельном листе. Форма представ­ления ответа зависит от формы рецензируемого задания теста. При выполнении открытых заданий с кратким ответом эксперт приво­дит под номером задания полученный им краткий ответ (слово, символ, число...). Здесь же необходимо обратить внимание авто­ров теста на возможные случаи появления неоднозначности, когда на месте планируемого единственного могут возникнуть дополни­тельные, частично правильные ответы. К открытым заданиям со свободно конструируемым ответом эксперт должен предложить в произвольной форме свой вариант оценки распространенного от­вета, эссе или доказательства.

В третьей графе таблицы располагаются результаты анализа со­держания заданий в терминах требований к уровню подготовки выпускников. Для проведения анализа эксперту необходимо сопо­ставить содержание каждого задания теста и перечень пронумеро­ванных требований, который входит в комплект материалов для экспертизы и выдается эксперту вместе с тестами. По результатам сопоставления эксперт выявляет номер требования, на которое преимущественно ориентировано содержание данного задания, и приводит этот номер в третьей графе для каждого задания теста. Здесь в процессе анализа возможны ситуации, когда в отдельных заданиях контролируется не одно, а два или более требований к уровню подготовки выпускников. В этом случае эксперт приводит только один номер того требования, которое в основном проверя­ется с помощью данного задания теста.

В четвертой графе таблицы проставляется уровень базовости. Дифференциация заданий по уровням позволяет разделить их на три группы: Б, П, С. Дифференциация производится на основе сопоставления содержания заданий с требованиями к уровню под­готовки выпускников. В том случае, когда задание проверяет сте­пень достижения требований на минимальном уровне, достаточ­ном для выставления оценки «удовлетворительно», оно считается соответствующим группе Б. К группе П относятся задания, пра­вильное выполнение которых позволяет выставить ученику хоро­шие и отличные оценки. Таким образом, задания группы П по трудности превышают минимально достаточный уровень, но на­ходятся в пределах минимума содержания образования поданно­му предмету. И наконец, в группу С включаются задания, выхо­дящие за пределы минимума содержания и требований к уровню подготовки выпускников.

В пятой графе таблицы эксперт оценивает уровень значимости содержания каждого задания теста. Оценка значимости связана с не­обходимостью включения в тест только тех элементов содержания, которые являются наиболее важными, ключевыми для освоения учеб­ного курса в пределах требований к уровню подготовки. Оценку зна­чимости предлагается проводить по отдельным заданиям без учета того, что отдельные элементы содержания в заданиях могут пересе­каться. При этом в центр внимания необходимо ставить то, что изме­ряет задание, не принимая в расчет промежуточные элементы зна­ния, востребованные в процессе выполнения задания теста.

Оценку значимости содержания заданий эксперты проставля­ют по четырех балльной шкале. Балл 0 выставляется в том случае, когда эксперт считает неоправданным включение данного задания в тест. Балл 1 выставляется в том случае, если содержание задания представляется эксперту незначимым, 2 — значимым, а 3 — наибо­лее важным опорным элементом. Полученные оценки по отдель­ным заданиям теста необходимо усреднить. Для этого суммируют­ся баллы по отдельным заданиям и найденное число делится на общее число заданий теста. Например, если всего было 30 заданий и первому заданию эксперт присвоил балл 2, второму — 3, третьему — 1 и т. д., то эта оценка будет

Суммарная оценка приводится в конце столбца на месте пятой графы.

Для заполнения шестой графы эксперту необходимо представить гипотетический случай, когда задания с выбором ответа выполняла представительная (репрезентативная) выборка удовлетворительно подготовленных учеников. Требование репрезентативности вполне оправдано с точки зрения теории, поскольку, чем представительнее выборка, тем достовернее оценка эксперта.

Однако на практике дело обстоит несколько иначе. Эксперту довольно трудно предположить, сколько учащихся, например, из 100 или 200 «троечников» в состоянии выполнить каждое задание теста. В этой связи в основу получения оценок по шестой графе лучше положить сравнительно небольшую выборку. К примеру, можно мысленно представить группу «троечников» всего из 10 че­ловек и затем посчитать гипотетический процент учащихся, пра­вильно выполнивших каждое задание теста.

В седьмой графе эксперт также приводит предполагаемый про­цент испытуемых, правильно выполнивших каждое задание теста, однако ориентируется в своих гипотетических оценках не на груп­пу «троечников», а на выборку, где равномерно представлены все категории отметок от двух до пяти.

Следующая графа содержит ожидаемое время выполнения уче­ником каждого задания теста. При выборе времени эксперту сле­дует ориентироваться на ученика со средней подготовкой. Перво­начальное представление о времени выполнения заданий эксперт может составить в процессе своей работы над тестом. Поэтому,

приступая к выполнению заданий, эксперту нужно заготовить все необходимое: часы, бланк с номерами заданий — и строго фикси­ровать начало и конец работы над каждым заданием теста.

Полученное время необходимо скорректировать с учетом того, что задание выполнял преподаватель, а не ученик. Для коррекции зафиксированное время выполнения каждого задания обычно уве­личивают в 4-5 раз. Полученный результат (в минутах) следует за­писать в графу для ожидаемого времени выполнения учеником каж­дого задания теста.

В девятой графе таблицы эксперт проставляет звездочки на мес­тах, соответствующих номерам неудачных заданий теста. К неудач­ным в первую очередь следует отнести закрытые задания, где помимо правильного возникают частично правильные ответы. Здесь же очень важно отметить неудачные открытые задания с кратким ответом, в которых возможны случаи появления неоднозначности, когда на ме­сте планируемого единственного ответа можно привести синонимы, различные числа либо более или менее правильные ответы.

Все пояснения по выявленным неудачным заданиям эксперт должен привести в последней графе, которая оставлена для допол­нительных замечаний по качеству содержания заданий теста. Если эксперт считает нужным дать развернутые рекомендации по улуч­шению содержания заданий, то их следует привести на отдельных листах как приложение к последней графе таблицы.

Крайне важно в этой графе отметить случаи отсутствия четкого логического выделения одного предмета измерения в каждом зада­нии теста. Для достижения логической четкости в каждом задании лучше спросить только о чем-либо одном. Часто встречающиеся по­пытки проверить сразу несколько знаний и ввести несколько вели­чин в ответы, как правило, отрицательно сказываются на качестве заданий и всего теста. Другая причина некорректности может быть связана с двусмысленностью формулировок, порождающей несколь­ко правильных ответов в тех случаях, когда планировался только один правильный ответ.

В этой же последней графе эксперт характеризует качество фор­мулировок содержательной основы заданий теста. В случае необхо­димости здесь следует отметить лексическую избыточность форму­лировок либо, наоборот, их ясность и краткость, охарактеризовать качество представления графической информации, если она есть в заданиях теста. При оценке качества формулировок эксперту следу­ет помнить о том, что тестовые задания должны быть сформулиро­ваны предельно четко, точно, лаконично и корректно с точки зре­ния общепринятой в учебном предмете терминологии и символики предмета. И наконец, здесь же, в последней графе, отмечаются слу­чаи появления неправильных заданий теста.