Второе направление работы эксперта

Второе направление работы эксперта связано с анализом ка­чества содержания всего теста, имеющего несколько параллельных вариантов. Анализ качества выполнения для каждого варианта в отдельности, а затем вся информация объединяется по группе ва­риантов в тех таблицах, которые предлагаются в методике экспер­ту. При выполнении работ по второму направлению следует иметь в виду, что содержание, например, аттестационного теста опреде­ляется как оптимальное отображение требований к уровню подго­товки выпускников в системе заданий теста. Требование оптималь­ности выделяет определенные критерии качества отображения.

Первый критерий — полнота охвата требований к уровню подго­товки выпускников каждым вариантом теста и всеми вариантами вместе. Необходимость оценки полноты связана с тем, что обычно не все требования удается отобразить в тесте. Чем полнее отображение, тем выше содержательная валидность теста, тем больше уверенность в обоснованности оценок, полученных учащимися по данному тесту.

При оценке по первому критерию эксперт должен подтвердить либо опровергнуть процент охвата программы (требований стандар­тов), заявленный автором в спецификации теста. В основе получе­ния экспертной оценки лежат результаты, помещенные в третьей графе таблицы из приложения 3.2. С помощью этих результатов эк­сперт подсчитывает число требований, охваченных по одному вари­анту, а затем делит это число на общее количество требований и при­водит полученный таким образом результат (в процентах) по каждому варианту теста.

Подсчет общего процента охвата требований к уровню подго­товки выпускников всеми вариантами теста нельзя выполнить про­стым суммированием процентов, полученных по отдельным вари­антам теста, так как отдельные требования могут быть представлены во многих, если не во всех вариантах теста. В этой связи для итогово­го вывода эксперту необходимо выбрать номер каждого требования из третьей графы только один раз по всем вариантам теста. Затем просуммировать полученную информацию, с тем чтобы получить общее число требований, охваченных всеми вариантами теста, и вы­разить это число в процентах. Полученный экспертом процент ох­вата сравнивается с приведенным в спецификации теста. Затем вы­числяется мера отклонения в виде разности процентов.

Второй критерий качества — правильность пропорций со­держания теста. При выделении критериев простой оценки полно­ты охвата требований недостаточно. Необходима также уверенность в том, что задания теста охватывают все важные аспекты предмет­ной области и в правильной пропорции. Зачастую при разработке теста возможно смещение пропорций, так как тест легко перенасы­тить теми разделами содержания, по которым легче составить зада­ния. Например, в рамках гуманитарного цикла дисциплин легко раз­рабатывать задания на выявление фактологических знаний, и потому эти задания нередко преобладают в отдельных тестах. Для оценки правильности пропорций теста эксперт подсчитывает процент за­даний в тесте, ориентированных на материал каждого раздела (со­держательной линии). Затем приводит свое видение оптимального соотношения разделов и вычисляет разность, характеризующую от­клонение мнения разработчиков от своих оценок.

Третий критерий — проверка соответствия содержания рецензи­руемой системы заданий спецификации теста. Несоответствие может возникать как при уменьшении, так и при увеличении планируемого числа заданий в тесте. Степень несоответствия определяется подсче­том процента заданий, не предусмотренных спецификацией по содержательным или по деятельностным аспектам, запланирован­ным, но не попавшим в тест. Основания для выделения заданий в ка­тегорию непредусмотренных зависят от вида спецификации теста. Например, можно подсчитать число непредусмотренных специфи­кацией заданий по каждому разделу либо по каждому умению, запла­нированному к проверке в тесте. Сопоставление планируемых в спе­цификации и реальных количеств заданий в тесте проводится путем вычисления разностей. Таким образом, подсчитывается общее число заданий, не соответствующих спецификации теста.