Второе направление работы эксперта связано с анализом качества содержания всего теста, имеющего несколько параллельных вариантов. Анализ качества выполнения для каждого варианта в отдельности, а затем вся информация объединяется по группе вариантов в тех таблицах, которые предлагаются в методике эксперту. При выполнении работ по второму направлению следует иметь в виду, что содержание, например, аттестационного теста определяется как оптимальное отображение требований к уровню подготовки выпускников в системе заданий теста. Требование оптимальности выделяет определенные критерии качества отображения.
Первый критерий — полнота охвата требований к уровню подготовки выпускников каждым вариантом теста и всеми вариантами вместе. Необходимость оценки полноты связана с тем, что обычно не все требования удается отобразить в тесте. Чем полнее отображение, тем выше содержательная валидность теста, тем больше уверенность в обоснованности оценок, полученных учащимися по данному тесту.
При оценке по первому критерию эксперт должен подтвердить либо опровергнуть процент охвата программы (требований стандартов), заявленный автором в спецификации теста. В основе получения экспертной оценки лежат результаты, помещенные в третьей графе таблицы из приложения 3.2. С помощью этих результатов эксперт подсчитывает число требований, охваченных по одному варианту, а затем делит это число на общее количество требований и приводит полученный таким образом результат (в процентах) по каждому варианту теста.
Подсчет общего процента охвата требований к уровню подготовки выпускников всеми вариантами теста нельзя выполнить простым суммированием процентов, полученных по отдельным вариантам теста, так как отдельные требования могут быть представлены во многих, если не во всех вариантах теста. В этой связи для итогового вывода эксперту необходимо выбрать номер каждого требования из третьей графы только один раз по всем вариантам теста. Затем просуммировать полученную информацию, с тем чтобы получить общее число требований, охваченных всеми вариантами теста, и выразить это число в процентах. Полученный экспертом процент охвата сравнивается с приведенным в спецификации теста. Затем вычисляется мера отклонения в виде разности процентов.
Второй критерий качества — правильность пропорций содержания теста. При выделении критериев простой оценки полноты охвата требований недостаточно. Необходима также уверенность в том, что задания теста охватывают все важные аспекты предметной области и в правильной пропорции. Зачастую при разработке теста возможно смещение пропорций, так как тест легко перенасытить теми разделами содержания, по которым легче составить задания. Например, в рамках гуманитарного цикла дисциплин легко разрабатывать задания на выявление фактологических знаний, и потому эти задания нередко преобладают в отдельных тестах. Для оценки правильности пропорций теста эксперт подсчитывает процент заданий в тесте, ориентированных на материал каждого раздела (содержательной линии). Затем приводит свое видение оптимального соотношения разделов и вычисляет разность, характеризующую отклонение мнения разработчиков от своих оценок.
Третий критерий — проверка соответствия содержания рецензируемой системы заданий спецификации теста. Несоответствие может возникать как при уменьшении, так и при увеличении планируемого числа заданий в тесте. Степень несоответствия определяется подсчетом процента заданий, не предусмотренных спецификацией по содержательным или по деятельностным аспектам, запланированным, но не попавшим в тест. Основания для выделения заданий в категорию непредусмотренных зависят от вида спецификации теста. Например, можно подсчитать число непредусмотренных спецификацией заданий по каждому разделу либо по каждому умению, запланированному к проверке в тесте. Сопоставление планируемых в спецификации и реальных количеств заданий в тесте проводится путем вычисления разностей. Таким образом, подсчитывается общее число заданий, не соответствующих спецификации теста.
