Основные этапы конструирования педагогического теста

Процесс создания теста, его научного обоснования, перера­ботки и улучшения можно разбить на ряд этапов.

1.Определение цели тестирования, выбор вида теста и подхода к его созданию.

2.Анализ содержания учебной дисциплины.

3.Определение структуры теста и стратегии расположения заданий.

4.Разработка спецификации теста, априорный выбор длины теста и времени его выполнения.

5.Создание предтестовых заданий.

6.Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.

7.Экспертиза содержания предтестовых заданий и теста.

8.Экспертиза формы предтестовых заданий.

9.Переработка содержания и формы заданий по результатам экспертизы.

 

10.Разработка методики апробационного тестирования.

11.Разработка инструкций для учеников и для преподавателей, проводящих апробацию теста.

12.Проведение апробационного тестирования.

13.Сбор эмпирических результатов.

14.Статистическая обработка результатов выполнения теста.

15.Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.

16.Коррекция содержания и формы заданий на основании данных предыдущего этапа. Чистка теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения на основании апостериорных оценок характеристик теста. Оптимизация порядка расположения заданий в тесте.

17.Повторение этапа апробации для выполнения очередных шагов по повышению качества теста.

18.Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.

Возникает своеобразный цикл, так как после чистки теста раз­работчику приходится возвращаться к этапу сбора эмпирических данных, причем, как правило, не один раз, а два, три и более. В оп­ределенном смысле этот цикл бесконечен, но не потому, что все за­дания плохи и разработчик не имеет достаточного опыта создания теста. Просто процесс конструирования теста довольно труден, по­скольку необходим всесторонний подход к оценкам качества теста и характеристик тестовых заданий, к проверке их системообразую­щих свойств.

К тому же можно считать, что задача оптимального подбора состава теста не имеет единственного решения, так как не все здесь определяется качеством тестового материала, а многое еще зави­сит от уровня подготовки группы учеников. Задания, хорошо ра­ботающие на одной выборке учеников, могут оказаться совершен­но бесполезными на другой, так как они будут или слишком легкими, или слишком трудными и их не выполнит правильно ни один ученик группы.

Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается пра­вильным отбором проверяемого содержания и умением разра­ботчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для вы­полнения которого необходимы специальные программные сред­ства для профессиональной разработки тестов [55].

Конечно, далеко не всегда в процессе создания тестов необ­ходимо достижение профессионального уровня качества, осо­бенно если отвлечься от целей приема абитуриентов и аттестации выпускников. В повседневной деятельности педагога необходи­мы тесты разного, иногда невысокого качества, ориентированные на задачи текущего контроля. Выполнение последней задачи впол­не по силам отдельному педагогу или группе педагогов. Однако и в этом случае можно самостоятельно сделать ряд расчетов, осно­ванных на минимальном математическом аппарате и позволяю­щих значительно продвинуться от предтестовых заданий к насто­ящему тесту.

Выводы

1.Теория педагогических измерений носит междисциплинарный характер, объединяя достижения педагогики и психологии с достижениями математики, статистики и теории измерений.

2.Разработка понятийного аппарата теории педагогических измерений имеет важное значение для повышения качества тестов.

3. При формулировании понятийного аппарата необходимо классифицировать виды тестов, чтобы привести вводимые определения в соответствие с различными видами тестов и целями их создания. .

4. Педагогические тесты можно использовать для входного, текущего и итогового контроля при оценке результатов осуществленного учебного процесса.

5. Педагогические тесты разрабатываются в рамках двух подходов, позволяющих по-разному интерпретировать результаты их выполнения.

6. Наблюдаемые результаты выполнения теста получаются в результате взаимодействия множества испытуемых со множеством заданий теста.

7. Профессионально разработанные тесты обеспечивают представление об истинных баллах учащихся, определяемых с помощью специальных методов по наблюдаемым результатам выполнения теста.

8. Процесс конструирования теста включает ряд этапов, выполнение которых обязательно. Исключение любого этапа ведет к неизбежной потере качества теста.

ВОПРОСЫ И ЗАДАНИЯ

1.Каковы функции входного тестирования? Есть ли смысл разрабатывать входные тесты в школе?

2.Каковы цели разработки формирующих тестов? Есть ли различия между формирующими тестами и традиционными средствами текущего контроля?

3.Какова цель итогового тестирования?

4.В рамках какого подхода, по вашему мнению, следует разрабатывать тесты для проведения выпускных экзаменов в школе?

5.Правильно ли в вашей школе оценивают эффективность работы преподавателей?

6.Какой процесс называется стандартизацией теста?

7.Перечислите факторы, влияющие на устойчивость норм теста.

8.Какие тесты, по вашему мнению, необходимо разрабатывать в первую очередь для повышения эффективности учебного процесса в школе?

9.Сформулируйте определения предтестового задания, тестового задания, педагогического теста. Сравните свой ответ с содержанием соответствующих разделов пособия.

10.В чем проявляются преимущества предтестового задания по сравнению с традиционными контрольными заданиями?

11.Каковы общие требования к предтестовым заданиям? Сравните свой ответе предлагаемым в пособии перечнем общих требований.

12.Охарактеризуйте факторы, снижающие точность тестовых измерений.

13.Можно ли с помощью традиционных средств контроля получить представление об истинных баллах учеников?

14.Три ученика отвечали на 6 заданий теста, ранжированных по нарастанию трудности. По результатам ответов получились профили:

первый: 111000; второй: 101010; третий: 000111.

Кто, по вашему мнению, лучше усвоил содержание проверяе­мого курса? Сколько ошибок в профиле ответов каждого из трех учеников? У кого из трех учеников будет выше истинный балл? Правомерна ли постановка последнего вопроса по отношению к результатам третьего ученика?

15.     Перечислите основные этапы разработки теста.

3

СОДЕРЖАНИЕ ТЕСТА

Целеполагание на этапе планирования

Содержания теста

При создании теста внимание разработчика прежде всего при­влекают вопросы отбора содержания, которое можно определить как оптимальное отображение содержания учебной дисциплины в системе тестовых заданий. Требование оптимальности предпо­лагает использование определенной методики отбора, включаю­щей вопросы целеполагания, планирования и оценки качества содержания теста.

Этап целеполагания является наиболее трудным и вместе с тем наиболее важным: от результатов его выполнения в первую очередь зависит качество содержания теста. В процессе целеполагания пре­подавателю необходимо решить вопрос о том, какие результаты уче­ников он хочет оценить с помощью теста. Ответ казалось бы прост, по крайней мере, он кажется таким тем, кто неоднократно проверя­ет знания учеников на уроках традиционными средствами. Однако наделе эта видимая простота зачастую оборачивается низким каче­ством результатов контроля, когда разные по подготовке ученики получают одинаковые оценки либо преподаватель приходит к не­правильному выводу о достижении целей обучения, в то время как ученики не получили самых важных знаний или не научились их применять.

Основания для ошибок в выводах педагога далеко не всегда связаны с технологическими недостатками традиционных средств контроля. Иногда они обусловлены недоработками пе­дагога на этапе целеполагания, когда центр тяжести проверки смещается на второстепенные цели обучения, а иногда этап це­леполагания отсутствует вовсе, поскольку часть педагогов уве­рена в непогрешимости; своего опыта и интуиции, особенно при условии многолетней работы в школе. Однако никакие даже очень совершенные методы контроля и никакой опыт не дадут оснований для надежных выводов о достижении целей обучения до тех пор, пока нет уверенности в правильной постановке целей контроля и в их правильном, несмещенном отображении в содержании теста.

В отличие от отбора содержания традиционных средств конт­роля, который производится в основном интуитивно на основании практического опыта педагога, отбор содержания теста имеет чет­кую целевую направленность, а это при условии правильной по­становки целей является серьезной заявкой на его высокое каче­ство. Образно говоря, при создании теста в сознании разработчика содержание контроля преломляется сквозь призму поставленных целей измерения, и если они сформулированы правильно, то есть большая уверенность в том, что тест состоится.

Правда, сама по себе правильная постановка целей создания теста довольно непроста, к тому же положение осложняется рядом обстоятельств. С одной стороны, различные школы в современной педагогике при формулировке целей используют разные системы понятий и представлений, часто плохо сочетающиеся между собой. С другой стороны, использование отличающихся слов и выраже­ний естественного языка в качестве терминов порождает изрядную путаницу, нередко контекст ряда педагогических подходов недо­статочен для осуществления терминообразующей функции.

Вместе с тем в течение целого ряда лет особой потребности в формировании единых подходов к формулировке целей просто не возникало. Существовавшая в нашей стране на протяжении десяти­летий преимущественная ориентация на традиционные средства контроля снимала потребность в этом процессе, так как расплывча­тость и неопределенность действующих образовательных целей не приходила в рассогласование с требованиями практики, далекой от проблем создания объективных средств измерения. И наконец, не­редко положение осложняли сами исследователи, которые, образно говоря, прорицали, но не слышали друг друга. В целом это привело к тому, что до сих пор не выработаны общие правила выбора осно­ваний для классификации целей, не найдены разделяемые всеми принципы для количественной оценки степени их достижения.

Таким образом, сложившиеся на сегодняшний день представ­ления о наиболее общих целях контроля не позволяют непосред­ственно перейти к разработке средств измерения. Для формулиро­вок образовательных целей характерны излишняя общность, расплывчатость, многообразие и неопределенность. Поэтому для создания средств измерения в первую очередь необходима предва­рительная операционализация целей.

Процесс операционализации заключается в придании содер­жанию и форме представления целей характеристик, позволяющих отобразить цели в содержании стандартизованных средств измерения [7]. Идея операционализации очень близка отдельным положениям работы М.В. Кларина [12], где вместо сло­ва «операционализация»'используется иной, довольно удачный термин «конкретизация». Дело разумеется не в термине, а в сути предлагаемого процесса.

Конкретизация целей

Конкретизация, по мнению М.В. Кларина, должна начинаться с описания направленности воздействия обучения на ученика, про­яснения характера воздействия и детализации его результатов. В этой связи Кларин выделяет ряд вопросов, решение которых с не­обходимостью сопутствует процессу конкретизации. Ответ на пер­вый вопрос направлен на характеристику образовательных усло­вий, создаваемых для реализации целей. Ответ на второй — связан с выявлением внутренних параметров учащихся, их способностей к усвоению нового учебного материала. И наконец, ответ на тре­тий вопрос нацелен на характеристику результатов образователь­ного процесса.

Приведенные Клариным узловые моменты процесса конкре­тизации нуждаются в некоторых уточнениях — изменении не со­держания, а просто порядка постановки вопросов. Поскольку по­рядок постановки вопросов подчинен определенной иерархии, то для отражения сущности происходящих при контроле процес­сов второй и третий вопросы, несомненно, следует поменять ме­стами. Судить о внутренних параметрах учащегося можно толь­ко на основе анализа внешней стороны учебной деятельности, проявляющейся в результатах обучения. По сути, идея перехода от внешнего к внутреннему, идея интериоризации, составляет ядро теории педагогических измерений, когда по наблюдаемым результатам контроля с той или иной степенью точности пыта­ются сделать вывод о внутренних устойчивых характеристиках — параметрах ученика.

, Конечно, не следует забывать о том, что при контроле препо­даватель как бы совершает обратный ход, поскольку на деле имен­но множество параметров испытуемых в процессе взаимодействия с заданиями порождает наблюдаемые результаты выполнения те­ста, т.е. то, что в процессе контроля принято называть результа­тами обучения. При этом выявление степени достижения целей обучения, замкнутых на определенную предметную область, осу­ществляется через контроль учебной деятельности школьников путем сопоставления наблюдаемых и ожидаемых результатов обу­чения.

Непосредственно для целей создания средств измерения наи­больший интерес представляет ответ на третий вопрос, связанный с операционализацией результатов обучения. Процесс операцио-нализации характеризуется рядом этапов, которые схематично изображены на рис. 3.1.

Рис. 3.1. Этапы операционализации результатов обучения

Далее планируемые результаты обучения в сознании препо­давателя-предметника преломляются сквозь призму содержания зна­ний по преподаваемой им учебной дисциплине, и содержание теста начинает обретать свои контуры. Конечно, многое здесь зависит от выбранных средств оценки, так как далеко не всякое содержание дис­циплины и не в любой форме может быть отражено в тесте.

В состав требований к планируемым результатам обучения обычно включают систему изучаемых объектов, описание видов учебной деятельности и качества усвоения учебного материала.

Первым компонентом требований является характеристика объектов изучения с учетом глубины их освещения учителем и пла­нируемого уровня усвоения учащимися. Группой исследователей НИИ СиМО АПН была предложена обще предметная схема, орга­низующая множество объектов изучения в определенную структу­ру на основе морфологического и функционального анализа содер­жания предметов [13]. К важнейшим элементам системы научных знаний исследователи отнесли понятия и факты, законы, теории, идеи, знания о способах деятельности, методологические и оценоч­ные знания.

В этой же работе приводится вывод о том, что использование теории учебной деятельности, разработанной психологами нашей страны (С.Л. Рубинштейн, Н.А. Менчинская, Н.Ф. Талызина), «дает широкие возможности для ее характеристики в программных описаниях, объединяя своими подходами различные учебные пред­меты и различный по характеру материал обучения». Помимо это­го, в работе [13] выдвигается на рассмотрение проблема, связанная с необходимостью выделения видов умений, их классификации и систематизации.

В качестве основы решения проблемы предлагается структура умений, выделенная И.И. Кулибабой [15]. В нее входят умения:

• специальные, формирующиеся в процессе изучения отдельных учебных предметов;

• рационального учебного труда, включающие умения пользоваться различными источниками знаний для решения познавательных задач, планировать и организовывать свою учебную деятельность, контролировать и корректировать результаты учебной деятельности, а также управлять ею в процессе учения;

• интеллектуальные, представляющие собой ядро учебной деятельности и объединяющие все учебные предметы.

классификация целей

При создании теста ставится задача отобразить в его содержании то главное, что должны знать ученики в результате обучения, поэто­му ограничиться простым перечислением целей обучения нельзя. В тест хотелось бы включить все, но, к сожалению, это невозможно, поэтому часть целей приходится просто отбросить и не проверять степень их достижения учащимися. Для того чтобы не утратить са­мое главное, необходимо структурировать цели и ввести определен­ную иерархию в их взаимное расположение. Без сомнения, здесь нет и не может быть готовых общих рецептов, поскольку в каждой дис­циплине свои приоритеты. К тому же отдельные цели заметно свя­заны между собой, и потому простого представления о системе це­лей как об упорядоченной совокупности без рассмотрения связей между элементами явно недостаточно.

Для случая, когда представление об элементах как о несвя­занных составляющих можно считать адекватным системе целей обучения, работа по построению системы целей была проведена Б.С. Блумом (B.S. Bloom) [40]. В настоящее время классификация целей (или, как ее иначе называют, таксономия целей), является наиболее известной в мировой педагогической литературе. Она же и является наиболее технологичной с точки зрения большинства зарубежных разработчиков педагогических тестов. В своей класси­фикации Б.С. Блум выделяет:

1) знание названий, имен, фактов;

2) фактуальные знания;

3) знание определений и понимание их смысла;

4) сравнительные, сопоставительные знания;

5) классификационные знания;

6) знание противоположностей, противоречий, синонимичных и антонимичных объектов;

7) ассоциативные знания;

8) причинные знания;

9) алгоритмические, процедурные знания;

 

10)обобщенные, системные знания;

11)оценочные знания;

12)процессуальные знания;

13)абстрактные знания;

14)структурные знания;

15)методологические знания.

Классификация знаний Б.С. Блума приведена в несколько из­мененном и сокращенном виде для облегчения этапа целеполагания при разработке теста, в учебном пособии [2]. Сама по себе си­стема тоже не полна и допускает возможность расширения или изменения, обусловленную спецификой дисциплины.

Более полное описание целей, взятое из работы Кларина [12], приводится в приложении 3.1. Предлагаемая в приложении таксо­номия целей подразделяется на две группы. К одной группе отне­сены цели когнитивной (познавательной) области, а к другой — цели аффективной (эмоционально-деятельностной) области.

В последнее время таксономия Б.С. Блума подвергалась зна­чительной критике в связи с недостаточным отражением со­временных достижений в области психологии обучения. Общий критический анализ существующих концептуальных моделей пла­нирования при отборе содержания контроля был проделан в 1987 г. Ромберг, Зариния (Romberg, Zarinnia). К числу недостатков ими были отнесены излишняя упрощенность моделей, не позволяющая использовать современные теории процесса обучения, избыточное внимание к оценке результата обучения, а не к процессу формиро­вания результата, использование линейной зависимости между отдельными составляющими модели.

В последние годы особые осложнения в оценке учебных достижений вызывает смещение акцентов на выявление уровня владения интеллектуальными и практическими умениями, которые, по своей сути, слабо алгоритмизируемы, сложны и неоднозначны при проверке и требуют, как правило, создания концептуальных моделей, альтернативных существующим.                 _;

Из апробированных на практике в настоящее время наиболь­шее применение находит трехмерная модель, включающая содер­жание, технику измерения и планируемый уровень познавательной деятельности, необходимый для выполнения заданий теста [25].

Первая составляющая модели — содержание — обеспечивает содержательную валидность инструментария, его соответствие учебным программам.

Под второй составляющей — техникой измерения — в основном понимается используемый тип заданий. Необходимость введения второй составляющей вызвана тем, что в настоящее время произош­ло значительное расширение используемых в практике массового тестирования форм. Помимо традиционных заданий с выбором ответа, применяются задания со свободным ответом как в краткой, так и в развернутой форме, экспериментальные задания и др. Разнообразие форм обусловило введение различных технологий, особенности которых должны быть отражены в концептуальной модели.

Третьей составляющей модели является познавательная дея­тельность, на оценку которой направлено измерение. В тра­диционном подходе, использующем таксономию Б.С. Блума, уровень мыслительной деятельности, необходимой ученику для ответа на предложенное задание, определялся экспертом. В но­вой концептуальной модели задания конструируются таким об­разом, что они предоставляют различные возможности для от­вета и уровни познавательной деятельности планируются в концептуальной модели теста.

Детальная разработка категорий познавательной деятельности, требований к уровню ее развития, к проявлению различных уров­ней сформированности интеллектуальных умений осуществляется в настоящее время в различных странах мира. СОЛО-таксономия (SOLO — Structure of the Observed Learning Outcomes), предложен­ная в 1982 г. (Biggs and Collis), — один из примеров разработки со­временной модели структуры познавательной деятельности. На се­годняшний день СОЛО-таксономия прочно вошла в практику деятельности многих тестовых центров. Она достаточно успешно применяется в международных исследованиях качества образования в различных странах мира, в частности для оценки достижений уча­щихся по математике и естествознанию (Collis (1987), Collis and Romberg and Jurdak(1986), ChikandWatsonandCollis(1988), Marshall and others (1991) и др.). СОЛО-таксономия включает отдельные ас­пекты содержательно-деятельностной модели и этим может быть сравнима с таксономией Блума. Помимо этого, в ней есть элементы теории Пиаже об этапах развития познавательной деятельности. СОЛО-таксономия имеет иерархическую структуру, может быть ис­пользована как для разработки инструментария, так и при интер­претации результатов тестовых измерений.

Современная модель предлагает качественное описание ответов учащихся. Это означает, что уже на этапе разработки инструмента­рия должна быть четко очерчена познавательная деятельность, ле­жащая в основе выполнения каждого задания теста. Тогда на одном конце шкалы познавательной деятельности будут представлены за­дания на воспроизведение фактов и простейших алгоритмов, вклю­чающих только один шаг деятельности, — словом, задания, позво­ляющие учащимся продемонстрировать умения решать простейшие задачи, используя для этого рутинные процедуры или одноуровне­вую познавательную деятельность; на другом конце шкалы — зада­ния, предлагающие учащимся продемонстрировать большое разно­образие интеллектуальных и практических умений.

В ряде появившихся в нашей стране работ таксономия Б.С. Блу-ма также неоднократно подвергалась критике, в частности, из-за того, что в ней произошло методологически недопустимое смеше­ние конкретных результатов обучения (знания, понимание и т.д.) с операциями, представляющими необходимое условие их дости­жения (анализ, синтез, оценка). В этой связи в пособии предлага­ется иная классификация целей. В ее основу положен уровневый системный подход описания достижений учащихся (И.Я. Лернер, В.П. Беспалько и др.), который позволяет сгруппировать результа­ты обучения в зависимости от уровней учебной деятельности.

Первый уровень связан с непосредственным воспроизведени­ем по памяти содержания изученного материала и его узнаванием.

Второй уровень предполагает понимание и применение знаний в знакомой ситуации по образцу, выполнение действий с четко обо­значенными правилами.

Третий уровень включает применение знаний в измененной или незнакомой ситуации.

Таким образом, предлагаемый подход к классификации осно­ван на выделении уровней усвоения знаний и операций, со­путствующих их проявлению (табл. 3.1).

ОПЕРАЦИОНАЛИЗАЦИЯ ПЛАНИРУЕМЫХ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ

После постановки целей в общем виде переходят к операциона-лизации планируемых результатов обучения. Процесс операциона-лизации строится на описании учебных целей в виде результатов оп­ределенной учебной деятельности так, чтобы о степени достижения цели можно было судить вполне однозначно. Идея подобного пере­хода не всегда встречается отечественными исследователями поло­жительно. По поводу перехода от целей обучения, ориентированных на качественные изменения во внутренних характеристиках уча­щихся, к внешним проявлениям в виде результатов учебной деятель­ности написано немало критических работ, например [26, 35].

Таблица 3.1. Классификация целей обучения

 

Уровень усвоения учебного материала	Требования к достижениям учащихся (уровню подготов­ки учащихся) в обобщенных терминах	Формулировки требований в терминах внеш­ней деятельности
1. Воспро­изведение знаний	Знать терминологию, специфические факты даты, события, имена людей и т.д.), категории, критерии, методы, принципы, законы, тео­рии и т.д.	Дать определение, называть, формули­ровать, описывать, установить соответ­ствие (между термином и определени­ем), показывать (находить), распозна­вать (находить), пересказывать, пере­числять (особенности), выбирать и т.д.
2. Пони­мание и примене­ние зна­ний в зна­комой ситуации	Понимать факты, зако­ны, принципы, крите­рии, теории; понимать прочитанный текст. Применять знания для объяснения, сравнения, для решения качествен­ных и количественных задач; правильно ис­пользовать методы, алго­ритмы, процедуры; стро­ить графики, диаграм­мы, таблицы и др.	Объяснять, соотносить, характеризо­вать (приводить характеристики), сравнивать, устанавливать (различие, зависимость, причины), выделять су­щественные признаки, рассчитывать (определить по формулам или алго­ритму), решить, составить что-то по готовой схеме, выполнить в соответст­вии с правилами, продемонстрировать, измерить, продолжить/закончить (предложение), вставить пропущенные слова (буквы) и т.д.
3. Приме­нение знаний в изменен­ной или незна­комой ситуации	Интегрировать знания из разных разделов для решения различных про­блем, анализировать, обобщать, оценивать, конструировать, плани­ровать деятельность, эксперимент	Составить устный или письменный ответ на проблемный вопрос, написать сочинение, проводить исследование, формулировать гипотезу (выводы), обосновать свою точку зрения или точ­ку зрения автора, предсказывать по­следствия, отличать факты от мнений (суждений), факты от гипотез, выводы от положений, анализировать инфор­мацию, находить ошибку, высказывать суждение, свое мнение, суждения о соответствии выводов и фактов, давать отзыв или рецензию, высказывать суж­дение о значении (роли) идей, о точно­сти (измерений), высказывать сужде­ние о качестве (точности, эффективно­сти, экономичности) проделанной ра­боты, о выбранном способе решения или используемых методах, строить модель (изменять модель), реконст­руировать, составить план эксперимен­та, рассказа, решения, изменить план и т.д.

 

Представляется, что ситуация с переходом далеко не столь опас­на, как это любят утверждать представители критического направ­ления. Скорее наоборот, ориентация на внешние стороны деятель­ности учащихся несет в себе ряд положительных моментов. В частности, неизмеримо повышается технологичность описания целей, в связи с чем появляется возможность корректного перехо­да к диагностике степени их достижения.

Повышению конкретизации описания результатов учебной де­ятельности, по мнению Кларина, способствует использование ряда глаголов, непосредственно характеризующих действия ученика [12]. В приведенном им примере из работы [43] цель «изучить ис­пользование символических обозначений на погодной карте» раз­ворачивается в виде совокупности учебных результатов, характе­ризующих деятельность ученика, который должен уметь:

• воспроизводить по памяти символы, употребляемые на карте погоды;

• опознавать символы на карте;

• читать карту, используя символы;

• составлять карту, пользуясь символами;

• уметь по заданной карте дать прогноз погоды.

Несмотря на расхожее среди отечественных теоретиков мнение о возможности операционализации только результатов низкого познавательного уровня, процессу операционализации, несомнен­но, подлежат и довольно сложные цели более высокого уровня. Для этого нужны определенные навыки тех, кто берется за создание тестов. В приобретении подобных навыков разработчикам тестов может помочь ориентировочный перечень глаголов, который при­водит Кларин для конкретизации учебных целей. В случае необхо­димости конкретизации общих целей он рекомендует использовать глаголы:

анализировать, вычислять, высказывать, демонстрировать, знать, интерпретировать, использовать, оценивать, понимать, пре­образовывать, применять, создавать...

для конкретизации целей творческого типа —

варьировать, видоизменять, модифицировать, перегруппировать, перестроить, предсказать, поставить вопрос, синтезировать, сис­тематизировать...

для обозначения целей в области развития устной и письмен­ной речи — выделить, выразить в словесной форме, записать, обозначить, подчеркнуть (не в буквальном смысле), продекламировать, произнес­ ти, прочитать, разделить на составные части, рассказать...

Основные категории конкретизированных учебных целей, раз­работанные Клариным в несколько измененном виде, удобном для задач измерения, приводятся в табл. 3.2.

Таблица 3.2. Конкретизированные цели обучения

 

Обобщенные учебные цели, планируемые преподавателем	Примеры конкретизированных учебных целей, достигнутых учеником
Знание на уровне запо­минания и воспроизве­дения	Знает смысл употребляемых терминов, основные понятия и определения, формулы, законы, принципы
Знания на уровне по­нимания	Понимает и интерпретирует термины, интерпретирует понятия и определения, преобразует словесный материал в математические выражения, интерпретирует словесный материал на схемах и графиках
Умения по применению знаний в известной си­туации	Умеет применять термины, понятия и определения в знакомой ситуации по образцу, а также формулы, законы и принципы в знакомой ситуации
Умения по применению знаний в незнакомой ситуации	Использует законы и принципы в новых ситуациях, осуществляет перенос известных методов на незнакомые ситуации
Анализ	Видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач, выделяет скрытые предположения, проводит различия между фактами и следствиями

Очередной этап операционализации связан с переходом от пла­нируемых результатов обучения к тому, что можно отобразить в средствах педагогического измерения, например в тесте. На этом этапе операционализация позволяет структурировать, расчленять, а иногда, наоборот, укрупнять, уточнять и детализировать содер­жание дисциплины для его отображения в содержании теста. Имен­но этот этап обеспечивает переход от теоретического уровня ана­лиза целей обучения к эмпирическому и позволяет концептуально правильно подойти к выделению эмпирических индикаторов — заданий теста.

Последний этап операционализации сопряжен с задачами пла­нирования содержания теста. В процессе планирования автору теста приходится думать о том, что далеко не весь набор целей обуче­ния по разным причинам можно отобразить в содержании теста. Конечно, чем глубже и полнее отображение, тем выше содержа­тельная валидность теста, тем больше оснований доверять тесто­вым баллам учащихся. Однако этот вывод носит исключительно теоретический характер. На практике же приходится думать не только о требованиях тестовой технологии, но и о реальных воз­можностях школьников определенного возраста, которые должны выполнять тест без излишнего напряжения и усталости. В этой свя­зи набор целей необходимо структурировать, чтобы в тест попали самые важные цели учебного процесса.

Выделение целей различного уровня иерархии позволяет уточ­нить определенные предметные области, разделы, темы, содержа­ние которых необходимо отразить в тесте. Отсюда остается один шаг до оценки степени реализации целей, для чего знание пред­метных областей выражается правилами измерения с перечисле­нием элементов содержания в совокупности с желаемыми, плани­руемыми при обучении уровнями владения этими элементами. Таким путем общие цели обучения обретают свою конкретизацию и возникает прагматическое определение знания учебной дисцип­лины: когда испытуемый правильно выполняет на определенном уровне усвоения такие-то задания таких-то разделов теста.

Планирование содержания теста

После определения целей тестирования и их конкретизации необходимо разработать план и спецификацию теста. В соответ­ствии с поставленными целями каждое задание теста предназначе­но для проверки у испытуемых уровня владения определенными знаниями, умениями или навыками.

При разработке плана делается примерная раскладка про­центного соотношения содержания разделов и определяется необ­ходимое число заданий по каждому разделу дисциплины исходя из важности раздела и числа часов, отведенных на его изучение в про­грамме.

Раскладку начинают с подсчета планируемого исходного числа заданий в тесте, которое затем в процессе работы над тестом будет неоднократно меняться в сторону увеличения или уменьшения. Обычно предельное число не превышает 60—80 заданий, посколь­ку время тестирования выбирают в пределах 1,5—2 ч, а на выпол­нение одного задания отводится в среднем не более 2 мин. Пример предварительной раскладки заданий при составлении плана теста для оценки знаний, умений школьников по одному из разделов алгебры показан в табл. 3.3.

Т аблица 3.3. План теста по разделу «Алгебраические уравнения»

 

 

 

 

 

 

 

 

 

 

 

 

 

№ п/п	Контролируемое содержание		Число заданий	Номера заданий
1	Определение уравнения		1	1
2	Эквивалентность уравнений		3	4,5,31
3	Виды уравнений		1	2
4	Линейные уравнения	решение	6	11,15-19
		исследование	1	7
5	Решение квадратных уравнений	неприведенных	2	12,26
		приведенных	2	24,25
		неполных	4	20-23
6	Исследование квадратных уравнений		1	8
7	Теорема Виета		.2	13,14
8	Биквадратные уравнения	решение	3	28,30
		исследование	1	9
9	Методы решения уравнений	подстановка	1	3
		разложение на множители	1	•27
10	Уравнения второй степени	решение	1	6
		исследование	1	10
11	Задачи на составление алгебраических уравнений		1	32

Конечно, план теста начинает обретать некоторую определен­ность уже на этапе целеполагания, когда преподаватель примерно представляет, сколько и какие задания по различным темам он хо­тел бы включить в тест. Однако такие примерные оценки не про­сто нежелательны, а скорее недопустимы. Тест неизбежно окажется перегруженном второстепенным материалом, а главные вопро­сы могут быть упущены либо для них просто не останется места. Отсюда легко понять важность разработки такого плана, который оптимально отображает содержание учебной дисциплины в содер­жании теста.

После выполнения первого шага по планированию содержания разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение зада­ний в тесте. Иногда спецификацию делают в развернутой форме, содержащей указания на тип заданий, который будет использовать­ся для оценки достижений учащихся в соответствии с намеченны­ми целями создания теста, время выполнения теста, число заданий, особенности проведения тестирования, которые могут повлиять на характеристики теста и т.д.

Спецификация в развернутой форме включает¹:

1) цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер применения теста;

2) перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста;

3) описание общей структуры теста, включающее перечень субтестов (если они есть) с указанием подходов к их разработке;

4)количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте;

5) число параллельных вариантов теста либо ссылку на кластер, содержащую число и номера заданий кластера;

6) вес каждого задания, рекомендуемый автором теста;

7) рекомендуемое время выполнения теста, в том числе на каждый субтест, среднее время выполнения одного задания с учетом специфики формы;

8) соотношение заданий по различным разделам и видам учебной деятельности школьников;

9) рекомендации по контингенту учащихся для апробации теста;

 

10)охват требований стандартов (для аттестационных тестов);

11)перечень требований, не вошедших в тест (для аттестационных тестов);

¹ Развернутая форма спецификации разработана коллективом тестологов под руководством Г.С. Ковалевой и применялась в 1998-1999 гг. для создания аттес­тационных тестов Российского центра тестирования выпускников общеобразо­вательных учреждений.

 

12) рекомендуемую автором стратегию расположения заданий в тесте.

Один из наиболее распространенных подходов к созданию крат­кой спецификации основан на сопряжении системы знаний и уме­ний с процентным соотношением заданий по различным разделам или по различным содержательным линиям проверяемой дисцип­лины в тесте (пункт 8 развернутой спецификации). Пример реали­зации подобного сопряжения приведен в табл. 3.4. Предлагаемый в ней перечень знаний и умении носит достаточно общий харак­тер. В него включены:

А — знание понятий, определений, терминов;

В — знание законов и формул;

С — умение применять законы и формулы для решения задач;

D — умение интерпретировать результаты на графиках и схе­мах;

Е — умение проводить оценочные суждения.

Таблица 3.4. Гипотетическая спецификация теста

 

№ п/п

Планируемые к проверке знания и умения