И критериально-ориентированного полхолов

С первого взгляда нормативно - и критериально-ориентирован­ный подходы не имеют особых различий, по крайней мере, тех, которые наблюдаются явно, путем обычного осмотра заданий тес­тов. К другим, прямо противоположным, выводам приводит углуб­ленный анализ существенных характеристик тестов, разработан­ных в рамках различных подходов. Результаты анализа указывают наряд особенностей, способствующих дифференциации подходов. В частности, нормативно - и критериально-ориентированные тес­ты отличаются по целям создания, методике отбора содержания, характеру распределения эмпирических результатов тестирования и методам их обработки, критериям качества тестов и тестовых за­даний, а, главное, по интерпретации результатов испытуемых, выполнивших тест. В целом можно лишь сказать, что отличий мно­го, и, по мнению специалистов, они существенны. Однако подроб­ного анализа отличий в пособии проводиться не будет из-за риска отвлечься от основных целей обсуждения.

Правда, особого единства мнений здесь не существует. Некото­рые исследователи считают, что четкого разграничения между кри­териально - и нормативно-ориентированными подходами практи­чески нет. В принципе, результаты любого тестирования можно интерпретировать в рамках того или иного подхода, так как они нис­колько не противоречат, а только взаимно дополняют друг друга.

Интерпретация результатов теста по отношению к опреде­ленному содержанию учебной дисциплины вовсе не снимает воз­можности дифференциации индивидуальных различий учеников. В свою очередь сам выбор объема содержания, подлежащего про­верке, предполагает наличие сведений, связанных с нормативной интерпретацией учебных достижений школьников [33]. Поэтому некоторые тесты разрабатываются с расчетом на то, что результаты выполнения заданий можно соотносить как с нормами, так и с со­держанием теста.

Из-за существующих различий разработка тестов, допускающих обе интерпретации результатов выполнения, очень трудна, хотя идея совмещения обоих подходов к интерпретации результатов те­стирования чрезвычайно привлекательна. Действительно, допол­няя друг друга, оба подхода позволяют создать наиболее информа­тивный тест, в полной мере отвечающий обеим задачам итогового контроля знаний.

В заключение хотелось бы отметить, что критериально-ори­ентированные тесты имеют довольно ограниченную область при­менения. В основном они используются в тех случаях, когда мож­но четко определить знания, умения, навыки по конкретной области содержания и задать их верхний и нижний пределы. На­пример, критериально-ориентированные тесты просто необходи­мы для оценки уровня учебных достижений учащихся при сравне­нии его с требованиями, заложенными в государственных образовательных стандартах по отдельным дисциплинам или по группе учебныхдисциплин.

В более сложных и менее структурированных областях знаний, связанных с решением задач творческого уровня, определить вер­хний предел зачастую довольно сложно. В этом случае полное вла­дение содержанием невозможно, да оно и не нужно. Иногда при выполнении заданий школьник руководствуется знаниями, а иног­да все решают смекалка и догадка. Поэтому при создании тестов, предназначенных для контроля за выполнением задач творческого уровня, предпочтение следует отдавать нормативно-ориентирован­ному подходу либо постараться совместить оба подхода в одном тесте [31].

классификация видов педагогических тестов

Сообразно рассмотренным задачам и функциям педагогических тестов выстраивается общий подход к классификации их видов (рис. 2.4).

Анализ классификационной таблицы позволяет выделить в ка­честве основополагающих четыре вида педагогических тестов. Сре­ди них некоторые имеют подвиды и могут отличаться подходом к их разработке. Несомненно, все они достаточно важны для повы­шения качества подготовки школьников и требуют самого серьез­ного рассмотрения в специальной методической литературе для ознакомления с ними преподавателей и широкого внедрения в учебный процесс.

Конечно, предлагаемое пособие не может вмес­тить все то, что хотелось бы написать по этому поводу. Для этого необходимо, по меньшей мере, несколько книг.

Поставленные цели при подготовке данной книги намного скромнее, и потому весь материал пособия сосредоточен вокруг рассмотрения методики разработки и применения, итоговых нор­мативно-ориентированных тестов. Именно для этого случая в сле­дующем разделе предлагается сравнительно небольшой понятий­ный аппарат.

ОСНОВНЫЕ ОПРЕАЕЛЕНИЯ

Необходимость создания четкого научного фундамента для раз­работки тестов не всегда понятна преподавателям-практикам. От­части это объясняется кажущейся простотой вопросов разработки; нередко любой набор заданий, стандартизованных согласно тре­бованиям тестовой формы, в обыденном представлении ассоциируется с тестом. Обыденное сознание исходит при этом из анало­гии с привычными короткими контрольными заданиями, а вовсе не из определения научно обоснованного теста. Такие псевдотес­ты сплошь и рядом публикуются в специальных сборниках, а иногда применяются даже в отдельных аттестационных центрах. При этом зачастую без всяких оснований, априорно авторы подобных псев­дотестов претендуют на соответствие их продукции научно обосно­ванным критериям качества, на точность и объективность обеспе­чиваемых их тестами оценок учеников. Однако эти априорные заявления обычно не подкрепляются практикой. На деле несоот­ветствие псевдотестов научно обоснованным критериям качества сплошь и рядом приводит к искажению реальной картины подго­товки выборки, к неправильным выводам относительно эффектив­ности работы отдельных преподавателей или группы педагогов, к дискредитации возможностей тестов.

В целом псевдотесты наносят большой ущерб внедрению идей теории педагогических измерений в практику контроля, порождая пессимистическое отношение многих педагогов к возможностям тестовых методов. Особенно недоверчиво к «тестам» относятся опытные педагоги. Это далеко не случайно, так как именно они в первую очередь замечают нередкие случаи расхождения некоррек­тных тестовых баллов и их собственных оценок, которые благода­ря большому опыту носят вполне объективный характер. По сути, здесь виноваты не тесты, а отсутствие таковых, однако этого об­стоятельства часто не замечают и отождествляют недостатки псев­дотестов с недостатками настоящих тестов.

Изменению этой ситуации в немалой степени может способ­ствовать разработка соответствующего понятийного аппарата те­ории педагогических измерений. Если удастся создать определе­ние, содержащее существенные признаки теста, выполняющее не просто ориентирующую функцию, а служащее целям демаркации тестов от псевдотестов, то проблема будет решена. Появится дей­ственный инструмент для дифференциации профессионально разработанных тестов от остальных средств контроля. Таким об­разом, необходимость корректного понятийного аппарата дикту­ется самой практикой. Только так можно найти в сфере практики действенное средство защиты от псевдотестов.

 

Проблемы трудности и подходы

Вопрос необходимости создания понятийного аппарата для прогресса науки об измерениях, в общем, понятен и в отличие от случая практики не нуждается в обосновании. Важнее другое — как создавать и каким путем? Например, можно попытаться ввести общее определение педагогического теста, а затем в процессе уг­лубленного анализа развернуть это общее определение в ряд дета­лизирующих, более мелких определений, нацеленных на отдель­ные существенные признаки теста. Многочисленные примеры подобного подхода легко найти в учебных пособиях, и не только по тестовой проблематике [2].

Но существует и другой, противоположный путь, не получив­ший должного отражения в работах исследователей в области пе­дагогических измерений, несмотря на то что он в гораздо большей степени отвечает требованиям логики научного подхода. В этом случае адекватное построение понятийного аппарата достигается созданием системы вложенных определений, соответствующих переходу с более низкого уровня исследований на более высокий, обобщенный. Таким образом, процесс формирования определений идет путем обобщения, а не дробления, иначе говоря, не сверху вниз, а снизу вверх, от основных исходных определений и перво-понятий к производным, обобщенным.

К выбору второго подхода в качестве ведущего авторов данного пособия подтолкнуло еще одно соображение, связанное с попыт­кой уйти от чрезмерной детализации, характерной для многих оп­ределений в теории педагогических измерений. Сказанное, конеч­но, не следует понимать как призыв к полному отказу от множества признаков, необходимых для разъяснения сущности определений. Просто при создании понятийного аппарата хотелось бы не забы­вать о том, что громоздкость определений приводит к снижению их функциональности, а краткость, наоборот, способствует лучше­му пониманию, особенно теми, кто действует в сфере практики создания тестов.

Стремление к краткости осложняется спецификой ряда опре­делений теории педагогических измерений, которые громоздки из­начально, по своей природе. Ситуация далеко не случайная, она пре­допределена сложностью рассматриваемых объектов. Общеизвестно, что чем сложнее объект, тем труднее описать его с помощью ограни­ченного числа признаков и характеристик (ситуация далеко не еди­ничная, она нередко возникает в теоретической деятельности по соз­данию понятийного аппарата ряда других наук). В научном обиходе подобные сложные определения выделяют в отдельный класс и ис­пользуют при их создании специальный прием, заключающийся во введении обобщающих слов для обозначения группы признаков или характеристик. Соответственно возникает необходимость в дополнительных разъяснениях по расшифровке обобщающих слов, кото­рые обычно приводятся после формулировки самого определяемого понятия. Именно по этому распространенному пути пришлось пой­ти в данном пособии при введении совокупности взаимосвязанных определений — основных, исходных и производных. По мнению авторов, предлагаемые определения отличаются от других функци­ональностью, корректностью, краткостью без потери существенно­сти выделяемых признаков понятий.

 

предтестовое задание

Каждое из определений приобретает особую важность на раз­личных этапах разработки теста. Исходным является определение предтестового задания, содержащее ссылки на определенные спе­цифические требования, которые выступают в качестве критериев демаркации предтестового задания от традиционных контрольных заданий.

Определение 1. Предтестовое задание — это единица контрольно­ го материала, содержание, логическая структура и форма представ­ ления которого удовлетворяют ряду специфических требований и обес­ печивают однозначность оценок результатов испытуемых в выбранной шкале.

Лучшему пониманию определения способствует краткое ис­толкование его основных положений. При формировании требо­ваний к содержанию всегда возникает вопрос о цели создания тес­та и выборе подхода к интерпретации результатов его выполнения. В рамках выбранного подхода специальными методами проводит­ся анализ содержания учебного курса, позволяющий выделить со­держание предтестовых задании. Они интегративно охватывают систему знаний по контролируемому курсу и включают опорные структурные элементы курса.

Именно отсюда проистекает первое преимущество предтесто­вых заданий, содержание которых отбирается преподавателем не интуитивно, как при традиционном контроле, а на основе специ­ального анализа, выдвигающего ряд научно обоснованных требо­ваний в процессе отбора. (Эти требования и методика отбора еди­ниц контролируемого материала рассматриваются в гл. 3.) В целом содержание предтестового задания не должно быть тривиальным. Правильный ответ на него должен предполагать знание существен­ных элементов содержания дисциплины. Последнее требование полностью исключает возможность правильных ответов, основан­ных на простых логических рассуждениях или здравом смысле [43].

Требования, предъявляемые к предтестовым заданиям, можно условно разделить на специальные, отражающие специфику фор­мы заданий, и общие, инвариантные относительно выбранной фор­мы [53]. К числу последних принадлежат следующие:

• наличие порядкового номера задания, установленного согласно априорной оценке трудности задания и выбранной разработчиком стратегии предъявления заданий теста;

• наличие стандартной инструкции, адекватной форме предтестового задания;

• расположение элементов задания и инструкции на определенных местах, фиксированных в рамках выбранной формы;

• наличие эталона правильного ответа к заданию и правила для оценки результатов его выполнения.

В отличие от общих специальные требования довольно много­численны (они представлены в гл. 4, посвященной требованиям тестовой формы).

Преимущества предтестовых заданий обеспечиваются их чет­кой логической структурой. Предтестовое задание формулируется так, чтобы в его структуре была заложена возможность прямого ответа. Для этого в нем заранее определяется то, что однозначно считается правильным ответом с заранее заданной степенью его полноты. В отличие от предтестовых заданий традиционный контрольный материал порождает многословные ответы, разные по содержанию, по структуре и по степени правильности. Это об­стоятельство значительно затрудняет оценку результатов испыту­емых в процессе традиционного контроля, в то время как хорошо разработанные предтестовые задания обеспечивают простоту оцен­ки ответа ученика благодаря наличию готового эталона для срав­нения. Таким образом, для предтестовых заданий, как правило, исключаются правильные и неправильные в разных отношениях и в разной степени ответы.

Реализации семантических преимуществ предтестовых зада­ний, несомненно, в ряде случаев способствует формулировка ус­ловия в виде утверждения, а не вопроса [23]. Переход к форме выс­казывания позволяет минимумом средств добиться максимальной ясности смысла, поскольку удачно сформулированные в форме утверждения предтестовые задания с выборочными ответами по сравнению с вопросами гораздо более малословны и не порожда­ют разных по содержанию и по структуре правильных ответов. Ко­нечно, абсолютизировать возможности утвердительной формы нет никаких оснований. Встречаются, хотя и довольно редко, задания, содержание которых гораздо короче и понятнее можно выразить именно в виде вопроса. Тем более нет оснований для включения подобных рекомендаций в состав определений, как это сделано в некоторых пособиях по тестовой проблематике [2], поскольку ло­гическая форма утверждения не является существенным призна­ком любого предтестового задания и не отражает необходимую идею инвариантности определений относительно тестовой формы.

тестовое задание

Качеству предтестовых заданий и степени их соответствия тре­бованиям формы можно дать по-своему полезные априорные оцен­ки, которые явно недостаточны с точки зрения общенаучного под­хода, предполагающего эмпирическую проверку априорных суждений. Отсюда проистекает обязательность эмпирической про­верки заданий, по результатам которой определенная часть предтестовых заданий превращается в тестовые, а оставшаяся часть уда­ляется из теста.

Определение 2. Предтестовое задание называется тестовым, если апостериорные количественные оценки его характеристик удовлет­воряют определенным критериям, нацеленным на проверку качества содержания, формы и на выявление системообразующих свойств за­ даний теста.

Как видно из определения 2, далеко не каждое предтестовое задание может быть тестовым. Для этого требуются многочис­ленные проверки и улучшения иногда содержания, иногда формы, а иногда и того и другого. Таким образом, предтестовое задание превращается в тестовое после доведения его характеристик до уровня, соответствующего определенным научно обоснованным критериям качества.

Исследование системообразующих характеристик тестового задания проводится методами корреляционного, факторного и ла­тентно-структурного анализа. В частности, методами факторного анализа можно оценить некоторые аспекты качества содержания заданий теста. Однако что касается интерпретации результатов ана­лиза, то здесь нет и не может быть готовых правил и рекоменда­ций, пригодных на все случаи разработки тестов, поскольку интер­претация оценок — это всегда достаточно сложная аналитическая работа, результаты которой зависят от множества условий, в том числе и от вида создаваемого теста.

Одно из важнейших требований к характеристикам тестового задания связано с оценкой величины корреляции задания с крите­рием. Для итоговых тестов, разрабатываемых в рамках нормативно-ориентированного подхода, в качестве критерия обычно выби­рается сумма индивидуальных баллов испытуемых по заданиям те­ста. Величина коэффициента корреляции является показателем валидности задания теста. (Значения коэффициента корреляции, позволяющие отнести тестовое задание к категории валидных, а также формулы для подсчета коэффициента приводятся в гл. 5.) В целом же можно считать, что, чем выше корреляция, тем более ва­лидным является задание, тем больше оснований для отнесения его к категории тестовых и последующего включения в тест. Однако это утверждение относится не ко всем, а только к отражающим раз­личное содержание заданиям теста [5,11,43].

Конечно, нет никакого смысла включать в итоговый тест за­дания, имеющие одинаковое или сходное содержание и под­меняющие друг друга в процессе проверки. Учитывая это об­стоятельство, можно сформулировать еще одно требование. Оно связано с выявлением степени отличия содержания данного зада­ния от содержания остальных и нацелено на повышение специфич­ности каждого задания теста. При этом можно руководствоваться простым правилом: чем меньше задание коррелирует с другими, тем выше специфичность его содержания, тем больше оно отлича­ется от других заданий теста.

Определенные ограничения на подбор тестовых заданий накла­дывает требование аксиомы локальной независимости, согласно которой вероятность правильного выполнения каждого задания испытуемыми одного уровня подготовки не должна зависеть от ве­роятности правильного выполнения остальных заданий теста [46]. Конечно, в чистом виде требование аксиомы не может быть вы­полнено, однако оно, несомненно, исключает цепочную логику, когда ответ на предыдущее задание входит в число данных к после­дующему заданию теста.

Есть определенные требования к оценкам параметров тестового задания. В первую очередь, это утверждение касается параметра трудности и параметра дифференцирующей способности, оценки которых должны обладать свойством инвариантности относитель­но уровня подготовленности тестируемой группы. Если судить по приведенному требованию, то для отнесения задания к категории тестовых необходима тщательная эмпирическая проверка, сопро­вождаемая специальной обработкой и развернутым анализом ре­зультатов обработки эмпирических данных выполнения теста.

Еще одно требование связано с анализом информационных и характеристических кривых тестовых заданий, построение которых также основано на эмпирических результатах выполнения теста и предполагает использование математического аппарата теории ла­тентно-структурного анализа. Согласно требованию каждое тесто­вое задание должно обладать известной характеристической кривой с приемлемой формой и подходящим расположением, обеспечива­ющим в совокупности с другими кривыми планируемый при созда­нии геометрический образ теста [31,46,47].

Помимо характеристической, каждому тестовому заданию мож­но поставить в соответствие информационную кривую, которая дает представление о точности оценок испытуемых различного уровня подготовки в том гипотетическом случае, когда измерение осуществлялось с помощью только одного данного задания теста. (Подробная методика и алгоритмы построения кривых приводят­ся в гл. 5.)

Из перечисленных выше тестологических требований вытека­ет обязательность многократных эмпирических проверок и пере­работок предтестовых заданий до тех пор, пока они не обретут ста­тус тестовых. Каждая проверка должна сопровождаться обработкой эмпирических результатов и их интерпретацией путем соотнесе­ния с научно обоснованными требованиями к характеристикам тестовых заданий. Выполнение всех требований и общая принад­лежность тестовых заданий к одной и той же системе дают основа­ние для их объединения в тест.

Педагогический тест

В отличие от первых двух определений, довольно инвариант­ных относительно целей создания тестов, определение педа­гогического теста ориентировано на конкретные цели и подходы. В частности, для случая оценки итоговых достижений по одной из учебных дисциплин в рамках нормативно-ориентированного под­хода определение теста может иметь следующий вид.

Определение 3. Итоговый нормативно-ориентированный тест — это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обеспечивающих информативность оценок уровня и качества подготовки испытуемых.

Предложенное определение отличается от многих других, име­ющихся в отечественной и зарубежной литературе. В основном оно предназначено для гомогенного теста, обладающего дисциплинар­ной общностью заданий, однако с определенными оговорками и дополнениями может быть использовано и для гетерогенного теста, охватывающего систему знаний по нескольким учебным дисципли­нам. В последнем случае необходимо изменить требования к характеристикам тестовых заданий. Другой будет и стратегия их упо­рядочения в тесте. В отличие от гомогенного теста, где задания чаще всего располагаются по нарастанию трудности, в гетерогенных тес­тах сохранение принципа нарастания трудности выражается, как правило, в так называемой спиральной или ступенчатой форме.

Гетерогенные тесты бывают двух заметно отличающихся друг от друга видов: полидисциплинарные и междисциплинарные [33]. Полидисциплинарные тесты просты в концептуальном отношении и состоят из гомогенных субтестов по отдельным дисциплинам. Сложности, которые здесь возникают, обычно носят исключитель­но технический характер и связаны с объединением результатов учеников по субтестам для подсчета итоговых баллов по всему полидисциплинарному тесту.

Междисциплинарные тесты гораздо сложнее в концептуальном отношении, но зачастую кажутся проще полидисциплинарных в техническом отношении, особенно на начальном этапе работ по созданию теста. Однако эта кажущаяся легкость оборачивается зна­чительными трудностями, которые нередко становятся непреодо­лимыми при интерпретации результатов выполнения теста, что приводит к профанации самой идеи междисциплинарной оценки. Сложность интерпретации здесь видится в том, что оцениваемые знания и умения относятся к разным учебным дисциплинам и задействуют их в разной степени.

При правильном подходе междисциплинарность должна найти свое отражение в содержании всех заданий, для выполнения которых потребуется применение некоторых обобщенных, интегративных знаний и умений. Включение в тест междисциплинарных заданий заставляет искать ответ на вопрос: в какой степени разработанные за­дания пригодны для оценки измеряемых интегративных свойств и насколько они надежны? Обычно ответ на этот вопрос требует доволь­но серьезных усилий со стороны разработчика теста.

В целом разработка гетерогенных тестов требует обращения к специальным достаточно сложным вопросам репрезентации струк­туры междисциплинарных знаний математико-статистическими методами многомерного шкалирования и в данном пособии не рас­сматривается. Обращение к многомерным статистическим мето­дам вынудило бы авторов книги значительно расширить использу­емый математический аппарат и, несомненно, сузило бы круг заинтересованных читателей. Поэтому вопросы, связанные с гете­рогенными тестами, осознанно исключены из рассмотрения.

Возвращаясь к определению гомогенного нормативно-ориен­тированного теста, необходимо подчеркнуть главную идею — тест образует не любая система заданий, а только та, которая обеспечи­вает информативные оценки уровня и качества подготовки испы­туемых группы. Критерий информативности является ключевым в оценке качества теста, вернее, той грани качества, которая харак­теризует способность теста выполнять функцию средства измере­ния в рамках нормативно-ориентированного подхода для данной выборки учеников.

Оценка информативности носит апостериорный характер. Она построена на подсчете дифференцированной ошибки измерения уровня подготовки каждого испытуемого группы и выявлении диф­ференцирующего эффекта теста. Что касается ошибки измерения, то здесь намечается обратно пропорциональная зависимость, ко­торая не только описывается специальной математической форму­лой, но и хорошо согласуется с обыденным смыслом. Чем меньше ошибка измерения уровня подготовки каждого испытуемого груп­пы, тем больше информации о знаниях или умениях ученика мож­но получить с помощью данного теста. Если ошибка измерения, полученная при оценке подготовки испытуемого, велика, то тест не дает информации о реальном уровне его подготовки и, следова­тельно, цель измерений не достигнута.

Оценка дифференцирующего эффекта связана с анализом рас­пределения тестовых баллов испытуемых группы. Оценка может быть проведена достаточно простым путем визуального анализа гистограммы. Более сложный путь основан на оценке близости эмпирического распределения к нормальному закону с помощью одного из известных критериев нормальности распределения [36]. Если гипотеза о нормальности не подтверждается и тестовые бал­лы учеников слабо дифференцированы, то тест не состоялся, по­скольку не выполняются основные требования нормативно-ори­ентированного подхода.

Из этих утверждений следуют два важных вывода. Первый — нет и не может быть тестов информативных вообще, так как оцен­ка информативности зависит не только от характеристик тесто­вых заданий, но и от уровня подготовки тестируемой группы. Вто­рой — для оценки информативности заданий необходимы эмпирические исследования качества теста на репрезентативной выборке учеников. Таким образом, информативность следует рас­сматривать как меру пригодности теста для выполнения функций средства измерения и дифференциации оцениваемой выборки учеников.

В целом хотелось бы отметить, что в предлагаемом определе­нии выделяется наиболее важное преимущество теста, выгодно отличающее его от традиционных средств оценки знаний учащих­ся. Это преимущество связано с тем, что только тест является ка­чественным средством педагогического измерения, поскольку именно в отношении тестов утвердилась рефлексивная норма обя­зательной проверки их качества. Работа над повышением каче­ства теста консолидирует систему тестовых заданий — постепен­но нарастает внутренняя связь и целостность, интегративность системы, совершается переход от совокупности предтестовых за­даний к профессионально разработанному тесту.