8.1. Качество подготовки обучаемых как предмет
обсуждения
8.2.Уровни анализа информации о качестве подготовки обучаемых
8.3.Традиционные подходы к оценке учебных достижений
8.4.Современные подходы к оценке качества подготовки обучаемых
8.5.Международные исследования по оценке качества образования Библиографический список
ПРЕДИСЛОВИЕ
Настоящее учебное пособие предназначено для учителей школ, преподавателей высших и других профессиональных учебных заведений, заинтересованных в овладении современными методами тестирования и их использовании в учебном процессе для контроля и оценки уровня подготовки обучаемых.
Пособие посвящено методам конструирования и применения только одного, но зато самого распространенного вида педагогических тестов, получивших название гомогенных, т.е. предназначенных для контроля знаний по одному предмету или дисциплине. В целом учебное пособие представляет собой своего рода введение в проблематику тестирования и, шире, в теорию и практику педагогических измерений.
Если о тестах в той или иной мере осведомлены все педагоги, то знания в области научных основ педагогических измерений распространены у нас недостаточно. Главная причина кроется в том, что эта сравнительно новая область педагогической науки, получившая признание только к середине XX века, весьма скептически оценивалась в советский период. Тем не менее российские ученые очень много сделали для развития теории и практики педагогических измерений, что позволило адаптировать применительно к отечественным реалиям методы и технологии, созданные в других социально-культурных условиях и иных традициях в области образования.
Чем же интересны для нас сегодня педагогические тесты и технологии тестирования?
Дело в том, что тесты представляют собой особую совокупность заданий, которые позволяют дать объективную, сопоставимую и даже количе ственную оценку качества подготовки обучаемого в заданной образователь ной области. В свою очередь, объективность и измеримость качества образования открывают широчайшие возможности для управления учебным процессом — от корректировки содержания образовательных стандартов и программ до совершенствования методов преподавания и повышения эффективности стимулирования самостоятельных занятий учащихся и студентов. Особенно важно, что использование методов тестирования позволяет еще в раннем возрасте выявить одаренных детей и подростков и организовать с ними индивидуальную учебную работу. Нельзя не упомянуть и о большом социальном значении тестирования как инструмента, гарантирующего повышение объективности конкурсного отбора поступающих в высшие и другие учебные заведения.
Разумеется, тестирование не заменяет и не отменяет традиционных форм педагогического контроля, основанных на непосредственном общении учителя с учеником и преподавателя со студентом. Такой контроль выполняет важные обучающие функции, он вооружает педагогов информацией об уровне знаний их питомцев, о пробелах в их подготовке и даже об эмоционально-психологическом состоянии класса или студенческой группы. Другое дело, что традиционные формы педагогического контроля носят во многом субъективный характер и не позволяют получить сопоставимые данные, столь необходимые для управления процессом образования в масштабах учебного заведения, района, области, края, страны. А задачи такого плана давно уже встали перед обществом и государством.
Развитию теории и практики педагогических измерений в известной мере препятствует фигура умолчания, утвердившаяся в нашей педагогической мысли. Замалчивание достижений в области современных методов и средств педагогического контроля характерно для большинства трудов и учебных изданий в области общей педагогики и методики обучения. Хотелось бы надеяться, что настоящее учебное пособие будет способствовать преодолению этого во многом искусственно созданного пробела в нашей педагогической культуре.
Как и все технологии, основанные на достижениях науки, тестирование требует серьезной подготовки со стороны тех, кто намерен всерьез заняться созданием и использованием педагогических тестов. Прежде всего необходимо глубокое овладение строгими правилами и математическим аппаратом, применяемыми в области педагогических измерений. Никаких обходных путей тестирование не признает: неряшливо разработанные, не прошедшие апробации тесты способны давать лишь ошибочные результаты, поэтому их использование станет шагом назад, а не вперед.
В заключение хочу пожелать читателям успехов в освоении современной теории и практики педагогических измерений. Труд педагога сложен, но благодарен. И если каждый из нас привнесет в него больше знаний, больше строгих методов и, конечно, больше души и сердца, то дело обучения подрастающего поколения ощутимо выиграет. А это именно тот результат, к которому стремится автор настоящего пособия.
ВВЕДЕНИЕ
Эта книга написана для преподавателей общеобразовательных учреждений, для всех тех, кто в своей работе планирует создавать или применять педагогические тесты. Материал пособия, за исключением нескольких разделов, содержащих информацию углубленного характера, рассчитан на преподавателей, впервые приступающих к созданию педагогических тестов для оценки знаний учащихся по одной из дисциплин. В теории такие тесты получили название гомогенных в отличие от гетерогенных педагогических тестов, содержащих междисциплинарные задания и предназначенных для комплексной оценки знаний учеников.
Разработка качественных гомогенных тестов требует использования научных методов отбора содержания, теории педагогических измерений, современных математико-статистических методов, применяемых для проверки соответствия теста определенным научно обоснованным критериям качества. Эта целевая установка на перспективный научный подход накладывает соответствующий отпечаток на материал пособия. По ходу изложения материала возникает необходимость обращения к современному отечественному и зарубежному научному аппарату, к новым научным результатам. Наряду с классическими, в пособии обсуждаются современные методы создания тестов посредством применения математических моделей теории латентно-структурного анализа. В этой связи в пособии не всегда оказалось возможным дифференцировать уровень изложения в зависимости от уровня математической подготовки будущего разработчика тестов. Для облегчения восприятия материала в отдельных случаях устоявшаяся традиция целостного изложения сознательно нарушалась: часть необходимых формул выносилась в специальные приложения. С этой же целью максимально использовались таблицы, подробное описание вычислений, многочисленные примеры и графики.
Современное положение в сфере тестового контроля осложняется тем, что у подавляющего большинства преподавателей нет специальной подготовки по методике разработки и применения педагогических тестов, как нет и специальной науки, ответственной за развитие тестового педагогического контроля, аналогичной существующей за рубежом теории педагогических измерений. Та педагогика, которая утвердилась в нашей стране, довольно прохладно относится к этому крайне важному для повышения качества образования направлению. Широко распространено мнение, что теория педагогических измерений вообще не имеет собственного содержания — не существует материала, который можно было бы выделить как содержание науки об измерениях в педагогике. В учебниках по педагогике, как правило, разделы по тестовому контролю представлены крайне фрагментарно либо не представлены вообще.
Существующая на протяжении десятилетий ситуация в сфере теории не могла не сказаться на практике. Среди преподавателей-практиков бытует расхожее мнение, что главное — хорошо изложить материал, а хорошо контролировать вовсе необязательно, и уж тем более необязательно использовать для этого педагогические тесты. Отдельные случаи неприятия тестов могут быть связаны с незнанием возможностей тестовых методов, непониманием их сильных и слабых сторон.
Материал пособия в определенной степени призван восполнить наметившиеся пробелы в теории и помочь в сфере практики тем, кто решил сам разрабатывать педагогические тесты. В этой связи представленный материал довольно разнообразен. В нем освещаются теоретические вопросы обоснования метод и к разработки педагогических тестов, приводятся подробные сведения практического характера о процедурах их разработки, содержатся справочные и инструктивные материалы по применению тестов.
В один из разделов пособия включены основные сведения по педагогическому контролю, необходимые для целей изложения и ориентированные на современные тестовые средства. Благодаря нестандартной ориентации содержания раздела у читателей возникает возможность переосмыслить некоторые, ставшие давно привычными положения дидактики, вернее, той ее части, которая затрагивает вопросы контроля знаний учеников, лучше понять достоинства тестовых методов, а главное — принять определенные новшества и перестроить соответственно собственную работу.
В процессе изложения материала ситуации текущего и итогового контроля нередко разделяются, что вполне оправдано не только различиями в методике, целях и задачах, но и психологическими особенностями поведения учеников. В ситуации текущего контроля ученик нередко обращается за помощью к преподавателю, охотно идет на сотрудничество с педагогом, старается выполнить инструкции преподавателя как можно более точно, не имея сознательных намерений приукрасить или фальсифицировать свои результаты. При итоговом контроле главная цель обучаемого — хорошая оценка, и поэтому он старается выполнить все контрольные задания как можно лучше. При этом он вполне осознанно контролирует свое поведение и свои ответы, с тем чтобы выглядеть в максимально выигрышном свете даже тогда, когда это абсолютно не соответствует реальному уровню его подготовки.
Отмеченные различия накладывают определенный отпечаток на средства контроля, в частности и на педагогические тесты. Разрабатываемые для целей итогового контроля тесты должны в полной мере отвечать всему набору требований, выдвигаемых профессионалами. И это вполне понятно, так как в ситуации итогового контроля на первый план выходят точность оценок, их сопоставимость и объективность — словом, все то, что в немалой степени зависит от качества используемых для контроля тестов.
К тестам для текущего контроля предъявляются менее жесткие требования. В принципе, в этом случае любой набор заданий, закрывающий определенный раздел содержания и стандартизованный по форме, может быть назван тестом, правда, с одной оговоркой, поскольку и здесь есть свои проблемы. В ситуации текущего контроля неизмеримо возрастает потребность в сбалансированном подборе трудности заданий вследствие сознательной стратегии, ориентированной на реализацию развивающей функции контроля в условиях сотрудничества педагога и учеников. В этой связи в материал пособия включен специальный раздел, посвященный проблемам сотрудничества преподавателя и учеников в процессе текущего контроля, однако решение проблем их сотрудничества имеет нетрадиционный характер. Оно строится на сочетании отдельных достижений психологов отечественной школы и авторов современной зарубежной теории латентно-структурного анализа.
Кроме различных аспектов методики, нацеленной на разработку тестов, в пособии рассматриваются некоторые общие положения теории педагогических измерений, даются основные определения и понятия педагогической теории тестов, излагаются подходы к отбору содержания теста. Отдельный раздел посвящен вопросам формы тестовых заданий. В нем приводятся основные требования к формам, анализируются типичные ошибки разработчиков. Анализ сопровождается многочисленными примерами заданий с характерными недостатками. Задания, как удачные, так и неудачные, не придуманы авторами книги. Они накоплены в результате многолетнего опыта обучения преподавателей вузов, техникумов и школ методике разработки педагогических тестов. Закрепление излагаемых положений обеспечивается многочисленными упражнениями для самостоятельного выполнения.
Таким образом, в пособии предлагается система знаний, необходимая для начинающего разработчика педагогических тестов, с надеждой на возможный в дальнейшем переход к уровню профессионала. Отсюда и необходимость концентрации внимания на представлении о тесте как о научно обоснованном методе оценки знаний учащихся. Вопросы научного обоснования затрагивают три взаимодополняющих друг друга направления работы. Первое связано с обоснованием отбора содержания теста, второе — с доведением формы заданий до уровня требований тестовой технологии, а третье нацелено на выявление системообразующих свойств заданий на основе анализа результатов обработки эмпирических данных тестирования.
Необходимость такого анализа часто подвергается сомнению неопытными разработчиками. При этом они совершенно забывают, что достоинства тестовых методов — объективный характер оценок, сопоставимость и возможность их перепроверки — обеспечиваются не автоматически, а благодаря выполнению определенных требований к качеству заданий и теста в целом. Если эти требования не выполнены, то использование тестов не менее субъективная процедура, чем обычный экзамен. В некоторых случаях эта процедура может оказаться даже хуже экзамена, позволяющего скорректировать впечатления о знаниях испытуемого в процессе общения с помощью дополнительных вопросов.
В отличие от экзамена тесты такой возможности не предоставляют. Плохой тест, не отвечающий по тем или иным характеристикам определенным критериям качества, может послужить источником искаженного впечатления о знаниях учеников. Причем скорректировать это впечатление в процессе тестирования никак нельзя, если, конечно, процесс тестирования носит массовый характер, а не организован в адаптивном режиме. Отсюда проистекает необходимость научного обоснования качества тестовых материалов и обращения в этой связи в материалах пособия к вопросам математико-статистической обработки тестовых результатов учащихся.
Предлагаемые в пособии методики разработки педагогических тестов, равно как и их теоретические обоснования, носят инвариантный характер и поэтому подходят для использования всеми преподавателями, вне зависимости от специфики содержания учебного курса. По этой же причине для расширения круга заинтересованных читателей в пособии собраны многочисленные примеры по самым разным дисциплинам, преподаваемым в школе.
Один из разделов пособия посвящен вопросам шкалирования тестовых результатов для повышения сопоставимости баллов, полученных по различным тестам. В разделе рассматриваются подходы к шкалированию разного уровня сложности. Вниманию читателя предлагаются как порядковые, так и интервальные шкалы, обеспечивающие интерпретацию разности тестовых баллов учеников.
Несмотря на большой объем пособия, для успешного создания тестов и повсеместного внедрения их в практику обучения простого ознакомления с его материалами явно недостаточно. Необходимо также наладить соответствующий процесс, началом которого должно стать массовое обучение преподавателей школ методике разработки и применения педагогических тестов.
ПЕДАГОГИЧЕСКИЙ КОНТРОЛЬ
В СОВРЕМЕННОМ УЧЕБНОМ ПРОЦЕССЕ
1.1. педагогический контроль. предмет и объект контроля
Контроль — это одновременно и объект теоретических исследований, и сфера практической деятельности педагога. С помощью контроля можно выявить достоинства и недостатки новых методов обучения, установить взаимосвязь между планируемыми, реализуемыми и достигнутыми уровнями образования, сравнить работу различных преподавателей, оценить достижения ученика и выявить пробелы в его знаниях, дать руководителю учебного заведения объективную информацию для принятия управленческих решений и выполнить ряд других не менее важных задач.
Понятие «педагогический контроль» применительно к учебному процессу имеет несколько толкований. С одной стороны, педагогический контроль представляет собой единую дидактическую и методическую систему проверочной деятельности. Эта взаимосвязанная совместная деятельность преподавателей и учащихся при руководящей и организующей роли педагогов направлена на выявление результатов учебного процесса и на повышение его эффективности. С другой стороны, применительно к повседневному учебному процессу под контролем понимают выявление и оценку результатов учебной деятельности школьников или студентов.
По установившейся традиции в учебном процессе слову «оценка» придается оттенок, сводящий его к некоторому результату. Однако в данном контексте оно используется в несколько непривычном смысле, поскольку имеется в виду не только конечный результат, но и процесс формирования оценки. Такая ситуация типична для многих отглагольных существительных, например, слово «образование» обозначает одновременно процесс и результат процесса.
Педагогические оценки нередко ошибочно отождествляют с отметками, которые служат для установления численных аналогов оценочных суждений. Например, по установившейся в нашей стране традиции удовлетворительные знания оцениваются «тройкой», отличные — «пятеркой». На самом деле эти баллы не имеют четкого педагогического смысла и не дают количественной характеристики ответа ученика. Они не лишены субъективизма в том случае, когда контроль проводится традиционными методами, поскольку при их выставлении преподаватель сравнивает все достижения учеников со своими мерками.
Действительно, несмотря на рекомендуемые общие критерии оценки уровень требований различных преподавателей совершенно индивидуален. У каждого имеется свое понимание принципов требовательности и справедливости, свои критерии качества знаний. На оценку преподавателя влияют и предыдущий процесс общения с обучаемым, и его личностные установки по отношению к оцениваемому ученику. Определенное внушающее воздействие оказывают внешний вид контролируемого и приобретенное им умение ясно излагать свои мысли, а также ряд других факторов, условно называемых «эмоциональной составляющей».
В отличие от субъективных оценок и отметок измерение предполагает проведение объективного количественного сопоставления оцениваемого свойства ученика с некоторым эталоном, принятым в качестве единицы измерения. При педагогическом измерении роль оцениваемого свойства отводится знаниям, умениям или навыкам ученика, а вместо единицы измерения используются контрольные задания или части заданий по проверяемому содержанию предмета.
Разработка проблемы измерений предполагает решение трех взаимосвязанных задач: для чего, что и чем измерять. Ответ на первый вопрос достаточно прост. Он непосредственно связан с постановкой целей контроля. Если цель — оценка достижений учащихся, то главное внимание уделяется проверке и выявлению объема освоенных знаний или умений. Установленный объем обычно трактуется как уровень подготовки по предмету.
При диагностике центр внимания преподавателя смещается на задачи управления процессом усвоения знаний путем организации систематического контроля за уровнем овладения материалом, за наметившимися пробелами в подготовке учеников. В последнем случае контроль обеспечивает обратную связь от учащегося к преподавателю и помогает следить за ходом процесса усвоения знаний у каждого обучаемого в целях своевременной коррекции этого процесса. Таким образом, основная цель диагностического контроля — оказывать формирующее влияние на текущий процесс обучения за счет установления обратной связи от ученика к педагогу.
Ответ на второй вопрос сопряжен с решением ряда проблем, обусловленных спецификой измерений в педагогике. При педагогическом измерении нет явно заданного предмета измерения, нет средства, готовой единицы, нет нулевой точки отсчета. Поэтому приходится начинать с теоретического анализа проблем и, главным образом, с определения предмета измерения, для чего необходимо преодолеть некоторые концептуальные трудности и ввести систему взаимосвязанных понятий, ассоциируемых с предметом.
При оценке достижений учащихся в качестве предмета измерения обычно выделяют уровень и качество подготовки. Что касается уровня подготовки, то с его определением дело обстоит достаточно просто. Обычно полагают, что это совокупность знаний, умений, навыков и представлений, освоенных учеником. Как и многие другие трудно детерминируемые понятия общественных наук, предмет можно определить с помощью метода, используемого для измерения знаний. Отсюда возникает прагматическое определение уровня подготовки, когда учащийся выполняет правильно то или иное количество заданий по выбранным разделам дисциплины.
Гораздо сложнее определить качество подготовки. Обобщение результатов ряда научных и методических работ позволяет говорить о разных подходах при решении этого вопроса. Среди точек зрения теоретиков и практиков нет не только единства, но и сходства. В одних случаях категорию качества отождествляют с полнотой знаний и их глубиной. В других случаях на первый план выходят конкретность и обобщенность знаний, их осознанность или прочность либо логичность изложения материала, рациональность способов и приемов решения учебных задач [24]. Есть и неудачные трактовки, когда качество знаний понимается как превышение некоторой степени обученное™, а степень обученное™ в свою очередь определяется как совокупность знаний, умений и навыков, усвоенных учеником.
Однако чаще всего встречается упрощенное восприятие этого понятия: знания ученика считают качественными, если он выполняет задания повышенной трудности. Между тем отсутствие единой, обоснованной точки зрения по этому вопросу значительно затрудняет, если не снимает полностью, возможность оценки качества подготовки учеников. Несмотря на требования Закона РФ «Об образовании», все усилия практиков направлены в основном на оценку уровня, а не качества подготовки. Возможность согласования различных подходов к трактовке понятия качества подготовки возникает только с появлением определения, которое призвано по возможности обобщить существующие точки зрения теоретиков и практиков. (Попытка введения такого определения предпринята в гл. 8.). Идея общего определения непосредственно увязывается с ответом на вопрос о том, для чего нужна категория качества в процессе контроля. Проводить оценку качества подготовки учащихся с различным уровнем достижений, по-видимому, не имеет смысла, поскольку они уже отличаются по объему усвоенных знаний, умений и навыков. Зато вполне правомерно одинаковому уровню подготовки поставить в соответствие различное качество. Отсюда остается один шаг до обобщенного определения, когда качество подготовки трактуется как совокупность существенных характеристик знаний, умений и навыков, способствующих дифференциации учащихся с одинаковым уровнем подготовки [35].
В дополнение к определению необходимо конкретизировать представление о существенных характеристиках знаний, умений и навыков учащихся. В процессе конкретизации возникает проблема выбора, когда приходится отдать предпочтение тем или иным характеристикам, но каким? Несомненно, привлекательно выглядят такие характеристики, как прочность, осознанность, обобщенность знаний. Они представляют особую ценность как для развития личности учащегося, так и для пополнения интеллектуального потенциала вузов за счет абитуриентов с высоким качеством знаний. Однако несмотря на привлекательность они обладают существенным недостатком, поскольку не поддаются никаким объективным методам измерения.
Решение проблемы конкретизации базируется на тех возможностях, которые открывают в сфере измерений педагогические тесты. В отличие от традиционных средств контроля тесты при определенных условиях позволяют выявить не только уровень подготовки, но и структуру знаний учащихся, вернее, степень ее отклонения от идеальной структуры, планируемой педагогом на момент начала обучения.
Элементарное представление о степени отклонения позволяет составить анализ профиля ответов учащегося на различные задания теста. Так как один и тот же уровень подготовки может быть получен при ответах на различные по трудности задания, то можно сравнить ответы учащихся с одинаковым уровнем подготовки.
Если задания ранжированы по нарастанию трудности и отражают по содержанию и порядку расположения идеальную, планируемую структуру знаний, то общий вывод о качестве подготовки учащихся сделать довольно просто: чем меньше пробелов в ответах ученика на задания теста, тем лучше структура его знаний, тем выше качество его подготовки в группе других учеников, имеющих одинаковый с ним уровень учебных достижений. Для характеристики степени отклонения рядом зарубежных исследователей был введен специальный индекс структурированности знаний, подсчет значения которого основан на анализе числа пробелов в ответах испытуемых на задания теста [47].
Есть и другие, более сложные подходы, когда оценки качества структуры знаний учащихся базируются на методах факторного анализа и требуют определенной подготовки преподавателей для их использования в учебном процессе. Для обработки эмпирических результатов тестирования методами факторного анализа необходимо также специальное программное обеспечение, которое, как правило, отсутствует в школах. Трудность, правда, представляет не столько поиск компьютерных программ факторного анализа, которые довольно распространены в нашей стране, сколько навык по их использованию, который приобретается постепенно на протяжении ряда лет.
Предлагаемый в пособии подход к определению качества подготовки учеников, несмотря на определенные трудности, сопряженные с попытками оценить структуру подготовки учащихся, довольно корректен с точки зрения возможности измерения и удачен. Особенно привлекательно выглядит оценка структуры подготовки учащихся в тех случаях, когда речь идет о сравнении эффективности работы отдельных преподавателей либо групп преподавателей, как, например, при аттестации общеобразовательных учреждений.
На фоне многообразия существующих аттестационных моделей, методик, технологий, показателей и критериев оценка уровня и качества подготовки выпускников остается важнейшим показателем эффективности работы педагога. При этом в центре внимания аттестационных комиссий находится, несомненно, уровень подготовки. Оценка качества хотя и декларируется в инструктивных документах Минобразования России, но все же остается за гранью работы организаций, проводящих аттестацию, что вряд ли оправдано. В то время, как уровень подготовки в основном зависит от прилежности учащегося, его способностей и желания учиться, структура знаний в значительной степени отражает особенности организации учебного процесса.
На формирование структуры подготовки учеников влияют: умение преподавателя правильно построить программу подготовки и эффективно ее изложить, его ответственность в работе по выявлению и устранению пробелов в знаниях учащихся, его умение внести моменты индивидуализации в массовый учебный процесс — словом, все то, что следует в первую очередь принимать во внимание при оценке качества работы преподавательских коллективов. Еще сложнее, чем при решении первых двух вопросов, обстоит дело с ответом на третий вопрос: чем измерять и с помощью каких методов? Ответ на него связан с конструированием и использованием средств измерения, методика разработки и применения которых получила пока довольно ограниченное рассмотрение в отечественной научно-методической литературе. Действительно, можно привести лишь единичные работы, в которых выдвигается на обсуждение весь комплекс задач, связанных с решением этих важных вопросов. Приходится констатировать тот факт, что ни педагогическая наука, ни практика не обладают пока в полной мере методами создания средств измерения и самими средствами [23].
В какой-то мере это естественно, так как здесь необходим определенный опыт, который на сегодняшний день в силу разных причин в нашей стране практически отсутствует. К тому же разработка объективных методов измерения представляет немалые трудности, связанные с созданием стандартных процедур, введением метрики для количественного выражения характеристик подготовки обучаемых.
Необходимо также решить ряд проблем методического характера — соотнести возможности различных средств измерения с видами контроля, которые выбирает преподаватель сообразно практическим задачам при оценке знаний учеников.