Компьютерное тестирование знаний

Компьютерное тестирование (аттестация) знаний учащихся признается многими исследователями одной из основных технологий (форм, методов) сбора мониторинговой информации о качестве образования (преподавания, обучения).

С появлением в СССР больших вычислительных машин неоднократно предпринимались попытки автоматизации контроля знаний школьников. Однако для этого чаще использовались не сами вычислительные машины, а картонные перфокарты (бланки). Технология заключалась в следующем: школьники по команде педагога рисовали в определенных местах перфокарт определенные значки, а педагог затем рассматривал эти «криптограммы» через специальные матрицы с отверстиями и выставлял в журнал оценки, основываясь на известных ему правилах. Наиболее широкое распространение эта технология получила первоначально в США.

Более трех десятков лет американские школьники сдают выпускные и переводные экзамены по технологии компьютерного или бланкового тестирования. Во всех штатах США существуют специальные комиссии, занимающиеся оцениванием знаний учащихся на основе тестирований. Результатом работы таких комиссий является информация о предрасположенности учащихся к тому или иному виду профессий, общая информация о состоянии системы образования штата и др. Компьютерной техникой эти комиссии стали пользоваться сравнительно недавно.

В настоящее время учащиеся и абитуриенты многих стран (США, Великобритания, Россия, Китай и мн. др.) сдают большое количество массовых переводных, вступительных, квалификационных и иных экзаменов в тестовой форме. Во многих странах эта форма проверки знаний осталась архаичной, «бумажной», во многих – стала компьютеризованной.

Автоматическое тестирование знаний, как и всякая промышленная технология, имеет свои «плюсы» и «минусы». Положительные стороны очевидны: стандартность, экономичность, объективность. Результаты автоматизированных тестирований лучше поддаются анализу, чем выставляемые людьми оценки.

При правильной постановке массовые тестирования позволяют планировать изменения в региональной образовательной политике и набор абитуриентов, дают основания для предсказания социальных явлений, помогают молодежи определять свои склонности и планировать дальнейшее образование, позволяют объективно поддерживать уровень знаний специалистов.

Имеются, как минимум, три достаточно развитые и известные в масштабе России технологии тестирования - Всероссийское бланковое тестирование, Всероссийское компьютерное тестирование (проводимые в течение ряда лет Центром тестирования Минобразования РФ) и Телетестинг (проводимый Центром Гуманитарных технологий МГУ). Многие их элементы основаны на телекоммуникационных технологиях, способных обеспечить решение задач образовательного мониторинга на федеральном уровне. Опыт, полученный в результате применения этих технологий, позволит в ближайшие годы ввести в системе образования России совершенно новую форму приема экзаменов – ЕГЭ, Единый Государственный Экзамен.

Важно отметить, что ЕГЭ – разовое мероприятие. ЕГЭ проводится один раз в год и позволяет увидеть достаточно объективный «моментальный» снимок качества работы образовательной системы. А мониторинг качества образования (МКО) – мероприятие непрерывное, позволяющее на местном уровне, с необходимой степенью глубины и полноты, оперативно прогнозировать и корректировать развитие системы образования. Естественно, что и ЕГЭ, и МКО должны выполняться на единой материальной базе с привлечением единого коллектива специалистов.

Подобно частице и волне в квантовой механике, технологии ЕГЭ и МКО – дуалистичны, они призваны взаимно дополнять друг друга.

Описание идеологий, а также достаточно полные обзоры и перечни публикаций, посвященных развитию процедур компьютерного тестирования можно найти в приведенном в Приложениях перечне.

В России внедрено, разработано и применяется множество подходов к аттестации знаний, основанных на применении компьютеров и телекоммуникаций технологий. Однако нам не удалось встретить среди известных компьютерных тестирующих средств выдерживающего серьезную критику с точки зрения удобства, привлекательности, полноты набора необходимых функций, объемности. Это объективно сложившееся положение связано со многими причинами.

Во-первых, в России тестирование долгое время было запрещено нормативными документами и, в результате, приходится догонять другие страны в этой технологической области.

Во-вторых, период развития технологий компьютерного тестирования пришелся в России на период экономического кризиса.

В-третьих, среди создателей тестовых систем, в основном, оказались люди «приближенные» к вычислительной технике – технари. Их представления о моделях познания и методах обучения, в силу специфики образования и деятельности, носят механистичный характер. Это нашло отражение в

ü двузначности логики тестовых заданий и тестирующих программ (либо «да», либо – «нет»), не отражающей реальную (нечеткую – математический термин) структуру знаний;

ü стремлении оснастить программные продукты немыслимым количеством «кнопочек» в ущерб удобству педагогов;

ü «прямоугольном» дизайне, якобы «не отвлекающем» внимание, а на самом деле отталкивающем;

ü присутствии затрудняющих работу жаргонных выражений в надписях и текстах описаний программ;

ü отсутствии привлекательности (сюрпризности, церемониальности) у предлагаемых процедур тестирований;

ü неучете присущих человеку свойств и качеств (настроение, усталость, темперамент, возраст, пол, национальность) и пр., т.е. пренебрежении педагогическими и психологическими приемами, позволяющими ускорить и наполнить новым содержанием образовательный процесс.

Спорными представляются многим изготовителям и исследователям следующие вопросы технологии и идеологии тестирования:

ü должен ли процесс тестирования приносить удовольствие учащемуся?

ü обязательным ли результатом тестирования должно быть «моральное» удовлетворение?

ü можно ли публиковать результаты тестирования?

ü должен ли процесс тестирования носить соревновательный оттенок?

ü следует ли ограничивать время тестирований?

ü должен ли процесс тестирования быть поучающим?

ü нужны ли психологические разгрузки в процессе тестирования?

ü должен ли процесс тестирования опираться на личностно-ориентированную сюжетную линию?

ü следует ли учащемуся разрешать вносить исправления в уже выполненные тестовые задания?

ü следует ли выделять учащемуся лимит подсказок?

ü должен ли процесс тестирования быть мягким, позволяющим учащемуся самостоятельно выбирать план действий?

ü должны ли тестовые задания содержать элемент сюрпризности?

ü эффективней ли для образовательного процесса в целом тестирование как ролевая игра или – тестирование как выбор ответа на вопросы из списков?

Известные нам изготовленные в России тестирующие программы мало отличаются от тех, что предлагают зарубежные производители. Исходя из нашей точки зрения, перечислим наиболее распространенные недостатки существующих обучающих тестирующих комплексов.

1. Недостатки сценария работы учащегося:

ü отсутствие режимов самообучения;

ü отсутствие соревновательного компонента;

ü отсутствие сюрпризности;

ü малый объеме заложенной информации;

ü однообразие представления информации.

2. Недостатки сценария работы автора-составителя тестовых заданий:

ü сложность освоения комплекса;

ü большие затраты времени на ввод информации и конструирование заданий;

ü сложность ввода графической информации;

ü необходимость технического сопровождения, т.е. присутствия специалиста-компьютерщика в течение наполнения преподавателями базы тестовых заданий;

ü отсутствие анимационных средств;

ü сложность редактирования тестовых заданий.

3. Недостатки сценария работы преподавателя-экзаменатора:

ü сложность освоения комплекса;

ü сложность средств оперативного контроля успехов учащихся;

ü сложность средств интегрального наблюдения за успехами группы;

ü сложность сравнения результатов группы по разным дисциплинам.

4. Недостатки сценария работы руководителя учебного заведения:

ü сложность освоения комплекса;

ü отсутствие средств систематизации и хранения результатов тестирований;

ü отсутствие средств оперативного сопоставления успехов учебных групп по разным дисциплинам и т. п.;

ü невозможность оперативного контроля за успеваемостью учащихся образовательного учреждения в целом.

Часть отмеченных недостатков следует отнести, в большой мере, на счет неразвитости компьютерных коммуникаций внутри учебных заведений.

Очевидны трудности и проблемы, с которыми сталкиваются разработчики технологий автоматизированных тестирований:

ü неоднозначность оценки важных человеческих качеств – умений, нестандартности мышления, широты знаний;

ü возможность выдачи неверных оценок и рекомендаций при неучете, например, особенностей местных условий;

ü сценарии компьютерных тестирований часто однообразны, неестественны, способны быстро «отбить» у тестируемого интерес к обучению и анализу своих знаний.

Конечно, имеющиеся технологические разработки, посвященные применению техники для контроля знаний, не исчерпывают всех возможностей компьютера. Возможности компьютера в сфере образования нам еще предстоит открывать и изучать.

Какими должны быть образовательные компьютерные комплексы, чтобы быть удобными в пользовании и востребованными для учителя, учащегося, управленца? Как сделать так, чтобы прохождение сеанса компьютерного тестирования вызывало у учащихся интерес к обучению, повышению качества своих знаний? Как «скрыть» от учащегося саму процедуру тестирования, снять атмосферу волнения, сконцентрировав его на раскрытии творческих качеств и реализации знаний?

Деловая компьютерная игра многими воспринимается как своеобразная панацея. Вероятно, что именно в этой области нужно искать пути построения сценариев компьютерного обучения и контроля знаний – привлекательных и вызывающих желание исследовать, учиться. Удачные попытки построения таких сценариев существуют. Можно привести в качестве примера известный сценарий и игру Сида Мейера «Цивилизация». Однако следует заметить, что такие игры содержат довольно мало по-настоящему учебной информации и могут быть рассматриваемы лишь как основа для дальнейшей методической и сценарной работы.

Создание профессиональных компьютерных игр-тренажеров – вполне разработанная и освоенная специалистами область. Существуют прекрасные тренажеры и средства для их создания – конструкторские программные комплексы, банки реализаций. Вызывает сожаление, что это относится исключительно к специальным тренажерам - для летчиков, танкистов, судоводителей, автогонщиков. Рынок же тренажеров для учащихся общеобразовательных учебных заведений - компьютерных лабораторных работ и учебных практикумов - пока заполнен изделиями несравненно низшего качества. Они малоинформативны, однотипны, не вызывают интереса к обучению.

Разработкой и изготовлением компьютерных тестирующих комплексов в России занимаются, в основном, коллективы базирующиеся при вузах. Среди таких вузов следует назвать МГУ, СПбГУ, НГУ, МФТИ, МИФИ, МЭСИ, ТГУ и др. Как правило, коллективы состоят из физиков, математиков, инженеров-компьютерщиков. Педагоги либо психологи к сценарным работам практически не привлекаются.

Одним из счастливых исключений здесь является МГУ, где в таких разработках принимают активное участие преподаватели и студенты психологического факультета. Созданная ими система «Телетестинг» завоевала в 1997-2002 гг. в России огромную популярность. Скажем, в Приморском крае в 2000-2002 гг. любое компьютерное тестирование (какая бы организация его не проводила) родителями и учащимися однообразно нарекалось «телетестингом».

В качестве другого примера, приведем опыт разработчиков Дальневосточного государственного университета (ДВГУ).

В ДВГУ с 1994 года ведутся научные и экспериментальные работы в области разработки компьютерных обучающих и тестирующих средств. В научных семинарах и работах здесь принимают участие сотрудники, студенты и преподаватели - физики, химики, математики, историки, юристы, педагоги, географы, экологи, филологи, экономисты. Создан ряд разновидностей компьютерных тестирующих комплексов, реализующих известные педагогические идеи, восходящие к Платону и Сократу.

Созданные в ДВГУ игровые тестирующие комплексы популярны в школах Приморского края. На их основе ежегодно проводится около пятидесяти Приморских краевых образовательных олимпиад, выпускные и переводные экзамены в школах, вступительные экзамены для абитуриентов ДВГУ.

Созданный в ДВГУ в 1998 году компьютерный комплекс - деловая игра «Дидактор» является удачной попыткой реализации игровой концепции обучения и контроля. Работа с ним не утомительна, интерфейсы учащегося и преподавателя просты и понятны. Идея «Дидактора», заключающаяся в предложении не отвечать на вопросы, а оценивать ответы виртуальных учеников, привлекательна для учащихся. «Дидактор» предлагает учащемуся шпаргалки (развернутые ответы и пояснения) – в этом его обучающая функция. «Дидактор» умеет работать и на компакт-диске, и в Интернет. Результаты работы учащегося с «Дидактором» могут быть распечатаны и переданы в электронную базу данных для дальнейшего анализа преподавателем.

Составлять учебные материалы для наполнения «Дидактора» просто. Для этого не нужно пользоваться дополнительными средствами. Файлы с наборами тестовых заданий полностью изготавливаются в обычных текстовых редакторах. При этом тестовые задания могут содержать картинки, мультики, звук, и видеофайлы - это позволяет расширить возможности обучения и тестирования. На основе «Дидактора» в ДВГУ создано около 100 электронных учебных курсов для школьников и студентов, снабженных тестовыми комплексами. Многие студенты предпочитают проходить процесс обучения и контроля на компьютере, контактируя с преподавателем только на консультациях либо по электронной почте – это удобно, ведь многие студенты работают, многие одновременно получают два и три образования. В 2001 году в компьютерных классах ДВГУ проведено около 120 тыс. сеансов тестирований.

Тренажер–игра «Диалог» основан на идее вовлечения ученика в разговор между анимированными виртуальными персонажами – известными учеными. Тестирование знаний и обучение происходит завуалировано, в процессе диалога. Наполнение тренажера, «план» диалогов имеет сложную структуру и элементы «случайности». Особый интерес здесь представляет выстраивание процесса обучения на основе гипотетических диалогов известных представителей разных культур и времен (диалоги культур).

В серии изготовленных ранее в ДВГУ тренажеров - «Кроссворд», «Фракон» (конструктор фраз), «Файндер» (найди ошибку), «Диктант», «Вордик» (узнай слово), «Ковер-самолет», «Толмач» - использованы оригинальные, известные и переработанные сценарии. Переработка известных сценариев заключалась в гуманизации интерфейса, внесении элементов случайности и сюрпризности, стандартизации способа регистрации результатов.

Довольно широк круг дисциплин, материал которых послужил наполнением для вышеописанных изготовленных тренажеров – 14 школьных дисциплин (практически полностью материал 9, 10, 11 классов), около 100 вузовских и специальных дисциплин (материал учебных планов специальностей и специализации «Организация коммерческой деятельности предприятия», «Менеджмент в образовании», «Юриспруденция», «Менеджмент», «Финансы и кредит»), английский язык (мультимедийное пособие для студентов гуманитарных специальностей).

На основании материалов всероссийских научно-методических конференций, посвященных компьютерным методам обучения, ДВГУ можно назвать одним из первых вузов России, масштабно внедрившим компьютерные технологии контроля знаний в учебный процесс.