Современные подходы к оценке качества

ПОДГОТОВКИ ОБУЧАЕМЫХ

В последние годы за рубежом был предложен ряд новых интересных методов, позволяющих получить определенные представления о качестве подготовки обучаемых. К сожалению; нередко однозначный перевод и интерпретация названия этих методов затруднены в связи с отсутствием аналогичных терминов в русском языке. Далее приводится краткий обзор этих методов.

1. Метод оценки индекса структурированности знаний (method S - P lines). В отличие от традиционных средств контроля тесты при определенных условиях позволяют выявить не только уровень подготовки, но и структуру знаний учащихся, вернее, степень ее отклонения от идеальной структуры, планируемой педагогом на момент начала обучения. Элементарное представление о степени отклонения позволяет составить анализ профиля ответов учащегося на различные задания теста. Так как один и тот же уровень подготовки может быть получен при ответах на различные задания, то можно сравнить ответы учащихся с одинаковым уровнем подготовки. Если задания ранжированы по нарастанию трудности и отражают по содержанию и порядку расположения идеальную, планируемую преподавателем при обучении структуру знаний, то общий вывод о качестве подготовки учащихся сделать довольно просто: чем меньше пробелов в ответах ученика на задания теста, тем лучше структура его знаний, тем выше качество его подготовки в группе других учеников, имеющих одинаковый с ним уровень подготовки по предмету.

Характеристика степени отклонения индивидуальной структуры знаний от планируемой педагогом основана на подсчете значений специального индекса структурированности знаний, введенного в рассмотрение зарубежными исследователями. Идеальный профиль ответов, не содержащий пробелов, в мировой литературе по тестовой проблематике получил название профиля Гуттмана [47], которому соответствует нулевой специальный индекс. Большое значение индекса, характерное для инвертированных профилей с большим числом пробелов, порождает сомнения в системности знаний обучаемого и валидности его общей оценки по тесту.

Конечно, использование метода оценки индекса структурированности знаний обучаемых требует разработки тестов, содержание которых отобрано специальным образом. Необходимо, чтобы по результатам ответов обучаемых с правильной структурой знаний наблюдался эффект воспроизводимости правильных ответов на более легкие задания по результатам ответов на трудные задания теста. Ситуацию с конструированием тестов значительно облегчает IRT, поскольку кумулятивный эффект Гуттмана заложен в самих моделях IRT, что позволяет создавать достаточно совершенные тесты. Несмотря на определенные трудности оценки структуры знаний учащихся в повседневной работе преподавателей, предлагаемый подход к определению качества подготовки учеников довольно корректен и с точки зрения возможности измерения удачен.

Особенно привлекательно выглядит оценка структуры знаний учащихся в тех случаях, когда речь идет об оценке эффективности работы отдельных преподавателей либо групп преподавателей, как, например, при аттестации образовательных учреждений. На фоне многообразия существующих аттестационных моделей, методик, технологий, показателей и критериев оценка качества подготовки выпускников остается важнейшим показателем эффективности работы педагога. При этом в центре внимания аттестационных комиссий, работающих по традиционным схемам, находится, несомненно, уровень подготовки. Оценка качества подготовки хотя и декларируется в инструктивных документах Минобразования России, но все же остается за гранью работы организаций, проводящих аттестацию, что вряд ли оправдано.

В то время как уровень подготовки в основном зависит от прилежности учащегося, его способностей и желания учиться, структура знаний заметно отражает особенности организации учебного процесса. На формирование структуры знаний обучаемых в большой степени влияют умение преподавателя правильно построить программу подготовки и доступно ее изложить, его ответственность в работе по выявлению и устранению пробелов в знаниях учащихся, его умение внести моменты индивидуализации в массовый учебный процесс, словом, все то, что следует принимать во внимание в первую очередь при оценке качества работы преподавательских коллективов.

2. Аутентичная оценка учебных достижений (Authentic assessment). Данная форма была впервые предложена в 1988 г. Арчибальдом и Ньюманом (Archibald & Newmann) [38]. Ее отличают две основные особенности: по результатам выполнения работы делается вывод об уровне овладения учебным материалом на основе специальным образом разработанных критериальных заданий; учащимся предлагаются такие задания, которые могут вызвать у них интерес и представляют для них определенное значение. Данные задания позволяют получить эффективный конечный продукт и оценить уровень деятельности ученика. Обычно время на выполнение заданий не лимитируется.

3. «Уравновешенная» оценка учебных достижений («Balanced» assessment). Основной идеей, лежащей в основе данной альтернативной формы оценки качества подготовки обучаемых, является необходимость уравновесить традиционные формы проверки такими формами контроля, которые позволяют оценить так называемые интеллектуальные умения более высокого порядка (higher order skills). Впервые данный подход к оценке был предложен математиками в 1990 г. (Bell, Burkhardt, Swan).

4. Оценка деятельности учащихся (Performance assessment). Данная форма контроля помогает оценить деятельность ученика, освоенные им практические навыки с помощью эссе или заданий, позволяющих получить в качестве результата некоторый материальный продукт [57].

В целом же можно сказать, что основные изменения, происходящие в системе оценки качества подготовки обучаемых, связаны с изменениями в целях обучения, с перенесением центра тяжести учебного процесса с формирования знаний и алгоритмов деятельности на развитие логического мышления учащихся, их умений решать проблемы различного содержания и уровня, коммуникативных умений. Включение данных целей в программы обучения потребовало создания новой системы оценки учебных достижений, отвечающей новым задачам. Привычное для зарубежных стран стандартизированное тестирование не смогло обеспечить прямое измерение ни коммуникативных, ни интеллектуальных умений. И потому новые тенденции в оценке качества подготовки привели к определенным изменениям в подходах к разработке педагогических тестов.

8.5. международные исследования по опенке

КАЧЕСТВА ОБРАЗОВАНИЯ

Как уже отмечалось, среди международных сравнительных исследований по оценке качества образования выделяются исследования, проводимые Международной ассоциацией IEA, ГАЕР и Службой педагогического тестирования США — ETS.

Международные исследования предоставляют странам возможность всесторонне оценить эффективность функционирования своих систем образования и сравнить подготовку своих учащихся с международными стандартами. Характер сравнений может быть прямым, когда сопоставляется эффективность образования по результатам тестирования учащихся, или опосредованным. В последнем случае сравниваются результаты того, как планируемое на государственном уровне содержание образования реализуется в учебном процессе и усваивается учащимися.

Каждое международное исследование по оценке качества образования имеет следующие этапы: определение концепции; определение возможных финансовых затрат и возможных спонсоров; подбор кадров в соответствии с задачами исследования; конкретизация плана исследования; выбор методологии исследования; разработка плана формирования выборки (школ, учащихся, учителей и др.); формирование выборки; разработка инструментария (подготовка первого варианта, его экспертная оценка и пилотажная проверка; разработка окончательного варианта инструментария); подготовка к печати и размножение материалов; проведение основного тестирования (подготовка лиц, проводящих тестирование; проведение тестирования); сбор и обработка данных (ввод полученной информации и работа с базой данных, взвешивание); анализ данных и подготовка отчета по результатам исследования [57,60].

Как правило, в разработке инструментария исследования принимают участие все страны. Это позволяет включить в работу ведущие коллективы мира и на основе научного сотрудничества стран поддерживать качество проводимого исследования. Так, в разработке инструментария исследования TIMSS принимали участие многие университеты и научно-исследовательские центры мира: Университет Британской Колумбии (Канада), ETS (США), Мичиганский университет (США), Университет Осло (Норвегия), РАО (Россия), Вильнюсский университет (Литва), Австралийский центр ACER и др. Модель анализа результатов исследования на основе современной теории тестирования (IRT) разрабатывалась в Австралии и США (Бостон), обработка результатов осуществлялась в Германии (Гамбург).

В целом можно считать, что рассматриваемый период характеризуется объединением усилий стран в проведении международных сравнительных исследований, которые дают информацию о состоянии образования в различных странах и позволяют сравнить подготовку учащихся отдельных стран с международными стандартами, а также осуществлять мониторинг качества образования в мире.

Лидирующая роль в проведении подобных исследований принадлежит Международной ассоциации по оценке учебных достижений (IEA — International Association for the Educational Achievement) — независимой организации, объединяющей научные центры более 50 стран мира и проводящей сравнительные исследования по оценке эффективности образовательных систем стран мира, осуществляющих различную политику в области образования. Первые исследования IEA проводились совместно с ЮНЕСКО. За 35 лет существования, начиная с 1959 г., IEA проведено более 15 исследований. Во многих странах мира результаты исследований IEA дали толчок или явились основой для проведения реформ в области образования.

Россия стала членом IEA в 1991 г. и с этого времени принимает активное участие во всех ее исследованиях (TIMSS — третьем международном исследовании по естественно-математическому образованию, LES — исследовании по иностранным языкам и CIVIC — исследовании по социальным наукам) [42].

В конце 80-х годов в связи с необходимостью проведения реформ в стране (как результат обсуждения доклада «Нация в опасности») и потребностью в получении информации о факторах, наиболее эффективно влияющих на качество образования в различных странах мира, Служба педагогического тестирования США организовала два международных исследования по оценке подготовки школьников по математике и естествознанию (IAEP-I и IAEP-1I). Россия принимала участие в исследовании IAEP-II.

Многие международные организации, такие как ЮНЕСКО, ООН, ЮНИСЕФ, Всемирный банк, Международный институт планирования образования, OECD (Organization for Economic Cooperation and Development), Совет Европы и др., в настоящее время проявляют значительную заинтересованность в получении информации об эффективности систем образования в различных странах мира. Страны OECD объединили свои усилия в разработке индикаторов, характеризующих различные стороны образовательной системы, а также в получении информации по каждому отдельному индикатору. Кроме того, для проведения региональных международных исследований в области образования страны объединяются в союзы, так, например, европейские страны входят в Европейский союз (EU), страны Центральной и Восточной Европы в IEANCEE и т.д.

Выводы

1. Краткий обзор проблем оценки качества образования за рубежом со всей очевидностью свидетельствует о необходимости дальнейшей углубленной их разработки и поисков современных методов их решения.

2. Опыт зарубежных стран говорит о том, что реформирование систем образования принципиально невозможно без реформирования системы оценки и контроля качества образования.

3. Новый этап обновления системы контроля и оценки качества обучения совпадает с введением стандартов образования, сущность которых в формулировании единых требований к минимально необходимой учебной подготовке во всех образовательных областях. Требования к обязательным результатам обучения, зафиксированные в стандартах, становятся объективной основой для разработки критериев эффективности качества обучения, для обновления всей системы оценки и контроля качества.

4. За рубежом существует ряд современных методов оценки качества подготовки обучаемых, разработка которых сопряжена с созданием современного поколения педагогических тестов.

5. Разработка инструментария для оценки качества подготовки обучаемых требует функционирования развернутой системы переподготовки профессорско-преподавательского состава учебных заведений России разного уровня по вопросам теории и методики создания педагогических тестов.

6. Необходимо приступить к созданию специального вида тестов (формирующих и диагностических), предназначенных для формирования качественных знаний у студентов и школьников в процессе текущего контроля и повседневной работы педагога. В целом это говорит о том, что необходимо сместить акценты с процесса оценки качества подготовки обучаемых на процесс его формирования.

 

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Аванесов В. С. Основы научной организации педагогического контроля в высшей школе: Учеб. пособие. М.: МИСиС, 1987.

2. Аванесов В. С. Композиция тестовых заданий. М.: Ассоциация инженеров-педагогов, 1996.

3. Амонашвили Ш.А. Обучение, оценка, отметка. М.: Знание, 1980.

4. Амонашвили Ш. А. Воспитательная и образовательная функция оценки учения школьников. М.: Педагогика, 1984.

5. Анастази А. Психологическое тестирование: В 2 т. / Пер. с англ. Предисл. К. М. Гуревича, В. И. Дубовского. М.: Педагогика, 1982.

6. Беспалъко В. П. Программированное обучение: дидактические основы. М.: Высш. шк., 1970.

 

7. Боголюбов Л.И., Дик Ю.И., Иванова Е.О. и др. О подходах к разработке требований к обязательному уровню подготовки выпускников основной школы // Перспективы развития общего среднего образования: Сб. науч. тр. М.: ИОСО РАО, 1998.

8. Выготский Л. С. Избранные психологические исследования. М.: Изд-во Акад. пед. наук РСФСР, 1956.

9. Гласе Дж., Стенли Дж. Статистические методы в педагогике психологии / Пер. с англ. Л. И. Хайрусовой. М.: Прогресс, 1976.

 

10. Иванова А. Я. Обучающий эксперимент // Вопросы психологии: Сб. науч. тр. М.: НИИ психиатрии МЗ РСФСР, 1970.

11. Клайн П. Введение в психометрическое программирование: Справочное руководство по конструированию тестов. Киев, 1994.

12. Кларин М. В. Инновационные модели обучения в зарубежных педагогических поисках. М., 1994.

13.Концепция оценки достижения учащимися требований общеобразовательного стандарта / Колл. авторов под рук. В. С. Леднева. М.: Изд-во РАО, 1993.

14. Кривошеее А. О. Разработка и использование компьютерных обучающих программ // Информационные технологии. 1996. № 4.

15. Кулибаба И. И., Красновский Э. А., Коган Т. Л. Дидактический анализ качества знаний учащихся // Проблемы и методы исследования качественных и количественных характеристик знаний, умений и навыков учащихся. М., 1976.

16. Майоров А. Н. Тесты школьных достижений: конструирование, проведение, использование. СПб.: Образование и культура, 1996.

17.Общая психодиагностика / Под ред. А. А. Бодалева, В. В. Столина. М.: Изд-во Моск. ун-та, 1987.

18. Омельченко Н. А., ЛяудисВ. Я. Формирование контрольно-корректированных действий у студентов при обучении с помощью ЭВМ. Воронеж: Изд-во Воронеж, ун-та, 1982.

19.Основы педагогики и психологии высшей школы / Под. ред. А. В. Петровского. М.: Изд-во Моск. ун-та, 1986.

20. Поддубная Л. М., ТатурА. О., Челышкова М. Б. Задания в тестовой форме для автоматизированного контроля знаний студентов. М.: МИФИ, 1995.

21. ПойаДэк. Математика и правдоподобные рассуждения / Под ред. С. А. Янковской. 2-е изд. М.: Наука, 1975.

22.Психологические проблемы неуспеваемости школьников / Под ред. Н. А. Менчинской. М.: Педагогика, 1971.

23. Родионов Б. У., Татур А. О. Стандарты и тесты в образовании. М.: МИФИ, 1995.

24. Селезнева Н. А., Байденко В. И. Проблема качества образования: актуальные аспекты пути решения // Проблемы качества, его нормирования и стандартов в образовании: Сб. науч. статей. М.: ИЦ, 1998.

25. Симонов В. П. Педагогический менеджмент: Учеб. пособие. М.: РПА, 1997.

26. Талызина Н. Ф. Теоретическе основы контроля в учебном процессе. М.: Знание, 1983.

27. Ушинский К. Д. Собр. соч.: В 9 т. М.: Изд-во Акад. пед. наук РСФСР, 1949. Т. 8.

28. Хекхаузен X. Мотивизация и деятельность: В 2 т. / Пер. с нем. М.: Просвещение, 1986.

29. Челышкова М. Б. Организация контроля учебной деятельности студентов в условиях педагогического сотрудничества: Дис. канд. пед. наук. Киев, 1990.

30. Челышкова М. Б. Вопросы организации адаптивного тестового контроля знаний студентов // Тез. докл. участников школы-семинара «Научные проблемы тестового контроля знаний». М.: ИЦ, 1994.

31. Челышкова М. Б. Разработка педагогических тестов на основе современных математических моделей. М.: МИСИС, 1995.

32. Челышкова М. Б. и др. Критерии эффективности учебного процесса в высшей школе. Киев: КПИ, 1989.

 

33. Челышкова М. Б., Савельев Б. А. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе. М.: ИЦ, 1995.

34. Челышкова М. Б., Ковалева Г. С., ТатурА. О., Хлебников В.А. Концепция аттестационного тестирования выпускников общеобразовательных учреждений на этапе перехода от школы к вузу // Проблемы качества, его нормирования и стандартов в образовании: Сб. науч. ст. М.: ИЦ, 1998.

35. Челышкова М. Б., Хлебников В. А. Основные подходы к оценке качества подготовки обучаемых // Проблемы качества, его нормирования и стандартов в образовании: Сб. науч. ст. М.: ИЦ, 1999.

36. Шторм Р. Теория вероятностей и математическая статистика. Статистический контроль качества. М.: Мир, 1970.

37. Якиманская И. С. Развивающее обучение. М.: Педагогика, 1979.

38. Bateson D., Nicol C., Achroeder T. Alternative Assessment and Tables of Specification for the Third International Mathematics and Science Study. ICC 64, 1991.

39. Berk R. A. Criterion-referenced Measurement. The State of Art. Baltimore, MD: Johns Hopkins University Press, 1980.

40. Bloom B. S. et al. Taxonomy of Educational Objectives: The Classification of Educational Goals. Handbook 1: Cognitive Domain. N. Y.: David Mckay Co., 1956.

41. Crocker L., Algina J. Introduction to Classical and Modern Test Theory. Univ. of Florida. HBJCP, 1986.

42.Curriculum Frameworks for Mathematics and Science / General editor David Rohitaille. TIMSS Monograph. No 1. Wancouver (Canada): Pacific Educational Press, 1993.

 

43. Gronlund N. E. How To Construct Achievement Test. N.J.: Prentice Hall, 1998.

44. GuilfordJ. P. Fundamental Statistics in Psychology and Education. 3 ed. N.Y., 1956.

45. Gulllksen H. Theory of Mental Tests. N. Y.: Willey, 1950.

46. Hambleton R. K. Aplication of Item Response Theory. Vancouver: Educ. Res. Inst. В. С., 1983.

47. KeevesJ.P. (Ed.) Educational Research, Methodology and Measurement: An International Handbook. Oxford: Pergamon Press, 1988.

48. Linn K. L. Educational Measurement (3rd ed.). N. Y.: Macmillan, 1989.

49. LompsherJ. Fur Paychologic der Eerntatigkeit. Berlin, 1977.

50. Lord F. M., NovickM. Statistical Theories of Mental Test Scores. Mass: Addison-Wesley Publ. Co. Reading, 1968.

51. Popham W. J. Criterion-referenced Measurement. Englewood Cliffs, N. J.: Prentice Hall, 1978.

52. Rasch G. Probalistic Model for Some Intelligence and Attainment Tests. Chicago: Univ. of Chicago Press, 1980.

53. Raid G. H., Haladyna Т. К A Technology for Test-item Writing. N. Y,.: Academic Press, 1982.

54. Sax G. Principles of Educational and Psychological Measurement and Evaluation. Washington, 1988.

 

55.Software and Books for all Your Measurement Needs // Catalog Assessment Systems Corporation, 1996.

56.Standardized Achievement Testing in the U. S. A. A Brief Overview. SRA/Pergamon.

57.Task Group on Assessment and Testing Report. National Curriculum. Department of Education and Science, 1988.

58. Thomdike E. L. Applied Psychometrics. Boston: Houghton Miffli Co., 1982.

59. Wright B.D., Stone M.H. Best Test Design. Mesa Press, 1979.

60.Wynne Haslem Evaluation of Results: Learning Opportunities and Pupils Achievement. Paper presented at the Conference «Growing up with science». Goteborg, 1995.

Учебное издание Челышкова Марина Борисовна