Оценивание (рейтинг, экспертная оценка, метод независимых судей)

 

К экспертной оценке как методу исследования обращаются, когда оценка того или иного качества, свойства, вероятности существования связи и т.п. нельзя оценить с помощью имеющихся средств, инструментов, методов. Тогда обращаются к признанным специалистам (одному, нескольким) в исследуемой области, их авторитетное мнение может служить ориентиром для оценки: «экспертные методы используют эвристические возможности человека, позволяя на основе знания, опыта и интуиции специалистов, работающих в данной области, получить оценку исследуемых явлений» [112, с. 13]. Отметим, что экспертная оценка как метод исследования отличается от экспертизы, как процедуры профессионального оценивания: последняя используется в производственной (не научной!) деятельности и не предполагает получения научных результатов.

В.С. Черепанов, приводит следующую характеристику экспертных методов, которые можно применять в области педагогики (те же характеристики присущи экспертной оценке и в психологии):

1. Индивидуальная экспертная оценка (беседа исследователя с экспертом, который отвечает на заранее сформулированные вопросы или анкету).

2. Морфологический экспертный метод (в объекте исследования выделяются основные структурные элементы и рассматриваются многочисленные комбинации элементов, взятых в одном из своих зафиксированных возможных состояний).

3. Оценивание (рейтинг) (метод косвенного наблюдения, состоящий в изучении явления через оценку его «судей-наблюдателей»).

4. Метод самооценки (оценка исследуемым субъектом по шкале самооценки своих способностей).

5. Метод "педагогического консилиума" (разновидность методов оценивания и самооценки, предусматривающая коллективное обсуждение результатов исследования).

6. Метод групповых экспертных оценок (коллективная экспертная оценка, метод Делфи).

Наиболее комплексным и объективным из методов является метод групповой экспертной оценки (ГЭО), так как «считается, что когда оценку дает не один, а несколько экспертов, то "истинное" значение исследуемой характеристики находится внутри диапазона оценок отдельных экспертов, т.е. "обобщенное" коллективное мнение более достоверно» [112, с.15]. При проведении ГЭО проводится индивидуальный опрос экспертов на основе специально разработанных анкет. После статистической обработки результаты могут быть сообщены экспертам, чтобы они могли скорректировать свои прежние оценки. Процедура может повторяться несколько раз «с целью сужения диапазона оценок» [112, с.15], но при исследовании сложных явлений и процессов можно ограничиться простыми усредненными показателями, разработанными при организации экспертизы. При проведении экспертной оценки инноваций ГЭО является наиболее пригодным методом.

Специалисты отмечают, что «экспертные методы не являются формальными в строгом смысле слова. Здесь остается широкое поле для творческой импровизации, например, при составлении анкет, где опыт и интуиция преобладают над алгоритмической ясностью. Результаты работы группы неизбежно будут содержать отпечаток субъективизма, вносимого как самими экспертами, так и организаторами экспертного опроса, что является неизбежной платой за возможность получить количественные оценки там, где раньше ограничивались лишь качественным описанием» [47].

Обобщение опыта

Метод чаще всего применяется в педагогике, под названием «обобщение передового педагогического опыта» (ППО). С его помощью изучается сложившаяся (индивидуальная, коллективная) практика обучения и воспитания, которая содержит «элементы творческого поиска, новизны, оригинальности» [92, с. 7].

Применение метода обусловливается необходимостью выявления таких характеристик опыта педагогической деятельности, которые могут улучшить педагогическую практику в целом: способы преодоления трудностей и устранения недостатков, распространение новых методов, форм организации, путей технологизации учебно-воспитательного процесса, оптимизация внедрения нового содержания образования (учебных планов и программ, учебников, использование средств информационных и телекоммуникационных технологий и др.). Объектами обобщения опыта могут быть как отдельные педагоги, так и педагогические коллективы, коллективы учреждений образования, массовые процессы изменений в образовании (массовый опыт).

Обобщение ППО осуществляется после предварительного установления наличия определенных показателей, признаков, которые свидетельствуют о том, что данный опыт действительно является передовым. К признакам передового педагогического опыта всего относят:

1. Соответствие содержания опыта социальному заказу;

2. Устойчивые положительные результаты;

3. Оптимальное расходование сил и средств;

4. Наличие элементов новизны (см. 92, с. 7-9);

5. Стабильность результатов в применении опыта

6. Технологичность (возможность применения другими практиками)

В ходе обобщения ППО используются как эмпирические (наблюдение, опрос, изучение следов деятельности и др.), так и теоретические (анализ, синтез, моделирование и др.) методы. Результатом обобщения могут быть как тексты научно-методического и научного характера (методические рекомендации, статьи, монографии, научные отчеты и др.), так и иные продукты (фильмы, компьютерные программы и др.).

 

Порядок описания ППО:

1. Какие педагогические задачи решает педагог или коллектив.

2. Характеристики деятельности педагога (ов).

3. Характеристики деятельности ученика (ов).

4. Средства и материальное оснащение деятельности.

5. Внешние условия и ресурсы.

6. Результаты обучения и воспитания.

7. Оценка значимости опыта (на основе анализа новизны, связи с психологическими и педагогическими теориями, имеющимся практическим опытном).

8. Перспективы и ограничения применения опыта, рекомендации по использованию.

Обобщение опыта – метод, который можно отнести по преимуществу к качественным. Его планирование и осуществление требует составления подробного плана, тщательной организации получения необходимой информации (в ее ходе чаще всего приходится возвращаться к отдельным сторонам опыта, уточнять, изменять представления), высокого уровня компетентности при интерпретации результатов.

Тестирование

Тестом (англ. test–испытание, проба)называют кратковременное испытание, с помощью которого измеряется уровень развития или степень выраженности некоторых качеств человека – процессов, свойств, состояний, отношений, знаний, умений, отношений.

Следует различать психологические и педагогические тесты. Если в психологии с их помощью измеряются психические свойства и/или совокупности психических свойств личности, психические состояния, отношения (включая установки и ценности) отдельных людей, групп, общностей, то в педагогике – знания, умения, навыки, установки, которые должны являться результатами процессов обучения и воспитания.

Тесты отличает строгая формализованность содержания и процедур обработки получаемой информации и проверочных процедур самого теста.

Так, обязательно установление валидности теста (от франц. valide–законный, действительный) – под которой понимается определение того, насколько верно определена область исследуемых явлений и насколько точна процедура измерений данной области. В качестве основных видов выделяют конструктную (степень репрезентации исследуемого явления в результатах диагностических процедур), критериальную (соответствие определенного круга критериев измеряемого явления непосредственным мерам исследуемого качества) и лицевую (очевидность для испытуемого условий эксперимента или теста) валидность. Упоминаются и другие виды валидности – содержательная (степень репрезентативности измеряемых явлений области исследуемой области психологических или педагогических явлений), текущая (способность измерений отражать различия рассматриваемого явления у исследуемых), прогностическая (насколько исследуемое качество сохраняется у исследуемых по истечении некоторого времени) и др.

Необходимо также определение надежности теста, которая является одним из критериев его качества. Надежность выражает не только точность, но и устойчивость результатов теста по отношению к действию посторонних факторов, а также его внутреннюю согласованность (насколько каждый элемент связан с общим содержанием теста, насколько он измеряет предмет теста, насколько противоречит другим элементам теста) и определяется путем сравнения результатов, получаемыхв тесте разными диагностами, применением теста в идентичных условиях, повторением теста после истечения определенного промежутка времени и др. В отечественной психологии надежность часто измеряют через коэффициент надежности (характеризует измерительный инструмент), коэффициент стабильности (характеризует стабильность измеряемого свойства) и коэффициент константности (характеризует влияние личности экспериментатора).

 

Психологические тесты

 

Психологический тест –стандартизированное задание, по результатам выполнения которого судят о психофизиологических психических и личностных характеристиках испытуемого.

По объекту изучения чаще всего выделяют тесты общеличностные (изучение некоторой целостности психических свойств личности), личностные (изучение какой-либо особой черты, характеристики, свойства: способности, самоконтроля, черты характера и т.д.) и групповые (изучение групповых психических процессов и феноменов – уровня сплоченности групп, группового психологического климата, статусной структуры

По применяемым способам (техникам) получения информации тесты делят на объективные, чаще всего с применением аппаратуры (психофизиологические испытания различных проявлений деятельности организма), субъективные (чаще всего опросники), тесты достижений (изучение характеристик выполнения заданий: «корректорский» тест, тесты интеллекта, решение задач и пр.), проективные методики (projectivetechniques), в которых «испытуемые отвечают на неоднозначные и неструктурируемые стимулы, что позволяет выявлять их чувства, потребности и конфликты» [113, с. 23].

Психологическое тестирование как метод исследования широко применяется в психологических и педагогических исследованиях, практически единственный метод в дифференциальной психологии. Следует указать на высокую «теоретическую нагрузку» любого известного психологического теста: за ним всегда стоят определенные теоретические положения и позиции, в нем заложены уже проделанные эмпирическая интерпретация и операционализация понятий, процедуры интерпретации результатов. Главное, что следует помнить исследователю, выбравшему в качестве инструмента исследования определенный тест – что за любым из них стоят теоретические представления его автора, и, применяя тест, исследователь принимает и эти теоретические положения, а, значит, и объем и содержание понятий, использованных автором теста, ход его рассуждений, достоверность получаемых в тесте результатов.

Описание специфики психологических тестов можно найти в исследованиях этого метода, например в классическом труде А. Анастази [5] и учебниках по психодиагностике. Для общего обзора тестов и тестовых методик полезно заглядывать в словарь, составленный Л.Ф. Бурлачуком и С.М. Морозовым[15]. Конкретные тесты изучаются в дисциплинах, связанных с психодиагностикой, наиболее распространённые тесты (особенно опросники) можно без труда найти в психологической литературе.

Педагогические тесты

 

Это тесты достижений, выявляющие сформированность знаний, умений, навыков в определенных областях знания для оценки обученности учащихся.

Среди пионеров российского педагогического тестирования, развивавшегося в рамках педологии, следует упомянуть М.С. Бернштейна П.П. Блонского, Г.И. Залкинда, и др. После выхода печально известного постановления ЦК ВКП(б) «О педологических извращениях в системе Наркомпросов», по которому тестирование было признано противоречащим советской идеологии, до 70-х годов тестирование (и психологическое и педагогическое) в нашей стране не осуществлялось, работы зарубежных тестологов оставались неизвестными в отечественной педагогике. Только с развитием идей программированного обучения и внедрением технологического подхода в обучение, в образовательный процесс школ стали вводиться контрольные задания, которые можно назвать тестами. Значительный вклад в развитие педагогического тестирования был внесен Н.Ф. Талызиной, В.П. Беспалько, Б.У. Родионовым, А.О. Татуром и др.

Систематизированное применение педагогических тестов в профессиональном образовании начинается с 1985 г., когда на базе Московского института стали и сплавов был организован Исследовательский центр по проблемам управления качеством подготовки специалистов при Московском институте стали и сплавов (руководитель – В.C.Аванесов), на базе которого осуществлялась подготовка преподавателей к научно обоснованному тестированию студентов.

Сегодня отечественное педагогическое тестирование активно развивается. Сложился круг исследователей (В.С. Аванесов, А.Н. Майоров, Е.А. Михайлычев, Ю.М. Нейман, В.А. Хлебников, М.Б. Челышкова и др.), выходит журнал «Педагогические измерения» (главный редактор – В.С. Аванесов).

Основные формы, виды заданий, требования к оформлению педагогических тестовможно описать в следующем виде [см.1; 41]:

Закрытая форма

· Альтернативные задания (да-нет);

· Задания с одним верным ответом;

· Многовариантные задания: допускается и такая формулировка задания, когда для его правильного решения необходимо отметить несколько вариантов ответа. Такое построение уменьшает вероятность угадывания правильного решения. Необходимо только, чтобы правильным решением считалась именно конкретная комбинация вариантов ответов, все остальные комбинации будут квалифицированы как неверные

· Задания с множественным выбором.

Открытая форма

· требует ответа, сформулированного самим обучаемым. Они подразделяются на задания со свободным (т. е. произвольным) ответом и на задания с ограничениями на ответ.

· позволяет контролировать усвоение знаний не только на уровне распознавания, но и на более высоких уровнях - воспроизведения, умения, интерпретации, синтеза.

· применяется в трудно формализуемых дисциплинах.