Экспертиза в образовании
План занятия:
1. Понятие экспертизы в образовании, специфика экспертных процедур в образовании.
2. Метод экспертных оценок. Алгоритм экспертизы.
3. Экспертиза инновационных проектов в образовании.
4. Экспертный лист. Паспорт зрелости инновационного проекта.
5. Экспертное заключение.
Вопросы и задания на обсуждение:
1. Выпишите в свою терминологическую карту понятия: экспертиза, экспертология, экспертная деятельность, экспертиза в образовании, метод экспертных оценок, экспертный лист. Установите взаимосвязь между ними.
2. Прочитайте часть статьи Игнатьевой Г.А., Слободчиковой В.И.«Методология экспертизы инновационных образовательных проектов» об особенностях процедуры экспертизы в образовании и ответьте на следующие вопросы:
- Какова специфика экспертизы в образовании? В чем заключаются основные трудности таких процедур при экспертизе инновационных проектов в образовании?
- Что представляет собой критериальная база экспертирования инноваций в образовании? Что позволяет оценить каждый тип критериев экспертизы? Какие результаты можно получить в процессе экспертизы по выделенным критериям?
- Какие формы экспертной работы вы знаете? В чем их преимущества и недостатки?
- В чем сущность метода экспертных оценок?
- Каков основной алгоритм процедуры экспертизы?
«…Несколько слов о категории «экспертиза». Предельно общим обозначением деятельности оценивания какого-либо объекта в соответствии с некоторой мерой (нормой) является понятие экспертизы. Данное средство в настоящее время оказывается максимально адекватным для квалификации, оценки, нормирования инновационных «сдвигов» в образовании на всех уровнях его организации.
Заказ на экспертную деятельность появляется тогда, когда происходят существенные изменения профессионально-педагогической деятельности, когда происходит становление и развитие инновационной педагогической практики, и ее разработчикам необходимо ответить на ряд вопросов. В чем сущность того нового, что делается в образовательной практике в сравнении с прежним опытом? Что необходимо сделать, чтобы создать эффект инновационного развития?
Становление экспертологии, как научной дисциплины, изучающей закономерности, методологию, процессы организации и развития научных основ педагогической экспертизы, связано с развитием инновационных процессов в образовании.
Экспертная деятельность как особый вид человеческой деятельности, относится по своим сущностным характеристикам к аналитическому и исследовательскому типу деятельности, где объектом изучения является развивающая и развивающаяся практика, а в качестве продукта имеет заключение об уровне развития этого объекта.
В соответствии с этим рабочим определение экспертной деятельности может быть следующее: Экспертная деятельность – это особый вид экспертно-аналитической деятельности, требующий специальных знаний об объекте и предмете экспертизы и профессиональных умений (проектировать, анализировать, оценивать, контролировать, управлять и т.д.), результатом которой является представление мотивированного заключения.
Экспертная деятельность, как особый вид исследования имеет такие структурные компоненты:
- сбор и анализ информации,
- определение проблем исследования и их ранжирование,
- формулирование гипотезы и цели исследования,
- планирование,
- определение инструмента и критериев исследования,
- контроль и оценка, корректировка.
Как всякая деятельность, экспертная деятельность, может иметь следующее целеполагание:
1. Оценка степени соответствия рассматриваемых материалов некоторым нормативным моделям, либо существующим требованиям или традициям. Обычно такая оценка выражается в совокупности общих, специальных и конкретных критериев. По ее результатам возможны рекомендации по доработке основных позиций в предмете экспертизы, либо – мотивированный отказ от дальнейшего рассмотрения проекта. Подобная форма экспертной работы (по уже существующей или заранее сформированной системе критериев) может быть названа нормативно-деятельностной.
2. Оценка деятельности проектировщиков по проработке инновационного проекта, приращению их профессионального мастерства, а также оценка деятельности по реализации проекта (степени реализации проекта).
3. Понимание авторского замысла, исходной проектной идеи, выявление ее мировоззренческого контекста, целевых ориентаций проекта и его ценностно-смысловых оснований. Подобная форма экспертной работы может быть названа герменевтической.
Полноценная экспертиза возможна при выявлении трех ее содержательных момента: если известно, что оценивается (объект экспертизы), если существуют способы оценивания (процедуры экспертизы), если выявлены исходные основания оценки (критерии экспертизы). Последний момент оказывается здесь – в ситуации инновационных преобразований – наиболее проблематичным.
В стабильных условиях оценка чего-либо всегда так или иначе обеспечена – уже существующие эталоны, нормы, стандарты, каноны, правила, меры, предписания позволяют с помощью соответствующих средств (процедур) соотнести с ними экспертируемый объект (процесс, явление, свойство, продукт, результат и др.) Однако, возможна ли вообще экспертиза в ситуации инновационного действия, в ситуации выхода в безмерное? И если возможна – то на основании чего и какими средствами?
В уже сложившихся, хорошо структурированных формах общественной практики фиксация того или иного объекта экспертизы обычно не представляет трудностей; сложнее это сделать в практике становления инноваций либо находящейся в процессе кардинальных преобразований. Работа эксперта (способы, процедуры экспертирования) становится проблематичной именно в ситуации инновационных преобразований, где сами объекты и критерии экспертизы оказываются предельно неопределенными.
Экспертиза восходит к практике установления качества какого-либо продукта по его вещественным характеристикам. Классическим типом такой экспертизы может служить, например, дегустация, опирающаяся на суждения вкуса экспертов. Сюда же относится оценка разнообразных произведений художественной деятельности. В обоих случаях не существует специальных мер и нормативов, однако вполне могут быть исторически сложившиеся эталоны и законы – как, например, в живописи, литературе, иконографии и др.
Другой тип экспертизы как особой профессиональной деятельности связан с появлением принципиально нового объекта оценивания. Его можно обозначить как «исполненное действие» или «свершившаяся деятельность», более обобщенно – квалификация некоторого процесса. Примером здесь могут служить многие виды спортивной деятельности (художественная гимнастика, фигурное катание и др.), где объектом оценивания является исполненное действие и – деятельность в целом. С ситуациями «свершившегося процесса» постоянно имеет дело, например, судебная экспертиза, когда по некоторым материальным следам необходимо восстановить случившееся и «исполнить процесс» в следственном эксперименте; также и медицинский консилиум – как пример экспертизы «текущего процесса».
Новый и принципиально особый шаг в развитии экспертизы связан с оценкой предполагаемых изменений и преобразований в социокультурной сфере, к которой целиком относится и сфера образования. Эти предположения выступают, как правило, в форме общественных инициатив, политических деклараций, мировоззренческих концептов, социальных программ и проектов, которые в совокупности ориентированы на будущее. Понятно, что техники и критерии экспертирования того, что есть в своей качественной определенности (как в первом случае), или того, что уже свершилось (как во втором), в данном случае непригодны, ибо предполагаемые преобразования требуют оценки того, чего еще нет. Здесь возникает специальная задача по выявлению и переопределению объектов, критериев и процедур экспертирования этих – еще только возможных и, как правило, инновационных изменений относительно сложившейся практики.
В социальной жизни (а соответственно – и в образовании) изменения происходили и происходят всегда. Но в стабильных ситуациях они совершаются либо в пределах существующих норм и эталонов (и здесь достаточно классических институтов инспекции), либо эти изменения столь растянуты во времени, что качественные преобразования системы приобретают эволюционный характер и она успевает приспособиться к ним. Иное дело – инновации в настоящее время. По своему буквальному переводу, инновация – это «вновление», внедрение новшества в текущий процесс. Так что здесь возникают сразу два объекта экспертной оценки: само новшество и способы (или условия) его внедрения; причем в понятии инновации оба эти объекта сращены, один без другого не имеют смысла.
По кругу выполняемых задач экспертизу инновационных проектов можно сравнить с сертификацией. Критериальная база экспертирования инноваций в образовании определяется характером педагогических объектов, подлежащих экспертной оценке, и наличием (либо отсутствием) общественно и профессионально выработанных нормативов, эталонов, прецедентов. Типологически критерии экспертизы можно развести по трем основным позиция:
1. Общие критерии – позволяют оценить значимость (общественную и профессионально-деятельностную) предполагаемого проекта с точки зрения основных тенденций, целей и направлений развития и реформирования образования на разных уровнях его организации.
Состав критериев:
– актуальность представленного проекта: необходимость и своевременность реализации проектной идеи для совершенствования и развития соответствующего фрагмента образовательной системы;
– новизна (оригинальность) проектной идеи: принципиально новый подход, совершенствование существующей образовательной ситуации, модернизация массово-педагогической практики, предложение альтернативы и т.д.;
– масштабность проекта: локальный, местный, региональный, межрегиональный, общегосударственный;
– системность проекта: фрагментарный или системный характер (сценарий отдельного урока или образовательная программа, набор педагогических действий или образовательные технологии, методическое или научно-организационное обеспечение и т.д.);
– эффективность проекта: улучшение, существенное обогащение, кардинальное преобразование существующей образовательной ситуации;
– транслируемость проектной идеи: экстраординарность условий реализации идеи иди возможность ее тиражирования.
Основой общей критериальной оценкой является соответствие предполагаемых действий концептуальным целям и программным устан6овкам проекта.
2. Специальные критерии – позволяют оценить компетентность автора проектной идеи и содержательность проекта с точки зрения его полноты, соответствия нормативным и понятийным требованиям.
Состав критериев:
– полнота структуры проекта: анализ образовательной ситцуации, развернутая конценция проекта (проектная идея, описание проблем, постановка целей, формирование задач), содержательная и организационная модель образовательной системы или ее фрагмента, план реализации проекта с ресурсным обеспечением, смета реализации;
– степень проработанности структурных элементов проекта: полнота, углубленность, конкретность и т.д.;
– согласованность структурных частей проекта: соответствие анализа ситуации – описанию проблем, концепции – основным направлениям деятельности, целей и задач проекта – существующим и необходимым ресурсам (технологическим, организационных, профессиональных, финансовых и т.д.).
Основой специальной критериальной оценки является соответствие целей, задач программы и плана действий той предметной области образования, относительно которой предполагается инновационные преобразования.
3. Конкретные практические критерии – позволяют оценивать степень обоснованности проекта с точки зрения возможностей его воплощения и жизнеспособности.
Состав критериев:
– реалистичность проекта: соответствие идеи, целей и задач проекта реальной образовательной ситуации, уровень обеспеченности проекта разного рода ресурсами, выявленность источников дополнительных ресурсов;
– реализуемость проекта: наличие, вовлеченность и согласованность действий других субъектов образовательной ситуации с действиями автора проекта при его реализации (характер организационно-деятельностного ресурса);
– инструментальность (управляемость) проекта: наличие научно-организационного обеспечения, способов и плана действий по реализации проекта, сформированность образовательных ресурсов.
Основой конкретной критериальной оценки является наличие специальных механизмов формирования разнообразных ресурсов, профессионально-деятельностных коалиций субъектов из разных общественных практик и их соответствия реальной образовательной ситуации, на которую ориентирован данный проект.
Таковы типологические группы критериев оценки инноваций в образовании, которые в реальной экспертизе могут быть конкретизированы относительно предметного содержания проектной работы и технологизированы относительно ее способов.
В заключение – несколько слов о процедурах экспертирования. Они определяются типом объектов экспертизы и общей формой экспертной работы. Индивидуальная экспертиза может проводиться отдельным профессиональном по четко очерченному предметному содержанию (методика, устав, учебный план и т.п.) в соответствии с либо уже существующими нормативами, либо по специально разработанным критериям; коллективная экспертиза – по достаточно формализованному методу «Дельфи», когда отдельные фрагменты проекта получают взвешенную оценку группы профессионалов; комплексная оценка – полипрофессиональная и полипредметная – предполагает разработку специальной технологии по согласованию совокупности групповых и индивидуальных экспертиз относительно сложного, многоаспектного проекта в рамках единого экспертного заключения; здесь наиболее эффективны метод компетентных судей и метод прецедентов, используемых как в режиме нормативно-деятельностной, так и в режиме герменевтической экспертизы, либо – и той и другой.
И, наконец, последняя позиция экспертной работы – экспертное заключение, в котором раскрывается характер объектов экспертирования, критериальная база и техники экспертирования.
Прочитайте материал о методе экспертных оценок и выполните задание, предложенное после данного материала.
Экспертиза конкретного проекта группой экспертов осуществляется по заранее выработанным критериям. Прежде чем приступить к экспертизе необходимо решить концептуальные и технологические проблемы.
К концептуальным относятся:
- выбор шкалы измерения (Измерение – это применение набора правил, по которым определенным характеристикам объекта ставятся в соответствие числа или символы. Введение показателей сравнения позволяет установить отношения между объектами, например – лучше-хуже, больше-меньше,т.п.),
- обоснование весов критериев (для оценки весов критериев можно также воспользоваться методом экспертных оценок, но можно применить и метод качественного упорядочивания критериев по важности),
- методы оценки согласованности мнений экспертов и формирование итогового мнения.
К технологическим:
- обоснование числа экспертов в группе (также необходима рабочая группа для организации мероприятий по отбору экспертов, их опросу, обработке полученной информации),
- обоснование набора критериев (не всегда удается обосновать набор критериев, необходимых и достаточных для принятия решения. При формировании набора критериев можно использовать следующие подходы: попросить каждого эксперта дать свое подмножество критериев, а затем объединить все предлагаемые подмножества в одно множество; если существует ограничение по числу критериев, то нужно упорядочить критерии по частоте упоминания; выбрать пересечение подмножеств критериев, предложенных экспертами),
- обоснование числа анализируемы одновременно альтернатив (Число одновременно оцениваемых альтернатив не должно превышать девяти).
В процессе применения метода экспертных оценок могут возникнуть некоторые проблемы, пример решения которых приведен в Таблице 5.
Таблица 7. Проблемы, возникающие при использовании методов экспертной оценки и варианты их решения
Алгоритм процедуры экспертизы:
- Эксперт получает материалы для анализа.
- Изучив представленный материал, а также руководствуясь собственным опытом и знаниями в области экспертируемой тематики, эксперт разрабатывает экспертное заключение (по каждому проекту, заявке, т.п.). Оно готовится с использованием специальной экспертной анкеты, путем проведения по установленным критериям количественной (бальной) и качественной оценки (выбором одного из предложенных вариантов уровней оценки), с соответствующим обоснованием оценок в письменном виде.
- Подготовка обобщенного заключения. После завершения оценки всех проектов формируется обобщенное заключение, содержащее таблицу с ранжированными, по суммарному количеству выставленных баллов, проектов. В данном заключении экспертом дается краткий сравнительный анализ рассмотренных проектов с указанием причин отданного предпочтения в отношении рекомендуемого победителя конкурса. Заключение направляется куратору экспертизы (в рабочую группу). На основании обобщенных заключений куратор экспертизы (рабочая группа) готовит общее заключение.
Экспертизу проектов в области гуманитарных и общественных наук проводят Российский гуманитарный научный фонд (РГНФ)[7] и Российский фонд фундаментальных исследований (РФФИ)[8]. В РГНФ экспертная оценка формализуется в виде ответов на вопросы экспертной анкеты и предусматривает следующие варианты итогового заключения эксперта:
5 — проект заслуживает безусловной поддержки;
4 — проект заслуживает поддержки;
3 — проект может быть поддержан;
2 — проект не заслуживает поддержки;
1 — проект не заслуживает рассмотрения экспертным советом.
Задание: В соответствии с данной шкалой вам предлагается экспертный лист по оценке инновационных образовательных проектов (см. Приложение 1).
A. Обсудите его в группе и договоритесь, будете ли вы использовать его в данном виде или он нуждается в некоторой переработке. О своем решении сообщите другим группам экспертов и обсудите с ними количество критериев, которые вы будете использовать для оценки инновационных проектных предложений на получение статуса ФИП (можете использовать критерии, предложенные в экспертном листе).
B. Проведите процедуру экспертизы каждого проектного предложения и определите уровень его зрелости (см. Профиль зрелости проекта – Приложение 1).
C. На основе профиля зрелости лучшего проектного предложения составьте обобщенное экспертное заключение (мнение о лучшем проектном предложении у разных групп экспертов может не совпасть). В экспертном заключении (итоговой оценке) необходимо обобщить результаты анализа проекта:
- Особенности проекта (НИР, программа развития, программа эксперимента и т.д.)
- Потенциал проекта
- Профиль зрелости проекта с комментариями
- Обобщенная оценка
- Преимущества, слабые стороны и риски проекта.
D. Представьте экспертное заключение в письменном виде.
Приложение I. Экспертный лист «Критерии оценки инновационных образовательных проектов»
| № | Критерии | Показатели | Балл |
| Характеристика инновационной направленности проекта | Соответствует приоритетам государственной образовательной политики РФ, развивается в логике мировых образовательных процессов | ||
| Соответствует приоритетам государственной образовательной политики РФ | |||
| Соответствует миссии образовательного учреждения | |||
| Проект носит инициативный характер | |||
| Проект не содержит инновационного потенциала | |||
| Научный уровень проекта | Высокая научная значимость, принципиальная новизна, мировой уровень ведущихся и планируемых научных исследований | ||
| Основные научные результаты получены ранее, но не утратили актуальности. Ведутся прикладные исследования на мировом уровне | |||
| Научные результаты имеют российский приоритет, прикладные исследования представляют интерес в России | |||
| Научный задел пока актуален для данного проекта | |||
| Собственного задела нет | |||
| Технологический уровень (реализуемость и воспроизводимость) | Имеются принципиальная новизна и оригинальность предлагаемых решений, наличие детального плана внедрения проекта, его операциональность, воспроизводимость в массовой практике | ||
| Новизна предлагаемых решений носит субъективный характер. Наличие плана внедрения проекта и собственных условий для его реализации | |||
| Недостаточная операциональность плана внедрения проекта, необходимость наличия особых условий для его реализации | |||
| Проект реализуем в конкретном ОУ | |||
| План внедрения проекта отсутствует | |||
| Эффективная инновационная инфраструктура, интегрированная в экономическое пространство региона | Наличие эффективной инновационной инфраструктуры, наличие двух и более компонентов, взаимосвязанных между собой, диверсификация источников финансирования проекта, системная интеграция в экономическое пространство региона | ||
| Наличие инновационной инфраструктуры, диверсификация источников финансирования проекта, отсутствие системной интеграции в экономическое пространство региона | |||
| Наличие отдельных элементов инновационной инфраструктуры, использование традиционных источников финансирования, отсутствие механизмов интеграции в экономическое пространство региона | |||
| Наличие отдельных элементов инновационной инфраструктуры, функционирующей только за счет внутренних ресурсов | |||
| Отсутствие инновационной инфраструктуры | |||
| Система управления проектом | Полнота всех функций управления проектом (наука, бизнес, производство). Наличие инновационной стабильной системы управления проектом, наличие организаций-партнеров, участвующих в управлении проектом. | ||
| Наличие инновационной развивающейся системы управления проектом, наличие организаций-партнеров, участвующих в управлении проектом | |||
| Наличие инновационной функционирующей системы управления проектом, ориентация на развитие проекта, наличие организаций-партнеров, не участвующих в управлении проектом | |||
| Наличие традиционной функционирующей системы управления проектом, нет ориентации на развитие проекта | |||
| Традиционная схема управления проектом, снижающая его инновационный потенциал |
Профиль зрелости проекта
| № | Критерии | уровни | ||||
| Характеристика инновационной направленности проекта | ||||||
| Научный уровень проекта | ||||||
| Технологический уровень (реализуемость и воспроизводимость) | ||||||
| Эффективная инновационная инфраструктура, интегрированная в экономическое пространство региона | ||||||
| Система управления проектом |
Примечание: В экспертном заключении (итоговой оценке) необходимо обобщить результаты анализа проекта:
- Особенности проекта (НИР, программа развития, программа эксперимента и т.д.)
- Потенциал проекта
- Профиль зрелости проекта с комментариями
- Обобщенная оценка
- Преимущества, слабые стороны и риски проекта.
Источники и литература:
1. Игнатьева Г.А., Слободчикова В.И. «Методология экспертизы инновационных образовательных проектов» - http://www.niro.nnov.ru/?id=353
Инноватика и экспертиза. Научные труды Федерального государственного бюджетного научного учреждения «Научно-исследовательский институт – Республиканский исследовательский научно-консультационный центр экспертизы». – М.: ФГБНУ НИИ РИНКЦЭ, 2011. – Вып. 2(7). – с. 58-66.
3. Писарева С. А. Качество современного диссертационного исследования по педагогике: методология оценки. – СПб.: Изд‐во РГПУ им. А. И. Герцена, 2005. – 300 с.
4. Подуфалов Н. Д., Ханнанов Н. К. Разработка подходов к анализу эффективности научных исследований в РАО (на примере мониторинга результатов исследований 2007–2008 гг.) // Проблемы современного образования. – 2011. – №2. – С. 78–98.
