Оценка результатов проектной деятельности

 

Таким образом, любой вид проектной деятельности в сфере образования помимо определенного продукта так или иначе «производит» влияние на людей и их взаимоотношения. В связи с этим возникает проблема выбора различных критериев оценки для каждого из видов результата, а также вариативной организации процедуры оценивания. Рассмотрим вопросы, которые в данном случае необходимо решить.

1. Кто именно входит в круг лиц, участвующих в оценке результата проекта?

Прежде всего его непосредственные исполнители. В одном случае — учащиеся: школьники, студенты, слушатели системы повышения квалификации. В другом — менеджеры образования. В третьем — педагоги, методисты, ученые. Что для них оказывается значимым и интересным по итогам проекта, независимо от возраста, должности и опыта? Безусловно, качество продукта, поскольку он является воплощением проектного замысла. А также новый опыт, свои впечатления, ощущения, воспоминания, приобретенные навыки, умения, полученные знания.

Это лица, принимавшие участие в организации и сопровождении проектной деятельности. Им в первую очередь важно установить, достигнуты ли педагогические (социально-педагогические, организационно-педагогические, образовательные) цели, ради которых был затеян проект; какой характер при этом носят полученные дополнительные эффекты. Немаловажно также понять, насколько продуктивными оказались их профессиональные действия.

Это могут быть независимые наблюдатели, эксперты, способные профессионально и отстранение оценить как качество проектного продукта, так и изменения, произошедшие с различными категориями участников проекта, в характере отношений, сложившихся в итоге между ними. Наконец, это люди, для которых непосредственно создавался продукт, его потребители, пользователи. Ими могут стать учащиеся, студенты, родители, другие лица, невольно попадающие в орбиту действия проекта. Их оценка будет носить скорее эмоционально-вкусовой характер, но она не менее важна, поскольку свидетельствует о социальной востребованности и жизнеспособности результатов проектирования. В случае получения сетевого продукта, скажем при создании веб-сайта, через систему обратной связи (гостевая книга, форум) открывается возможность привлечения к его оценке значительного количества «случайных» потребителей, т. е. организации своеобразного плебисцита. В силу многообразия целевых и технологических вариантов оценки в образовательной практике обращаются к внутренней, внешней, общественной экспертизе проектов.

В научно-педагогической литературе неоднократно рассматривался вопрос о том, какими должны быть критерии отбора специалистов для оценки результатов педагогического проектирования. По мнению Б. С. Гершунского, для эксперта прежде всего важна компетентность, которую можно определить с помощью специальных методик. Критериями компетентности он предлагает считать уровень общей эрудиции, глубину знаний по проблеме и информированность в соответствующей области, объективность, способность к коммуникации, интерес к новому и др. Существует также позиция, согласно которой компетентность экспертов целесообразно определять на основе их самооценки собственного опыта, осведомленности, способностей (В. М. Полонский).

Практикуется также подбор экспертов с учетом пожеланий самих участников проекта. Вероятно, возможны разные варианты, но представляется, что состав экспертной группы должен носить комплексный характер. Сфера компетентности этой группы как совокупного субъекта экспертизы должна обеспечивать полноту и объективность оценки всех существенных сторон и контекстов проекта.

2. Что именно подлежит экспертизе и оценке?

Важно уже на начальном этапе проектирования определить, что именно и в какой момент реализации проекта будет подвергаться оценке. Идет ли речь о промежуточных или о конечном результатах. Будет оценка касаться только продукта или также хода проекта, эффектов, которые его сопровождают, например личностных изменений или изменений среды.

3. Какие действия должны быть произведены для того, чтобы оценить проектный результат?

Прежде всего связанные с рефлексивной и оценочной деятельностью (экспертная оценка, взаимооценка, самооценка, рейтинговая оценка). В силу этого участники оценивания должны предварительно овладеть этими видами деятельности. Кроме того, в рамках определения формата каждого проекта должен быть разработан оценочный инструментарий, куда входят критерии и показатели, методики и процедуры оценивания.

Оценке любого продуктного результата предшествует его социализация, т.е. публичное предъявление. Этот момент обязателен, поскольку проектная деятельность носит социальный характер. Уже отмечалось, что формы представления проекта как результата деятельности многообразны. Это может быть тематический доклад, компьютерная презентация, творческий отчет, семинар, защита проекта, рекламная акция. Важно заранее определить масштабы, состав и ролевую позицию аудитории, которая выступит в качестве «приемщиков», «зрителей», «экспертов», «беспристрастных судей», «болельщиков». Причем вид проекта, форма презентации результата и способы его оценки должны быть согласованы в содержательно-смысловом отношении. Так, не совсем уместно формально оценивать театральный проект по пятибалльной системе или бизнес-проект на основе цветового теста, отражающего эмоциональное ощущение присутствующих.

4. Что будет служить критерием оценки результатов проектной деятельности?

В силу своеобразного «раздвоения» результата проектирования в сфере образования критерии его оценивания также будут различаться. Для оценки продуктного результата можно предложить следующий критериальный ряд.

Полнота реализации проектного замысла. Этот критерий позволяет оценить, насколько в полученном в результате проектной деятельности продукте нашли воплощение исходные цели, принципы, требования к качеству, все ли задачи оказались решены.

Соответствие контексту проектирования. Данный критерий необходим, чтобы соотнести проектный результат с природой той среды, того пространства, в которое он объективно «вписывается». Важно оценить, насколько полученный результат экологичен (валеологичен), т.е. не ухудшит ли он состояние природной среды, здоровье людей, не внесет ли напряжение в систему деловых (межличностных) отношений, не начнет ли разрушать традиции воспитания, складывавшиеся годами.

Если оценка производится по критерию «соответствие контексту проектирования», показатели выбираются в зависимости от изначального выбора этого контекста. Например, экологичность и(или) культуросообразность, хроносообразность проекта, т. е. его соответствие контекстам окружающей среды, определенной культуры, времени, если они учитывались при формировании проектного замысла.

Соответствие культурному аналогу. Результат, который планируется получить, как правило, изначально соотносится авторами проекта к какому-либо типу (виду, категории) аналогичных социально-педагогических, образовательных продуктов. Это могут быть образовательный стандарт, программа, образовательная система, педагогическая технология, форма работы, творческое задание и т.д. Для каждого из вариантов существуют принятые в социуме способы нормирования и отнесения к тому или иному классу.

Декларируя на уровне проектного результата разработку федерального, регионального стандарта, учебного пособия, учебника, образовательной или учебной программы, портала или сайта в Интернете, мы предполагаем, что они будут соответствовать общепринятым требованиям, независимо от того, взрослые или дети являются авторами.

Степень новизны. Критерий новизны впрямую примыкает к предыдущему критерию. Проект как «бросок в будущее» всегда соотносится с внесением неких преобразований в окружающую действительность, с ее улучшением. Для того чтобы оценить сделанный в этом направлении вклад, необходимо иметь представление о соответствующем культурном опыте. В данном случае социально-педагогическом, образовательном, учебном, воспитательном. Причем в рамках педагогического проектирования значима не только объективная, но и субъективная новизна результата. Новый для субъекта опыт проектной деятельности важен прежде всего в педагогическом плане, поскольку обеспечивает его развитие.

Создавая в рамках учебного проектирования бизнес-проект, связанный с организацией малого предприятия, школьники, конечно, не изобретают ничего принципиально нового, однако для себя приобретают совершенно новый комплекс знаний и умений, впервые сталкиваясь с подобной практической задачей. И это внутреннее ощущение новизны может служить важнейшим показателем того, что проект удался. Если это ощущение дополняется внешней положительной оценкой качества проекта со стороны эксперта-специалиста, можно считать, что так оно и есть.

В случае создания инновационного продукта, не имеющего аналогов, возникает необходимость обоснования и доказательства его принципиальной новизны. Если авторский коллектив педагогов разработал и реализовал проект, в результате которого на свет появился новый интегративный курс, степень его новизны может быть обоснована на вполне объективной основе, например путем сопоставления с имеющимися предметными и междисциплинарными курсами.

Социальная {практическая, теоретическая) значимость. Этот критерий позволяет оценить степень потенциального влияния проектного продукта на изменение социально-педагогической, образовательной ситуации, возможность его использования или переноса в другие условия. Скажем, подготовленный школьниками театральный проект-спектакль может быть показан многократно перед различной аудиторией. Разработанный проектной командой формат экзамена или тестового испытания — использован в группе пилотных школ. Модель образовательной программы — использована для дальнейшей разработки программ различной направленности в учреждениях определенного типа.

Гуманитарность. Критерий гуманитарности очень значим, поскольку направлен на соотнесение полученного результата с «мерой человека», т.е. с потребностями, интересами, возможностями всех людей, попадающих в сферу его распространения. Представляется, что гуманитарная экспертиза проектных результатов должна войти обязательной составной частью в процедуру оценки любого проекта, связанного с изменением педагогической действительности. Если надо оценить проект образовательной программы по критерию «гуманитарности», показатели должны быть выбраны в соответствии с пониманием структуры гуманитарности как особого качества бытия. В этом случае выясняется присутствие ценностного аспекта, содержательной целостности, наличия культурного контекста, возможности ориентации на познавательные потребности конкретного человека, проблемный, диалогический характер и др.

Эстетичность. Оценка проектного продукта по этому критерию также представляется необходимой. В одном случае речь пойдет об оформлении (доклада, конференции, сайта, презентации, текстового материала, театральной постановки). В другом — о дизайне помещений или пространства. В третьем — об изяществе теоретического решения проблемы.

Собственно педагогический (человеческий) результат проектной деятельности оценивается по иным критериям.

Удовлетворенность участием в проекте. Ее показателями служат субъективные ощущения участников, их желание продолжить опыт участия в проектах. Они могут быть выявлены на основе самооценки или проективных методик. В меньшей степени оценить результат по этому критерию помогают внешние впечатления «сторонних» наблюдателей.

Степень освоения процедур проектирования. В данном случае речь идет о нормированных процедурах, выполнение которых обеспечивает прохождение всех необходимых этапов проектной деятельности, ведущих к получению продукта. Сюда входят умение найти и сформулировать проблему, овладение специфическим языком проектирования, способность провести диагностику, сформировать цель, составить программу и план действий и т.д. Все это достаточно конкретные, «осязаемые» вещи, которые фиксируются и оцениваются организатором или самими участниками проекта на основании имеющихся показателей. При этом могут быть использованы возможности различных оценочных (уровневых) шкал, или ранжирование.

Качество проектного результата в целом позволяет окружающим судить о реальной способности участников производить социально значимый продукт, о наличии творческого потенциала, о способности довести начатое дело до конца, об ответственности, т.е. в конечном счете о неких свойствах, формирующихся и проявляющихся в процессе обучения и (само)воспитания.

Наличие положительных эффектов на индивидуальном уровне (прирост личностных качеств, свойств, характеристик, позитивная динамика отношений). Подобные изменения могут планироваться педагогом на этапе целеполагания. Как уже отмечалось, в рамках собственно педагогического проектирования проект является лишь средством личностного роста. Проявления этого роста расцениваются как непосредственный результат и оцениваются на основании заранее выбранных критериев и показателей. Допустим, в системе повышения квалификации совместное выполнение проектов часто служит средством развития профессиональной компетентности педагогов и формирования проектной культуры.

Даже если акценты в проектной деятельности делаются на получении продукта, факт проявления каких-либо позитивных изменений в личностном плане служит показателем результативности. Показатели, соответствующие педагогическим критериям оценки результата, выбираются и корректируются в зависимости от конкретного вида проектного продукта.

Синергийный эффект (СНОСКА:Синергия — объединение энергии, усилий). Этот критерий позволяет судить о том, произошло ли в ходе совместной деятельности сплочение проектной команды. Сложились ли помимо организационных межличностные связи и неформальные отношения. По сути, формирование такой сплоченной команды, группы, коллектива, если оно произошло, тоже можно расценивать как своеобразный проектный «продукт».

Наличие у участников потребности в дальнейшем развитии своего проектного опыта. Если проект удался, то возникают перспективы продолжения «творения будущего» и на уровне полученного продукта, и на уровне межличностных связей. Как правило, некий предметный результат, если он оказался социально значимым, требует продолжения и развития. Выполненный по одному предмету учебный проект обычно порождает множество новых вопросов, которые лежат уже на стыке нескольких дисциплин. Появление инновационной программы инициирует начало обучения по этой программе, создание ее методического сопровождения, подготовку кадров. Связи кооперации и сотрудничества, сложившиеся в период осуществления проекта, становится жалко обрывать. Творческий опыт совместной деятельности оценивается как наиболее значимое проектное приобретение. Если подобные эффекты наблюдаются, значит, проект достиг своей педагогической цели.

Становление социального партнерства. Это чрезвычайно важный для системы проектирования критерий, производный от свойства проектной деятельности «ветвиться», создавать новые социальные связи по сетевому принципу. Возникновение таких связей, их расширение и укрепление свидетельствуют не только о социальной значимости проекта и его результатов, но и о способности участников устанавливать коммуникативные связи разного уровня на основе кооперации и сотрудничества, т.е. о проявлении определенных личностных характеристик.

Природа проектной деятельности требует оценки не только конечного результата, но и результатов промежуточных процедур. В этом случае у организаторов и участников появляется возможность постоянно корректировать ход своих действий. Ниже в качестве примера приводятся показатели, выделенные для оценки успешности пошагового развития одного из проектов, связанных. со становлением социального партнерства в сфере образования взрослых.

· Развитие новых перспективных направлений и способов участия в процессе модернизации образования взрослых.

· Появление на локальном, региональном, национальном уровнях новых организационных механизмов (например, комитетов, советов, комиссий), ориентированных на решение проблем образования взрослых.

· Появление новых горизонтальных и вертикальных связей в области социального партнерства.

· Создание между партнерами устойчивых сетевых каналов коммуникации.

· Проведение внутренних семинаров по обсуждению и оценке проектного опыта.

· Обнаружение новых местных ресурсов и потенциальных источников финансирования проекта в будущем.

· Степень включенности в совместное планирование работы всех партнеров.

· Степень ощущения участников проекта авторами происходящих позитивных изменений.

· Степень проявления социальной ответственности у партнеров — участников проекта.

· Наличие одобрения и поддержки, оказанных проекту со стороны международных организаций.

Проявление способности продолжить деятельность и найти финансовое обеспечение для продолжения проекта после окончания грантовой поддержки.

На каждом этапе реализации проекта в соответствии с поставленными задачами и последовательностью их решения предполагалось фиксировать наличие (отсутствие) тех или иных признаков. В зависимости от этого корректировалась система действий.

Одной из форм осуществления промежуточного контроля и оценки ситуации проектирования может быть работа наблюдателей, аналитиков, экспертов с отчетами по каждому из этапов. Отчеты могут иметь формализованную либо свободную структуру. В любом случае их содержанием становится представление проделанных процедур (действий, акций) и полученных результатов конкретного этапа. Еще один из распространенных вариантов представления и оценки промежуточных результатов проектной деятельности — семинары и конференции, в ходе которых в режиме фронтальных и групповых дискуссий идет заинтересованное обсуждение представленных материалов, осуществляется рефлексия разного уровня, вносятся предложения по коррекции и развитию проекта, дается дополнительная информация. При сетевом режиме проектирования результаты каждого этапа обычно находят отражение на отдельной «страничке», хранятся в отдельной папке или файле.