Критерии (стандарты) оценки. Виды оценки. Принципы оценки программ.

При проведении оценки необходимо правильно поставить вопросы, выбрать форму исследования, суметь собрать и проанализировать информацию, проинтерпретировать полученные данные, кроме того, нужно уметь достигать компромисс с организацией или сотрудниками программы, но в то же время быть готовым защищать до конца те моменты, по отношению к которым компромисс невозможен. К тому же, необходимо иметь навыки распространения полученных результатов с целью улучшения политики и программ - готовить отчеты и оформлять их в публикации различных жанров. В зависимости от задач выделяют оценки результативности и эффективности.

Оценка результативности — это экспертиза организационного процесса выполнения программы, анализ, причин отклонений в реализации программы от намеченных изначально целей. Оценка эффективности— сопоставление результатов программы с затраченными в ходе ее реализации ресурсами.

Таким образом, в фокусе оценки могут оказаться процесс и/или результаты программы. Если оценка концентрируется на изучении процесса реализации программы, то внимание уделяется соответствию программы предписанному плану (замыслу) или тому, что происходит. Если же цель оценки - результат и эффект программы для ее бенефициариев, или благополучателей (т.е. тех людей или целевых групп, на улучшение жизни которых направлена программа), то в этом случае пытаются найти ответ на вопрос: «Получают ли участники все то, что планировалось?» или «Как влияет на них программа?» Очень часто оценивают и процесс осуществления программы, и результаты'. Причем, результаты, или эффекты программы могут быть как прямыми, так и побочными, ожидаемыми и неожидаемыми.

Откуда же берутся стандарты для сравнения? Получив информацию о процессе и результатах, проводят оценку достоинств программы по сравнению с определенными ожиданиями. Независимо от того, оцениваются процесс или результаты, выражается мнение. К примеру, если проводилась программа, направленная на уменьшение количества беременностей среди девушек подросткового возраста, эксплицитным стандартом будет уменьшение количества беременностей среди участниц программы. Но оцениваться могут не только официальные цели программы, которые могли измениться во время осуществления программы. На данном этапе целью может быть обучение гигиене беременных. В таком случае критериями становятся здоровье беременной и ребенка. Другие стандарты определяются ожиданиями других участников программы. Цели спонсоров, менеджеров, сотрудников и участников программы могут стать критериями оценки. Иногда оценка представляет определенную информацию о программе, оставляя за читателем право судить о ее достоинствах.

Применительно к социальной политике и PR, оценка - это ответ на вопрос, насколько успешна оцениваемая социальная программа. Однако ответить на вопрос «что такое успех программы» не так просто. Критерии успешности программы могут быть самыми разными. Это зависит от того, кто заинтересован в проведении оценки программы, какие результаты он хочет получить и как будет их использовать. Если к тому же учесть, что социальные программы весьма разнообразны, то возникает вывод, что один из важнейших атрибутов оценки и ее исходная точка - это цель оценки.

Оценка социальной программы может быть вызвана самыми разными потребностями, например: анализ выполнения программы; корректировка содержания программы (в том числе, уточнение целей и задач, переориентирование программы на реалистичные результаты); попытка активизировать работу по выполнению программы; повышение эффективности сбора данных; экспертиза дополнительных ресурсных потребностей; анализ причин успехов и неудач выполнения программы; учет ошибок и недостатков программы при разработке других проектов; привлечение внимания общественности; информирование лиц и организаций, принимающих решения; защита программы от критики; анализ разногласий среди исполнителей, возникших по ходу реализации программы.

Оценку можно проводить на разных этапах реализации программы. Предварительную оценку - до начала запуска программы для анализа ее качества и соответствия потребностям города; промежуточную - во время реализации программы для оценки ее первичных результатов и корректировки в случае необходимости; обобщающую - после завершения программы для анализа ее результатов, учета ее недостатков и преимуществ при разработке следующих программ.

Этап подготовки и планирования оценки столь же важен, сколь и ее результаты. Ключевое место в нем занимает структура (или дизайн) оценки. Структура оценки определяет состав и план работ, а также то, какая информация необходима для проведения оценки, как она будет получена и с помощью каких методов будет обработана; сколько времени уйдет на проведение оценки и какие ресурсы понадобятся для ее проведения.

Формативная оценка помогает менеджерам программ, практикам, специалистам, планирующим программу, улучшить программу в процессе ее разработки. Суммамивиая оценка проводится для предоставления информации по завершении программы или, по крайней мере, одного из ее циклов, касательно ее продолжения, прекращения, коренного изменения. Оценка процесса/результатов проводится в течение программы и по ее завершении. Эта информация может быть полезна для формативных целей.

Формативная оценка позволяет улучшить работы программы, отформатировать программу до ее завершения.

Суммативная оценка позволяет сделать заключение об эффективности завершенной программы.

Оценку могут проводить штатные сотрудники или специалисты со стороны, специально нанятые для этой цели. По отношению к тому, кто осуществляет оценку, она может быть внутренней (ее еще называют самооценкой) или внешней. Внешняя проводится приглашенным специалистом. При этом важно, чтобы он не только не работал в вашей организации, но и не был связан с ней отношениями, которые можно расценить как конфликт интересов (например, такой специалист не должен быть прямым родственником кого-либо из руководителей организации или одним из тех, кто получает от нее помощь). Такую оценку, проводимую приглашенным экспертом, еще называют независимой оценкой.

Внутренняя оценка, или самооценка осуществляется теми же самыми людьми, которые работают в организации. Это проще и сложнее одновременно, потому что, с одной стороны, кто же знает организацию лучше, чем ее сотрудники, а с другой — проведение такой оценки потребует дополнительных усилий, а иногда и мужества, чтобы «подняться над ситуацией» и быть действительно объективными.

Принципы оценки программ.

I. Основой оценки программ может быть только точная и достоверная информация.

II. Исполнение работы по оценке должно быть компетентным.

III. Специалисты по оценке программ гарантируют честность и открытость всего процесса оценки.

IV. Специалисты по оценке программ уважают безопасность и достоинство людей, с которыми они взаимодействуют в процессе своей профессиональной деятельности.

V. Специалисты по оценке программ имеют профессиональные обязательства, определяющиеся общественными интересами ч общественным

благом.

Цели оценки могут быть разными, зависят они от ожиданий и потребностей различных акторов - во-первых, кто организовал оценку, во-вторых, на деятельность которых повлияет исследование, в-третьих, кто принимает окончательные решения, в-четвертых, целевых групп населения, которые являются благополучателями программы, - а также от возможностей проведения исследования.

Цели и задачи оценки в каждом конкретном случае удобнее всего формулировать в виде вопросов оценки. Они могут быть самыми разными, например, каковы фактические результаты программы и как они соотносятся с ее целями? Как соотносятся средства, потраченные па выполнение программы, с полученным эффектом? Выполнены, ли все мероприятия, предусмотренные программой? Стремясь ответить на каждый из этих вопросов, оценка будет проводиться по-разному с использованием разных методов сбора и обработки информации.

Помимо разделения оценок на формативные и сумматииные, в соответствии с тем, когда проводятся оценки, они подразделяется на предварительные, промежуточные и завершающих. Предварительная проводится на этапе планирования проекта, при этом оценивается еще не реализация, а предложение вашей будущей работы. Промежуточная оценка осуществляется во время исполнения программы или проекта, чтобы помочь более успешно достичь намеченных целей и привести к планируемым результатам.

Эту оценку также проводят, если в ходе реализации проекта возникли проблемы, причины появления которых неясны. В данном случае говорят о диагностической оценке, которая служит возвращению проекта «на путь истинный». Завершающее оценивание бывает незадолго до завершения проекта или сразу же после него. Оно позволяет понять, что собой представляет проект, достигнуты ли его цели, получены ли планируемые результаты. Если же программу предполагается повторять где-либо еще, завершающая оценка поможет избежать ошибок при реализации подобных проектов в будущем.

Можно также проводить оценку «постфактум». Она реализуется обязательно через какое-то время (скажем, через полгода или год) после того, как проект полностью завершен и можно проанализировать его воздействие. В ходе подобной оценки обычно анализируются все (или почти все) изменения, вызванные проектом, и то, насколько они стабильны, т. е. сохраняются ли изменения беи дальнейшего воздействия со стороны проекта. Для того, чтобы ответить па вопросы оценки, разумно оценивать не всю программу целиком, а ее отдельные ключевые (согласно вопросам) аспекты, которые и подвергаются прицельному анализу. В качестве параметров оценки могут выделяться, в том числе, результативность программы, эффективность организации выполнения программы, социально-экономический эффект, оказываемый программой на решение социальных задач, соответствие программы интересам целевых групп населения.

Ключевая задача любой оценки — улучшить работу проекта или организации в целом, сделать ее деятельность более эффективной и полезной. Наиболее часто подвергаются оцениванию финансовая эффективность, устойчивость и результаты проекта или организации, а также эффективность управления и методология. При этом ставятся вопросы, перечисленные в таблице.

Вопросы для оценки

Таблица