Вопросы, которые просят эксперта решить в ходе проведения оценки, предполагают структуру оценки, которую ему нужно использовать. Некоторые вопросы предполагают довольно простую структуру. Например: "Выполняется ли проект по графику и в пределах сметы?" Если у проекта имеются: формальный график деятельности; смета, определяющая, сколько денег можно израсходовать в каждом месяце или в каждом году, то вопросы о прогрессе в данных областях являются концептуально легкими для ответа.
Вопросы, задаваемые о достигнутых по сравнению с планом успехах, требуют от эксперта по проведению оценки сравнить А и Б:
- спланированный график и фактический;
- запланированный бюджет и фактические расходы.
Подробная работа по описанию состояния выполнения проекта может отнимать много времени. Однако сама структура оценки весьма проста.
Другим типичным вопросом, задаваемым в ходе оценки, является вопрос: "Достигает ли проект своих целей?" Этот вопрос выходит за рамки сметы проекта, его графика и видов деятельности и затрагивает результаты проекта. В общем и целом, термин "цель" используется в проекте для определения планируемых результатов или результатов, которых намереваются достичь в ходе его реализации. При этом важно иметь в виду, что результаты отличаются от видов деятельности.
Виды деятельности - это то, что выполняется по проекту:
- проводится обучение;
- выдаются кредиты;
- делаются прививки и пр.
Результаты - это то, что происходит в силу того, что выполняется по проекту:
- люди используют новые умения и навыки на работе,
- предприятия увеличивают производство продукции
- меньше детей умирает от детских заболеваний и пр.
В ходе разработки проекта и на ранних стадиях его реализации заявитель говорит о результатах, которые он предполагает или планирует получить. На этой стадии результаты еще не получены. Они - это те достижения, которые заявитель проекта надеется и ожидает получить благодаря проекту и деятельности по его реализации.
В ходе проекта и позже, после его завершения, эксперт смотрит, каковы же фактические результаты. Это результаты, которые получены благодаря приложению усилий в процессе выполнения проекта. Они могут совпадать или не совпадать с тем, что заявитель намеревался или планировал получить. Если эксперт установит, что фактические результаты очень близки к запланированным, то он может уверенно сделать вывод и заявить в отчете клиенту, что запланированные задачи в рамках проекта решаются успешно.
Если эксперт устанавливает, что фактические результаты лучше или хуже запланированных, то от него обычно ожидают выяснения причин. В этом случае вопрос эксперта будет звучать так: «Что мне нужно изучить для выяснения причин, по которым проект идет не так, как ожидалось?». Существуют две области, которые нужно всегда изучить в том случае, если фактические результаты не согласуются с запланированными.
Во-первых, нужно проверить:
- действительно ли были выполнены мероприятия. Эксперт должен проверить, действительно ли уровень или объем деятельности сопоставимы с запланированными;
- согласуется ли качество товаров или услуг по проекту с запланированным;
- своевременно и вовремя ли были предоставлены товары или услуги.
Второй областью, которую нужно проверить при несовпадении фактических результатов с запланированными, являются исходные предположения проекта. Исходные предположения - это факторы, находящиеся вне прямого контроля проекта.
На практике структуру оценок, в ходе которых задается вопрос "Достиг ли проект поставленных целей?", не всегда легко воплотить. Иногда эксперт обнаруживает, что проект, оценку которого попросили провести, не имеет четких целей. Или часть "А" в тезисе "сравните А и Б" либо отсутствует, либо является бесполезной. Вместо этого, эксперт обнаруживает, что цели слишком туманные, не имеющие никакого значения, поскольку центр внимания и подход проекта радикально изменились в ходе его реализации; четкие, ясные и понятные, но выходящие далеко за пределы анализируемого проекта и пр.
В подобных ситуациях эксперт не может просто сравнивать запланированные достижения с фактическими. Вопросы такого рода требуют обсуждения с клиентами, заказавшими проведение оценки. Как правило, эксперт и клиент могут найти способ решения проблем такого рода. Например, эксперт и клиент могут договориться о том, чтобы: - до того, как будет продолжена оценка, провести совместную работу по прояснению нечетко определенных целей, либо сделать возвышенные цели более реалистическими;
- провести первую серию собеседований с сотрудниками проекта и, возможно, с некоторыми из тех, кто получает блага в форме услуг, чтобы определить, чего, по мнению людей, проект старается достичь, и заменить этими реальными целями те, которые были написаны на бумаге и о которых все забыли. Продолжить оценку, исходя из этих реальных целей;
- не стараться сравнить фактические достижения с планируемыми, а просто попытаться ответить на вопрос: «Чего добился проект?».
В первых двух решениях проблемы плохо сформулированных или неадекватных целей сохраняется идея сравнения А с Б. В третьем - нет.
Оценка, которая отвечает на вопрос: "Чего добился данный проект?" является более широкой, нежели та, в ходе которой нужно просто сравнить запланированную работу с фактической. Она расширяет свой охват, включая в него все результаты проекта, а не конкретный набор планируемых результатов.
У проектов могут быть несколько результатов; некоторые из них являются положительными, другие - отрицательными. Когда эксперт изучает положение проекта для выявления всех видов его воздействия, он по-прежнему использует структуру, которая в основном является описательной. Эксперт может использовать и другие виды структур для проведения оценки, например, такие, как:
- «оценка-указатель» - используется в тех случаях, когда необходимо понять результаты проекта, как положительные, так и отрицательные в полном объеме. При таком виде оценки используется последовательность вопросов с тем, чтобы постараться получить картину разных видов последствий, которые, возможно, вызваны проектом. Так, например, можно вести наблюдение за всеми, или некоторыми выпускниками программы тренинга, чтобы установить, как они используют полученные знания;
- «структура развития» - когда в ходе оценки этого вида определенная группа людей изучается на протяжении длительного времени, если необходимо понять воздействие проекта во времени. Например, можно в течение определенного периода изучать рост развития выпускников программы тренинга или рост детей, которым давали витамины в ходе реализации программы;
- «причинно-сопоставительная» - применяется, если позволяют существующее отчеты. Эта структура не ограничивается простым описанием, а изучает причинно – следственные связи. Она использует собранные на протяжении длительного периода данные о тех, кто получает и кто не получает услуги в рамках проекта, чтобы выявить влияние, которое можно отнести за счет проекта.
Каждый вид оценки требует разработки своих вопросов. При этом важно понимать, что оценка, в ходе которой задается вопрос о достижениях проекта, требует от эксперта, чтобы он был в разумных пределах уверен в том, что результаты, которые он указал в отчете, действительно были вызваны проектом. Это важно не только при экспертизе, организованной по описанной выше схеме при обнаружении плохо сформулированных целей, но и при оценке проекта на этапе воздействия.
При проведении оценки воздействия эксперт работает "в обратной перспективе" со следующими вопросами:
- "Что могло вызвать этот результат?"
- "Известно ли Вам о Проекте "X"? Есть ли основание считать, что Проект "X" мог вызвать данный результат?"
- "Какие другие виды деятельности, которые осуществляются в среде действия проекта, могли вызвать данный результат?"
- "Существует ли государственная (региональная) программа, которая могла привести к данному результату?"
- "Известны ли Вам какие-либо финансируемые из частных средств программы, которые могли вызвать данный результат?" и т.д.
Данный вид структуры оценки и получил название "причинно-сопоставительный". При проведении оценки этого вида исследуется взаимодействие причины и результата путем просеивания имеющейся информации.
Оценка, в ходе которой используется причинно-сопоставительная структура, не требует от эксперта доказательств того, что данный проект был единственной или даже первичной причиной конкретного результата. Однако она требует, чтобы эксперт мог представить какие-либо свидетельства, которые дадут основание поверить в это и которые дадут не абсолютное доказательство, но разумную уверенность в том, что проект, со всей очевидностью, был одним из факторов, приведших к тому результату или достижению, которые эксперт приписывает воздействию анализируемого им проекта.
