• Выпуски
  • Основные выпуски
  • Приложения
• Авторам
  • Правила публикации статей
  • Технические требования
  • Оплата
  • Лицензионный договор
  • График публикаций
• Редакционный совет
• Публикационная этика
• О журнале
  • Общая информация
  • Список авторов
  • Контакты
• Издательство МЦИТО

Редакционно-издательские услуги Международные публикации Бесплатные вебинары

Введение в оценку программ и проектовИрина ЕфремоваГартнезависимый консультант по оценке программпо заказу фонда «СораУотничествоПСистематизировать знания, имеющиеся у участников программы оУучения , в оУласти проектного управленияОзнакомить участников оУучения с принципами построения системы мониторинга и разраУотки стратегии оценки проекта, стандартами и принципами выполнения данной деятельностиǤ ОтраУотать Уазовые практические навыки, позволяющие самостоятельно разраУатывать систему мониторинга проекта, стратегию его оцени, производить сУор и анализ информацииǤСформировать представление участников программы оУучения о возможном спектре результатов и продуктов оценки и их потенциальном использованииǤ2Задачи программы оУученияРаниотол фцлнро о чтанкацты хцффлччофнасьнфп клятлсьнфчто Часть1.3Стандарты оценки программ AEAСтандартОписаниеПолезность Оценка должна быть направлена на обслуживание информационных потребностей соответствующих пользователей.ОсуществимостьДанные стандарты направлены на обеспечение реалистичности, разумностии экономичности оценки.УместностьОценка должна быть осуществлена в соответствии с этическими нормами и с должным уважением к достоинству тех, кто вовлечен в процесс оценки, и тех, на кого оказывают влияние её результаты.ТочностьОценка должна содержать технически адекватную информацию о характеристиках рассматриваемой программы.4ПРИНЦИПЫ ОПИСАНИЕОсновой оценки может быть только точная и достоверная информацияСоблюдение определенных технических стандартов, позволяющих получить точную и достоверную информацию, например, методы сбора информации должны быть воспроизводимыми. Информировать клиента о подходах к проведению оценки, их преимуществах и ограничениях. Исполнение работ по оценке должно быть компетентнымСпециалист по оценке должен гарантировать, что обладает достаточными знаниями и навыками для выполнения работ.Специалист по оценке должен действовать в пределах своей профессиональной компетенции и отказываться от проведения оценки, выходящей за эти пределы.Честность и открытость всего процесса оценкиНа стадии заключения контракта должны быть обсуждены с клиентом задачи оценки, стоимость работ, методы сбора информации и порядок использования результатов оценки.Необходимо избегать ситуации конфликта интересов и своевременно информировать об этом клиента.Если в ходе оценки происходят события, которые могут повлиять на её результаты, информировать об этом заинтересованные стороны.Принципы деятельности IPEN(1/1)5ПРИНЦИПЫ ОПИСАНИЕУважение безопасности и достоинства людей, с которыми взаимодействует оценщикСледует проводить работу и сообщать о её результатах с уважением к достоинству каждой группы заинтересованных лиц и их особенностей (культура, религия, возраст, пол, этническая принадлежность).Информация для проведения оценки должна предоставляться добровольно, а люди её предоставившие должны иметь четкое представление о том, как она будет использоваться. Строго соблюдать условия конфиденциальности, оговоренные в контракте с клиентом.Профессиональные обязательства оценщика определяются общественным интересом и общественным благомЕсли при постановке задачи не принимаются во внимание некоторые отдельные значимые социальные факторы или мнения заинтересованных групп, специалист по оценке должен тщательно рассмотреть обоснованность такого подхода.Результаты оценки должны быть представлены ясно, чтобы всезаинтересованные стороны могли понять, процесс и результат оценки. Специалисту по оценке следует соблюдать баланс между нуждами клиента, финансирующим оценку, и прочими нуждами, обсудив, если необходимо конфликтную ситуацию с клиентом и другими заинтересованными лицами найдя взаимовыгодное решение. Принципы деятельности IPEN(1/2)6Вто такое оценка?•«Оценкаесть только то, что она есть, и не более –а именно определение достоинства или ценности. А то, для чего она используется –это уже совсем другое дело.»Майкл Скривен•«Программная оценка –это процесс аккуратного сбора информации о программе или её отдельных аспектов с целью принятия необходимых управленческих решений.»К. МакНамара•«Оценка программ –это систематический сбор информации для заранее определенных пользователей, с заранее определенными целямипо широкому кругу вопросов, связанных с программой.»М. Паттон7«Оценка –это системный путь к улучшению программы или проекта и представления информации о его результатах заинтересованным сторонам и широкой пуУликеǢ 8путь, который предполагает использование процедур, следующих стандартам полезности, выполнимости, уместности и аккуратностиПǤАгентство по развитиюМониторинг и оценкаРазличияМониторинг рутинное, повседневное отслеживание ситуации, сравнение текущего положения дел с планомпроекта/программыОсновной вопрос мониторинга «Как идут дела?»Оценкапредполагает более глубокий по сравнению с мониторингом анализ происходящего, проводится время от времени, по мере необходимости.Основные вопросы оценки «Ну и что?», «Почему?»СходстваОсновное предназначение М&E–предоставлять информацию для принятия своевременных управленческих решений. Требования к информации М&E–информация должна быть достаточной, своевременной,надёжной и достоверной.9Оценка и программный аудитОЦЕНКААУДИТсрокиПроводится на ключевых этапах реализации программыПроводится периодически –в соответствии с требованиями законодательствацельПроанализировать причины достижения/не достижения запланированных результатов; создать новые знания, имеющие практическую ценностьОпределить соответствие деятельности законам, стандартам и требованиям, предъявляемым к конкретной сфере деятельности. Проанализировать причины отклоненийиспользованиеИспользуется для улучшения работы по программе и для уточнения планов на будущееИспользуется для оптимизации деятельности отдельных программ и организации в целом, а также повышения её экономической эффективности.инициатор проведенияРешение о проведении принимается исполнителем или доноромРешение принимается руководством организациикто проводитВнешние или внутренние экспертыоценщики либо самостоятельно исполнители программыПроводят внешние или внутренние аудиторы10Фазы проектного цикла11Теория изменений12Логическая модель проекта13Тохфсфйоя фцлнроЧасть2.14Основания для типологизации15Типы оценкидормирующаяоценкапроводитсявовремяработыпроектасцельюоказатьсодействиевреализациипроектакдостижениюнамеченныхрезультатов.Суммирующаяоценкапроводитсяближекконцупроекта,либопослеегозавершениядляобобщениядостиженийпроектаиизвлеченныхуроковипредставлениязаинтересованнымлицам(донорам,партнерам,Советудиректоров)определенныхвыводовирекомендацийдлябудущихпрограммилипроектов.16Формирующая оценка17Оценка потреУностейПотребность–несоответствие или разрыв между реальным и желаемым положением дел в отношении какойлибо группы лиц или ситуации. Оценка потребностейможет рассматриваться как возможность привлечения всех заинтересованных сторон к определению целей и приоритетов программ и политик. Подходы к проведению оценкиподход «сверхувниз»подход«снизувверх»18Оценка исходной ситуации•Обеспечивает точку отсчета, необходимую для дальнейшего сравнения. •Проводится до начала активной фазы реализации программы.•Основой объем усилий фокусируется именно на планируемых результатах проекта.•Оценка исходной ситуации –именно тот компонент, который чаще всего забываю в процессе разработки и запуска программы. 19Когда осуществляется оценка исходной ситуации?Оценка проводится за несколько недель до начала проектной деятельности. Рекомендуется не допускать значительного временного промежутка между оценкой исходной ситуации и началом активной проектной деятельности. Для долгосрочных, крупных и многокомпонентных программ рекомендуется проводить оценку исходной ситуации непосредственно перед началом реализации каждого из компонентов. Указанное выше правило распространяется и на проекта с широкой географией реализации.20Суммирующая оценка21Воздействие–это отсроченный эффект, произведенный во внешней среде результатами программы. Воздействие бывает: Позитивным и негативнымПрямым и непрямымНамеренным и непреднамереннымЧасто воздействие путают с результатами программы (краткосрочными, промежуточными или отсроченными).Воздействие программы 22Оценкавоздействия программыПроизошедшие изменения во внешней средеВоздействие программы23Стандартные вопросы оценки воздействияМогут ли изменения, произошедшие в целевой группе программы, быть объяснены данной программой, или они возникли под воздействием какихто других параллельных фактов?Имеет ли программа какието побочные (неожиданные) эффекты, позитивные или негативные?Что случилось бы с данной группой благополучателей, если оцениваемая программа не была реализована?Различается ли эффект воздействия программы для разных групп благополучателей, разных регионов и в различные промежутки времени?В какой степени реализованная программа повлияла на развитие потенциала организации/сообщества, реализовавшего программу?24Внутренняя оценкаВнешняя оценка+Хорошее знание программ, культуры и атмосферы организации Свежий взглядДоверие участников программыНезависимость и объективность, повышающие доверие к результатуОтносительно дешевоПрофессионализм и опытВозможность проследить за выполнением рекомендацийПолностью сосредоточен на задаче проведения оценки_Отсутствие независимостиОтстраненность может привести к неправильно поставленным акцентамМожет свестись к PR акцииМожет не хватить авторитетаМожет не хватить знаний и навыковПосле завершения работ организация может потерять много важной информацииНехватка времени изза занятости по др. проектамНе несет ответственности за использование результатов и рекомендаций оценкиНизкое доверие к результатам оценкиВысокая стоимость услуг25СамооцениваниеПреимущества:•Умениеи навыки, необходимыедляпроведениясамооценивания, рассосредоточенымеждувсемичленамиорганизации•Большаявероятностьиспользованияполученныхданных•Процесссамооцениванияпредставляетразвивающуюдеятельность•РентабельностьНедостатки:•Оценкатребуетвремени, а при самооцениванииейможетбытьотведенавспомогательнаяроль•Не все сотрудники организации обладают навыками и знаниями, необходимыми для проведения оценки, или не желают развивать их•Сложнееобеспечитьнадежностьданныхи объективностьвыводов, таккаквсеучастникиоценкиявляютсясотрудникамипрограммы26Зачем?Для каких целей необходима оценка? Какие решения будут приниматься на основе её результатов?Когда?На каком этапе проектного цикла необходима информация и какая именно? Кем?Чьими силами будет проводиться оценка?Для кого?Кто будет использовать информацию, полученную в результате оценки и каким образом?27Стратегия оценкиǣ основные элементыСочтлта тфнотфцонйа хцфлртаЧасть3.28Индикаторы не могутобъяснить, почему и как происходят ожидаемые изменения.Например, по определенным параметрам мы можем определить, что дует ветер, но данные параметры не могут объяснить нам, почему он дует либо, каким образом это может повлияет на нас. Основные определенияǣ индикаторИндикаторы –параметры, используемые для количественногоопределения результативности действия, выполненного в рамках проекта, направленного на достижение(i) краткосрочных, (ii)промежуточных и (iii)долгосрочных результатов29Вто неоУходимо измерять?После того как определена логика выполнения проекта, необходимо определиться с наиболее подходящими измерителями результативности программы. Измерители используются с определенной периодичностью на протяжении всего периода реализации программы. иаще всего измерители используются для измерения: •Продуктов и услуг / Outputs•Продуктивности / Productivity•Качества услуги / Service quality•Удовлетворения клиентов / Customer satisfaction •Результативности / Effectiveness •окономической эффективности / Costeffectiveness.30Индикаторы могут Уыть представлены в видеǣАбсолютных чиселСредних значений/величинПроцентовИндексовКоэффициентовДолей/пропорций31Индекс восприятия коррупции(ИВК) ранжирует страны по оценкам степени распространения коррупции среди государственных служащих и политиков. ото составной индекс, своеобразный «опрос опросов», основанный на данных экспертных опросов и исследований в отношении коррупции, проводимый различными независимыми организациями. Индекс отражает мнение предпринимателей и аналитиков из различных стран мира, в том числе и экспертов, проживающих в стране, в отношении которой проводилось исследование.В 2008г. в ИВК включено 180 стран. Основание для включения –не менее 3 надёжных источников информации, относящейся к коррупции. Включение в Индекс не является показателем наличия коррупции в стране, а зависит лишь от доступности соответствующих данных.Источники для составления ИВК–13 опросов и исследований, проведенных 11 независимыми организациями.Данные для составления ИВК предоставляются ТИ бесплатно. Некоторые источники предоставляются на условиях неразглашения информации, в то время как многие из них находятся в открытом доступе. Более полную информацию на сайте: http://www.transparency.org/cpi3233Концепция УМНДА(SMARTд индикаторовS M A R TСПЕЦИФИЧНЫЕ(SPECIFIC)Показатели должны быть четко взаимосвязаны с теми сферами деятельности, где ожидаются изменения в результате программной деятельности. УМЕСТНЫЕ(RELEVANT)Отслеживающие и измеряющие действительно то,что планировалось отслеживать и измерять на этапе разработки программы ДОСТУПНЫЕ(AVAILABLE)Возможные для сбора реальной и достоверной информации в течении достаточного промежутка времени по приемлемой стоимости.ИЗМЕРЯЕМЫЕ(MEASURABLE)Конкретные и четко определенные, не допускающие неоднозначной интерпретации и не смешивающие разные аспекты эффективностиСВОЕВРЕМЕННЫЕ (TIMEBOUND)Дающие представлениео том, когда можно ожидать достижения запланированного результата33Дополнительные треУования, предъявляемые к индикаторамБыть надёжными, не допуская зависимости процесса сбора и анализа данных от того, кто будет проводить измерение, собирать и анализировать информацию͖Быть экономически обоснованными͖Не стимулировать нежелательное или несоответствующее поведение исполнителей программы/проекта.34Выбирается то, что легче измерить, а не то, что следовало быНет ясного понимания различий между продуктами (outputs) программы/проекта и индикаторамиНет логической привязки ожидаемых результатов к задачам проекта/программыНе дается четкого определения индикаторовНе указаны единицы измеренияОсновные проУлемы, встречающиеся на практике35Результат проектаПродукт проектаСоциальный эффектМодель измерителей проекта или план мониторингаИзмерительСрок достиженияжелевое значениеОтветствен.36Пцфилклнол фцлнроЧасть4.37Для каких целей нам необходима оценка? Какие решения будут принятына основании её результатов?Кто будет использовать информацию, полученную в ходе оценки? Какого рода информациянам необходимадля принятия решений: о процессе реализации программы, о степени удовлетворенности получателейуслуг по данному проекту, о внешних и внутренних факторах, повлиявших на ход реализации, об эффекте программы?Каковы будут источники информации? К какому сроку нам необходима данная информация?Какими ресурсами мыобладаете для проведения данной оценки?38Вопросы, ответы на которые должен знать Заказчик оценкиТипы стейкхолдеровоценки Влены коллегиальных органов управленияНепосредственные УлагополучателиПотенциальные партнерыОппонентыПредставители органов властиПотенциальные донорыИсполнители проекта СМИ39Анализ участия заинтересованных сторонГруппа заинтересованных лицВ чем может состоять их интерес в оценке проекта?При каких условиях готовы участвовать?Возможная роль в оценке проекта?40•Краткое описание организациизаказчика•Предмет оценки •жели и задачи оценки•Вопросы оценки•Источники информации•Методология проведения оценки•аребования к продуктам оценки•Планируемое использование продуктов оценки•аребования к заявке на тендер•аребования к команде оценщиков •Критерии отбора заявки на тендер•Сроки проведения работ•Контактная информация41Основные элементы ТЗ на оценкуВопросы оценки являются уточнением и детализацией целей оценкиǤ Вопросы оценки не являются теми вопросами, которые Уудут заданы респондентам в ходе сУора информацииГлавное треУование к вопросам –ясность, конкретность и соответствие целям оценкиǤ Исключительно важно доУиться единого понимания терминологии всеми участниками процесса. 42Вопросы оценкиФакторы, влияющие на качество информация 43Источники информацииПроектная документацияОтчеты по проектуОфициальные данныеОсновные информанты Вводная информация об организацииНаучная литератураГазеты, журналыInternetИсследовательские отчетыКонкретные случаиОкружающая средаБлагополучателиПартнерыДоноры44Методы сУора информации•Количественные методы•Качественные методыОсновные характеристикиМетоды сбора данныхКоличественный подходВысоко структурированныйНе просто разработать инструментарийНадёжныйЛегко анализировать Не всегда даёт ответ на вопрос «Почему»Опрос(телефонный, компьютерный, самостоятельный)Качественный подход НеструктурированныйПросто разработать Большой объем информацииТребует больших трудозатратРиск необъективного анализаНе просто анализироватьФокус группаНаблюдениеИндивидуальное интервьюОбзор доступных данных45Изучение данных/архивные данныеаипы источников:•дайлы/ записи•Компьютерные базы данных•Статистические данные•Документы(бюджеты, политики, процедуры, карты, описания орг. структур и т.д.)Преимущества и недостатки использования вторичных данных:ПреимуществаИспользование вторичных данных часто дешевле и быстрее, чем самостоятельный сбор исходных данных. Предоставляет возможность изучить предмет в его развитииПолезен при определении интересов, позиций, общественного восприятия, политического климата и т.д.НедостаткиДанные могут быть неполными.Данные могут быть неточными или недостоверными.Может быть достаточно трудно обнаружить необходимые документы.Может потребовать значительных затрат времени для анализа.46Фокус группаНебольшая группа людей, собранных вместе для неформального обсуждения определенных вопросов под руководством фасилитатора обсуждения. Основные характеристики метода:•Небольшая группа(612 человек)•Уютное, располагающее к беседе окружение•Опытный модератор и помощник, делающий записи•Денежное вознаграждение за участие в интервью •Количество задаваемых вопросов ограничено: все вопросы являются открытыми, беседа строится от обсуждения простых вопросов к более сложным •Вся информация записывается на аудиолибо видеоаппаратуру Преимущества и недостатки метода:ПреимуществаПозволяет собрать большой объем информации в относительно короткие сроки; может быть дешевле, чем проведение индивидуальных интервью; может исследовать различные стороны одного вопроса; достаточная гибкость в процессе использования. НедостаткиНевысокая структурированность; невозможность количественного анализа; анализ данных достаточно затратенпо времени; метод более дорогой по сравнению с опросом. 47НаУлюдениеНенавязчивое Наблюдаемый не в курсе, что за ним наблюдают. Например, если вы наблюдаете за происходящим в классе, находясь при этом за двусторонним стеклом, скрывающем вас от глаз тех, за кем вы наблюдаете.Навязчивое Предмет наблюдения осведомлен о том, что за ним наблюдают. Например, если вы приходите в класс и представляетесь всем присутствующим наблюдателем. Преимущества и недостатки наблюденияПреимуществаПредоставляет возможность напрямую получить информациюПредоставляет шанс для того, чтобы выявить неожиданные результаты проекты Позволяет оценщикам проникнуть в суть и понять ситуацию/контекст проектаОсуществляется в естественной, неструктурированном обстановке.НедостаткиДорогой и достаточно затратный по времени способ Требует хорошо подготовленных наблюдателей, в совершенстве владеющих данной техникой Может оказывать влияние на поведение тех, за кем наблюдают 48Опросаипы опросов:•Анкета, заполняемая опрашиваемыми людьми•аелефонный опрос•Компьютерный опросСтруктурированный Анкета/опросный лист легки для заполненияСобранные данные легко анализироватьИдеально подходит для сбора и анализа информации при крупной выборкеНеструктурированныйБогатый источник данныхБолее ёмкий по трудозатратам Тяжелее анализироватьПреимущества и недостатки опросаПреимуществаПодходит лучше всего, когда необходимо проанализировать то, о чем люди думают, во что верят и как себя ведут. Собранные данные легко проанализировать. Относительно недорогой метод по сравнению с качественными методами сбора и анализа.НедостаткиРеспонденты могут не в полной мере аккуратно либо охотно отвечать на вопросы об их поведении. То, что люди говорят или думают не всегда то же самое, что они делают в реальности. Достаточно холодный и обезличенный метод.49Стратегия сУора данных Решение о сборе данных должно основываться на ответах на следующие вопросы:•ито именно вы хотите узнать? (что важнее: цифры ИЛИ истории)•Где находятся эти данные?(файлы, люди, окружение)•Какие ресурсы для этого имеются?(временные, финансовые, человеческие)50Триангуляция Использование трёх и более теорий, источников или типов информации или типов анализа, чтобы проверить и подтвердить гипотезу. Комбинируя разные источники данных, методы или теории, оценщик стремится преодолеть предубеждения и склонности, которые имеются у отдельных респондентов, отдельных методов, отдельных наблюдателей или теорий. 51Ичхфсьнфианол цлнусьтатфи фцлнроЧасть5.52531.Отчет по оценке2.Исполнительное резюме3.Устная презентация4.ПуУликация в профессиональной прессе5.ФотоподУорка НаиУолее распространенные типы продуктовКакие продукты выУрать?54Проинформировать заказчика оценки, представив ему основные факты, выводы и, если неоУходимо, рекомендации, касающиеся оцениваемого проектаПодкрепить сжатое изложение подроУными сведениями, подтверждающими каждый вывод и рекомендациюǤ Предоставить описание методов, использованных для получения и анализа данныхОсновные функции отчета551.Титульный лист2.Оглавление3.Перечень сокращений4.Выражение Улагодарности5.Исполнительное резюме (аннотация отчетад6.Краткое описание проекта (вводная частьд7.Описание и оУоснование методологии оценки8.Установленные факты9.Выводы по установленным фактам10.Рекомендации11.Извлеченные уроки12.Приложения 56Структура итогового отчета по оценкеИзУыток данныхНедостаточные или неполные данныеПротиворечивые данныеНедостоверные данныеОтсутствие логики в представлении данных57Типичные проУлемы58Логика представления информациипрограммы,но отвлеченные от узкой специфики обстоятельств,ФАКТЫ –данные, цифры, цитаты и т.п.ВЫВОДЫ Готовятся на основе анализа выявленных фактов и представляют собой ответы на вопросы оценкиРЕКОМЕНДАЦИИУРОКИОбобщения, сделанные в результате оценки определеннойв которых осуществлялась деятельность, и применимые к более общим ситуациямпредставляют собой ответ на вопрос, какбороться с выявленными проблемами ино отвлеченные от узкой специфики обстоятельств,дАКамУстановленные данные, цифры, цитаты ВмВОДмОтветы на ВСЕ вопросы оценкиРЕКОМЕНДАжИИПути повышения эффективности программыОбобщения, сделанные в результате оценки проекта, полезные для других проектовУРОКИ5859МеморандумДокумент с изложением взглядов на какойто вопрос или записка, разъясняющая чтолиУоǤРекомендации по подготовке меморандумаǣБудьте уверены, что знаете свою аудиториюОдно предложение –одна мысльСоУлюдайте формат документаМаксимально структурируйте документСооУщите о приложениях, если они есть Перечитайте перед тем, как отправить 60Дайджест61Брошюра Презентации итогов оценкиǣ основные функцииОбеспечить обмен информации об установленных фактах, выводах и рекомендациях между заказчиком и исполнителем оценкиПрояснить или снять спорные или недостаточно ясные моменты в отчетеПомочь Заказчику определиться с принятием решения62СлайдРаздаточный материал63Как изУежать слайдомента? 64Фотоотчеты по оценкеФотографииǣ рекомендации по использованию 65Будьте уверены, что использование данных в таком виде приемлемо Включите использование фотографий в план сУора и анализа информацииДополните фото графии другими даннымиОУсудите возможность получения разрешения на то, чтоУы фотографироватьИспользуйте, если это возможно нескольких фотографов, чтоУы увидеть картину во всей ее полнотеОпределите, каким оУразом вы Уудете анализировать фото, сделанные в ходе сУора информацииВидеоотчет о проекте66Ирина ЕфремоваГартконсультант по оценке программ и проектовАдреса электронной почты: igarth@yandex.ru67