• Выпуски
  • Основные выпуски
  • Приложения
• Авторам
  • Правила публикации статей
  • Технические требования
  • Оплата
  • Лицензионный договор
  • График публикаций
• Редакционный совет
• Публикационная этика
• О журнале
  • Общая информация
  • Список авторов
  • Контакты
• Издательство МЦИТО

Редакционно-издательские услуги Международные публикации Бесплатные вебинары

Роль оценки в повышении эффективности социальных проектов и программФорум «Лучшие практики СО НКО как фактор развития региона»Владыко Л.А., член Ассоциации специалистов по оценке программ и политикОценкапроектов и программ:предмет и видыОценка программи проектовСистематическийсбор информации о –деятельности, –характеристиках и –результатах программы,с целью принятия обоснованных решенийо ее эффективности; изменениях, необходимых для улучшения программы и планирования будущего программы.К.ВейсПоиск ответов на вопросыЕсть ли польза от проделанной работы и вложенных денег?Насколько эффективно используются деньги и рабочее время?Каким образом можно улучшить программу? Каким образом лучше распределить ресурсы? Для чего нужна оценка•Отчетность финансовая и программная•Принятие решений по проектной деятельности•Постановка целей, приоритетов•Принятие решений о распределении ресурсов•Повышение экономической эффективности,Знания и навыки •Развить аналитическое мышление•Соответствие требованиям доноров Кому нужна оценка?•Грантодателям (донорам)•Организациям, реализующим проекты•Благополучателям•Партнерам проекта•Операторам конкурсов•Общественности•Оценка как стандарт деятельности организацийОтветьте на вопросы•Что Вам может дать оценка?•Используете ли Вы оценку у себя?•Планируете ли включить оценку в качестве обязательного элемента управления в Вашей организации?Этапы проведения оценки•Необходимость в информации → принятие решения о проведении оценкиЗаказчик:определение целей оценки (формулирование вопросов)формирование технического задания•Выполнение работ по оценкеИсполнитель:разработка структуры оценкисбор достоверной информациианализ и интерпретация полученной информацииподготовка отчета (с выводами и рекомендациями)•Использованиерезультатов оценкидля принятия управленческих решенийТипы по цели использования•Для подотчетности повышения ответственности (оценка ориентированная на вынесения суждений о программе)•Для дальнейшего развития программы (ориентированная на улучшение программы)•Для более глубоко изучения влияющих факторов, причинноследственных связей (ориентированная на получения новых знаний)Подходы к проведению оценки•Внешняя оценка•Внутренняя оценка•Оценка с участием заинтересованных лицЧто оцениваем?Структура проекта(программы)ЦельзадачазадачаНаправлениямероприятия.мероприятияНаправлениямероприятиямероприятияЛогическая модельЛОГИЧЕСКАЯ МОДЕЛЬРЕСУРСЫДЕЯТЕЛЬНОСТЬРЕЗУЛЬТАТпроблемаКто может проводить оценку (мониторинг) программы?Сотрудники организации, не принимающие участия в программеНезависимыеспециалисты Участники программыПРОГРАММАОРГАНИЗАЦИЯВнешняяВнутренняяСамооцениваниеЕсли оценку проводит внешний специалист: и Преимущества и НедостаткиПреимущества •Независимость и объективность –доверие•Опыт оценки•Легче соблюдать заданные рамки оценки•Авторитет стороннего человека важен для всех •Полностью сосредоточен на задаче•Не вовлечен во внутренние конфликтыНедостатки•Отсутствие знаний о ситуации•Люди не будут доверять внешнему человеку•По завершении работы «уносит» информацию с собой•Может не получит доступ к определенной группе•ДорожеЕсли оценку проводит внутренний специалист: преимущества и недостаткиПреимуществаНедостаткиЕсли оценку проводит внутренний специалист: преимущества и недостаткиПреимущества•Хорошо знает ситуацию•Может проследить и содействовать выполнении рекомендаций•Знаком с организацией•Дешевле•Большая вероятность получения качественных данныхНедостатки•Меньше независимости и объективности•На него легче повлиять•Может «увязнуть» изза знания и внимания к деталям•Может быть трудно руководить всеми «заинтересованными лицами»•Может не хватить знаний и опыта в оценкеПостроение системы мониторинга проекта и выбор индикаторовСистема мониторинга и оценки предполагает прежде всего ассессмент, мониторинг и оценку..Ассессмент –это процесс выявления и изучения проблемы, планирования действий, направленных на ее решение. Ассессмент призван: обеспечить информацию для выбора приоритетов и оптимальной стратегии реализации проеккта; обеспечить базовые данные для мониторинга и оценки; обеспечить прогноз получаемых изменений.Мониторинг это систематическое отслеживание хода и результатов проекта на основании планомерного измерения значений ряда показателей (индикаторов). Оценка рассматривает, что изменилось в результате реализации проекта, достигнуты ли заявленные результаты, имеются ли дополнительные результаты. МОНИТОРИНГ И ОЦЕНКАЧТО ОБЩЕГООценка и мониторинг –элементы управления программой, призванные дать информацию для принятия управленческого решенияВ ЧЕМ ОТЛИЧИЕ: НАЗНАЧЕНИЕ В ЧЕМ ОТЛИЧИЕ: ПРЕДМЕТ.мониторингоценкаМониторинг реализации проектаКачество управления проектомСоблюдение календарного планаСтепень достижения целей проектаДостижение финансовых показателиЭффективность проектаСтепень достижения результатовПричины неудач и предложения для их преодоленияПОСТРОЕНИЕ СИСТЕМЫ МОНИТОРИНГА•Определить показатели (для отслеживания хода выполнения программы•Установить источники информации•Выбрать методы сбора информации•Определить частоту и график сбора информации•Определить технологию обработки и анализа получаемой информации•Спланировать кому и как будут переданы данные мониторинга•Учесть в бюджете программы расходы, необходимые для проведения мониторингаА.Кузьмин «Процесс консалтинг»Вопросы оценки•Как воспринимается проект (программа) различными заинтересованными лицами: участниками, сотрудниками, администрацией, донорами? Насколько совпадают или отличаются их взгляды на программу? В чем причина различий?•Каковы фактические результаты программы? В какой мере они соответствуют заявленным в проекте?•Как соотносятся фактические сроки с заявленными? Вопросы оценки•Что при выполнении проекта (программы) получилось так, как задумано? Что не совпало с замыслом? Какие возникли сложности? Как исполнители преодолели эти сложности?•Что нравится и что не нравится участникам проекта? Что в проекте (программе) по их мнению работает хорошо, а что плохо? •Насколько эффективно работает команда проекта (программы)? Вопросы оценки•Какие произошли изменения по сравнению с исходным планом? По какой причине? Кто и как принимал решения об изменениях?•Как построена система мониторинга для контроля выполнения проекта?•В какой мере опыт проекта (программы) может быть применен в других регионах, в других организациях?•Какова устойчивость деятельности, начатой в рамках проекта?Структура задания на проведение оценки:•Краткая информация о программе, история программы•Почему возникла необходимость в проведении оценки•Вопросы, на которые надлежит ответить•Кто и как будет использовать результаты оценки•Методы проведения оценки•Источники информации•Кто будет проводить оценку•График работ•Требования к отчету и условия распространения результатов•БюджетОтчет о результатах оценки•Отчет должен быть ориентирован на конкретного пользователя. Главная функция отчета –предоставление нужной пользователю информации в удобном для него формате. •Основная часть отчета –аргументированные, основанные на эмпирических данных ответы на вопросы задания. •При изложении результатов оценки должна соблюдаться логическая цепочка «факты –интерпретации –выводы –рекомендации». •Отчет должен быть написан и оформлен так, чтобы пользователь мог легко в нем ориентироваться и быстро находить нужную информацию. ИндикаторыИндикатор –«количественная или качественная информация, котораядоказывает, что произошло изменение ситуации». Индикаторы всегда должны быть приведены в соответствие с целями, задачами или продуктами проекта. Они должны демонстрировать, что изменения произошли в результате наших действий. Помимо термина «индикаторы» также используется термин «показатели» –строго говоря, индикатор является параметром измерения (например, температура), а показатель –его конкретным выражением (например, не менее 80 градусов).•Индикатор –это инструмент мониторинга, с помощью которого измеряется достижение целей проекта с возможностью их объективной проверки.•Индикатор позволяет ответить на вопрос, какой достигнут прогресс в достижении цели и достигнут ли он вообще.•Индикатор определяет эффективность деятельности путем сравнения реальных результатов с ожидаемыми. •Индикатор не раскрывает причин, по которым не удается достичь прогресса.От кого зависит решение о выборе индикаторов?обсуждениеОсновные вопросы при выборе индикаторов1 Сможете ли вы собрать информацию об индикаторе? Если да, то где вы сможете получить эту информацию?2. Будет ли информация точной (можно ли ей доверять)?3. Сколько будет стоить получение информации с точки зрения• времени сотрудника;• времени клиента;• денег.4. Как часто вы сможете получать информацию?5. Будет ли у ваших сотрудников возможность (или желание) собирать информациючестно и точно?6. Сможете ли вы обосновать, что индикатор демонстрирует изменения в результатеваших действий?7. Показывает ли он то, чего вы не знали раньше?8. Поможет ли он принимать решения, которые улучшат следующие результаты?9. Поможет ли индикатор продемонстрировать результаты деятельности разным стейкхолдерам?10. Поможет ли он в дальнейшем исследовании ситуации или последующей оценке?Типы индикаторовКоличественные индикаторы–это числовые меры: например, процент или доля, уровень (например, уровень рождаемости) или соотношение (например, числа жителей и врачей в сельской местности)Качественные индикаторыможно определить как суждения и восприятие людей.Примеры индикаторов и показателейОценивая результаты проекта в количественных индикаторах, мы можем подсчитывать:• количество программ, проектов, мероприятий, курсов и партнеров;• количество клиентов и/или участников, получивших услуги/принявших участие в проекте;• количество публикаций и их тираж;• число обращений в организацию;• некоторые характеристики проведенных мероприятий (например, частота и продолжительность семинаров, консультаций и т.д.);• количество волонтеров, занятых в проекте;• количество человекочасов, отработанных волонтерами и сотрудниками организации.Используя качественные индикаторы, мы можем оценивать:• удовлетворенность клиентов полученными услугами;• достижения клиентов, изменения в их жизни.Качественные индикаторы влияния на сообщество могут демонстрировать:• воздействие на причины возникновения проблемы,• улучшение или изменение условий жизни.Описывая повышение качества предоставляемых услуг, мы можем использовать такие индикаторы, как• расширение ассортимента/объемов предоставляемых услуг;• повышение доступности услуг;• распространение положительного опыта оказания услуг Определение индикаторовЦель:Улучшение положения в здравоохраненииУстановить качество (природа индикатора): снижение уровня смертностиУстановить целевую группу (кто): снижен уровень детскойсмертностиУстановить место (где): уровень детской смертности снижен в северозападной провинцииУстановить количество:уровень детской смертности в северозападной провинции снижен с X до YУстановить время:уровень детской смертности в северозападной провинции снижен с X до Y к 2005Пример:Результат: Возросшая информированность о юридических услугах.•Неэффективный индикатор: информированность о юридических услугах.•Более эффективные индикаторы: Количество государственных (общественных) защитников на 100 000 населения или процентное изменение общего числа исков или процентное изменение дел с участием государственных защитников.Неэффективный индикатор не удобен в использовании, поскольку в нем конкретно не указаны ни соответствующие юридические услуги (предоставление государственного защитника, механизм альтернативного разрешения споров и т.д.), ни единицы измерения (общее количество оказываемых услуг, количество оказываемых услуг по районам, количество районов, где работает программа общественных защитников и т.д.).Примеры индикаторов для оценки обученияВопросы:• Насколько тренинг понравился участникам?• Насколько выполнены согласованные ожидания участников?Индикаторы:• % участников, которые оценивают степень исполнения своих ожиданий каквысокую/среднюю/низкую;•продолжите список•…•….•….Примеры индикаторов для оценки обучения1. Оценка действия (реакции на тренинг)Вопросы:• Насколько тренинг понравился участникам?• Насколько выполнены согласованные ожидания участников?Индикаторы:• % участников, которые оценивают степень исполнения своих ожиданий каквысокую/среднюю/низкую;• появление у участников новых идей;• сбалансированность и уместность форм проведения тренинга;• желание применять полученные знания;• доступность изложения материала;• степень вовлеченности участников в процесс;• помощь раздаточных материалов;• новизна полученной информации;• тренерский стиль.Примеры индикаторов для оценки обучения2. Оценка продуктивности (усвоения знаний, умений, установок)Вопросы:• Правильно ли были определены цели, задачи тренинга?• Достигнуты ли цели, выполнены ли задачи тренинга?Индикаторы:• попытка применения полученных знаний;• выполнение «домашних заданий»;• способность участника применить умения в конкретных ситуациях;• активность участников после семинара;• мнение коллег о работе участника;• заказ руководителя организации на проведение тренинга для всей организации, группы сотрудников;• контрольное тестирование (начало –конец);• проявление личностного роста участника;• изменение поведенческих реакций.Лучшие индикаторыДействительныеНадежныеЗначимыеЧувствительные к изменениямКонкретныеЭкономныеСвоевременныеПрактические рекомендации по подготовке проектной заявки, ориентированной на получение конкретных измеримых результатовСм.рекомендации «Предварительная экспертиза заявки».Успешного опыта использования мониторинга и оценки в проектной деятельности!Л.А. Владыко