В статье рассмотрены методологические подходы к оценке фактических и прогнозных результатов реализации государственных социальных программ, основные виды оценивания и условия, обеспечивающие его адекватность.
Дана характеристика важнейших методов, на которых строится современный инструментарий оценивания программ. Приведен пример оценки отдельных эффектов влияния программы выплат при рождении ребенка, реализуемой в Украине.
Ключевые слова: социальная программа, оценивание программ, инструментарий оценивания, оценивание влияния, микро имитационное моделирование.
Постановка проблемы. Релевантная, надежная и своевременная оценка государственных программ социальной направленности и их влияния на качество жизни населения, прежде всего уязвимых его слоев, является важной предпосылкой разработки и внедрения эффективной и действенной социальной политики в большинстве стран мира. Соответственно, актуальной является проблема создания и использования современных инструментов измерения фактических и прогнозных результатов реализации программ.
Как свидетельствует международный опыт, такие инструменты все в большей степени предусматривают использование методов статистико-математического, экономико-математического и имитационного моделирования на макро- и микро уровнях. В развитых странах функционирует ряд инструментов, предназначенных для анализа и оценки мер демографической и фискальной политики, программ социальной защиты населения, пенсионных и образовательных программ и тому подобное.
При этом оценка именно влияния социальных программ на качество жизни населения привлекает особое внимание исследователей и разработчиков программ.
Это связано со сложным (иногда – противоречивым) характером современных социально-экономичных процессов, несовершенством методологии и инструментария оценки влияния программ, а также нехваткой необходимых статистических данных, недостаточной прозрачностью и ограниченной доступностью результатов оценки для специалистов государственного управления и политиков.
В настоящее время оценка влияния социальных программ в Украине практически не осуществляется, чем, в частности, обусловливается их недостаточная эффективность и действенность. Выше обозначенный вопрос свидетельствует об актуальности, теоретической и практической значимости исследований в этой сфере.
Методологическим аспектам мониторинга и оценке эффективности и действенности мер политики посвящено много публикаций, количество и качество которых неуклонно растет.
В частности, можно привести ссылки на работы таких известных исследователей, как К. Вейс (C. Weiss), Д. Крауз (D. Krause), Е. Челимский (E.Chelimsky), Дж. Мак-Дэвид (J.C. McDavid). Эти авторы детально исследовали процессы разработки и внедрения мер политики и программ, необходимость и виды оценивания, применяемые методы, основные этапы оценки и вопросы, что решают при этом. Опубликованы обзоры и обобщения международного опыта в этой сфере.
Особенности и перспективы применения методов моделирования при разработке, анализе и оценке мер политики освещены в работах таких авторов, как Ф. Бургиньон (F. Bourguignon), Х. Сазерленд (H. Sutherland).
Цель статьи. В статье рассмотрены отдельные методологические и методические вопросы оценки фактических и прогнозных результатов реализации государственных программ социальной направленности. Особое внимание уделено методам, которые используют в инструментарии оценивания программ. Приведен пример оценки эффектов влияния программы выплат при рождении ребенка, реализуемой в Украине.
Изложение основного материала. Информация, используемая в настоящее время для определения эффективности внедрения социальных программ в Украине, существенно ограничивает возможности оценки их влияния. Вследствие этого разработку и реализацию социальных программ воспринимают как относительно простые задачи, лишенные аналитического или оценочного измерения.
Отсутствие оценочного измерения приводит к ситуации, когда административная информация относительно затраченных средств и полученного продукта используется как единственная основа для планирования будущих этапов реализации программ, в результате чего планирование, по сути, становится простым продолжением существующего положения вещей.
Здесь программы просто продляют (если это позволяет финансовая ситуация), с учетом расходов предыдущих лет, без анализа эффективности расходования ресурсов в части фактических социальных результатов: сокращения бедности, смягчения социальных проблем и тому подобное.
Оценочные подходы, которые могли бы обеспечить управление по результатам, регулирование и развитие системы разработки и реализации социальных программ по новым, более эффективным направлениям, отсутствуют или недостаточно проработаны. При отсутствии информации относительно потребностей населения и влияния программ фактически невозможно обеспечить решение актуальных проблем в социальной сфере.
По современным представлениям, большинство этапов реализации социальных программ требуют проведения оценки. Под оценкой программы, как правило, понимают междисциплинарное исследование, предназначенное для определения и измерения прямых эффектов, результативности последствий и влияний социальных программ.
Однако, кроме результатов реализации, целесообразно оценивать и качество разработки самой программы, а именно, ее соответствие стандартам, логику и последовательность отдельных этапов, качество информационного и методологического обеспечения, использованного при разработке.
На этапе разработки программы также необходимо спрогнозировать возможные ее последствия. Важным вопросом, которому уделяют все больше внимания, является метаоценка (оценивание оценок), то есть определение качества собственных оценок программы.
Одним из ключевых вопросов, которые должны быть решены при оценке программы, является определение уровня достижения непосредственных целей программы. При этом следует учитывать, что запланированные, ожидаемые результаты программы, как правило, отличаются от наблюдаемых итогов, фактических.
При оценке надо оценить степень соответствия наблюдаемых результатов запланированным итогам, а также определить факторы, обусловившие наблюдаемые результаты. Здесь это является основой оценки уровня эффективности программы.
При оценке следует иметь в виду, что взаимосвязь между программой и наблюдаемыми результатами является вероятностной. Почти во всех случаях по результативным переменным наблюдаются вариации, которые не могут быть объяснены только реализацией программы.
Оценивание программ проводится, как правило, в условиях недостаточного объема данных. При таких условиях оно может осуществляться с использованием экспертных оценок специалистов, работающих в сфере реализации программы или в смежных сферах.
Некоторые исследователи отмечают, что оценка программы, даже при наличии достаточного объема надежной информации, все равно является экспертной оценкой, поскольку представляет собой продукт деятельности специалистов (экспертов) и отражает их взгляды. В зависимости от того, на каком этапе проводится оценивание программ, различают следующие его основные виды:
– прогнозное, предварительное, предыдущее программное оценивание (ex-ante оценивание), направленное на изучение специфики реализации будущих мероприятий программы, прогнозирование «узких мест», конечных результатов прямых и непрямых (косвенных) социальных эффектов;
— сопутствующее, формирующее оценивание, предназначенное для аналитического сопровождения реализации программы и обеспечения обратной связи с возможностью корректировки отдельных мероприятий в ходе их реализации;
— итоговое, обобщающее, пост-программное оценивание (ех-post оценивание), которое проводят после завершения реализации программы. Его цели могут быть различными, в частности это контроль успешности программы и оценка ее влияния, что предполагает анализ запланированных и незапланированных социальных, экономических и политических эффектов, а также как и в какой степени, они связаны с теми мерами, которые имели место в ходе реализации программы.
Целесообразно отметить, что прогнозное и итоговое оценивание могут осуществляться на основе одинаковой или аналогичной методологии. Основным и очень важным отличием этих двух видов оценивания является то, что при итоговом оценивании необходимо установить причинно-следственные связи между результатами и программой, то есть доказать, что результаты обусловлены именно программными мероприятиями. Как правило, это самый важный и трудный вопрос, решаемый при оценивании.
Уровень сложности определения результатов программы существенно зависит от типа, масштабов программы и ее ожидаемых результатов. Например, удовлетворенность пользователей может быть желательным результатом определенной программы, направленной на улучшение государственных услуг. Соответственно реализация программы может быть основной причиной относительно высокого уровня удовлетворенности соответствующими услугами.
Однако такой вывод следует делать осторожно и взвешенно, поскольку на субъективное мнение пользователей могут влиять сторонние факторы, Например, предвзятость информации, которую предоставляют СМИ. То, что якобы является очевидной связью с программой, может не соответствовать действительности.
Так, недовольство экономически активного населения деятельностью центров занятости может отражать неблагоприятные общие экономические условия, а не фактический уровень предоставляемых услуг. В большинстве случаев ожидается, что реализация программы приведет к позитивным изменениям, но этого может и не быть. Среда, в которой реализуется программа, и условия могут меняться: улучшаться или ухудшаться.
Соответственно, положительные изменения могут произойти и без программы при улучшении условий, или программа может обеспечить отсутствие негативных изменений при ухудшении условий.
Основными условиями адекватной оценки программ в социальной сфере являются:
— максимальный учет реальной среды осуществления программы. При этом необходимо предусмотреть определение (на этапах разработки и внедрения программы) целевых и заинтересованных в достижении отдельных целей программы групп населения, институциональных учреждений, а также групп населения и институтов, которые будут открыто или скрыто противодействовать реализации планов или отдельных мероприятий.
Важным аспектом также является прогнозирование изменений среды, прежде всего в кратко- и среднесрочной перспективе, иначе программа будет оторванной от реалий и, соответственно, нежизнеспособной;
— определение и учет основных направлений («каналов»), по которым планируется действовать (влиять) одновременно (параллельно) или поэтапно (последовательно) для достижения главных целей программы, а также исследование того, как эти направления связаны с теми, которые были определены основными в прошлом.
Например, для социально-экономических программ основными каналами влияния на целевые группы населения являются занятость, цены (производство, потребление и заработная плата), доступ к товарам и услугам, активы и трансферты, налоги;
— формирование системы показателей мониторинга, что адекватно будет отражать все этапы реализации программы. Постоянный и систематический сбор информации и измерение заранее определенных показателей будет обеспечивать руководителей программы и другие заинтересованные стороны сведениями о том, насколько успешно реализуются отдельные мероприятия и программа в целом, в какой степени достигаются поставленные цели, и как используются выделенные ресурсы.
Важно, чтобы система показателей адекватно отражала важнейшие рабочие процессы и результаты;
– оценка прямых и косвенных социальных результатов (влияния программы на отдельные аспекты качества жизни населения);
— оценка рисков реализации вероятных худших сценариев и мер, которые необходимо будет применить в этом случае;
– совершенствование информационно-аналитического обеспечения принятия решений при реализации программы.
Как следует из приведенных положений, оценка любой программы имеет два основных аспекта. Во-первых, она осуществляется с целью обоснования программы, разработки альтернативных механизмов и мероприятий по ее реализации, оценки рисков. Во-вторых, оценка должна определить, соответствуют ли результаты реализации программы или отдельных ее этапов поставленным целям.
А также насколько важными являются обнаруженные различия в кратко — и среднесрочной перспективе, насколько результаты являются длительными и стойкими после завершения срока реализации программы и другие. Соответственно, в общем случае инструментарий, применяемый для оценки, определяется целью, задачами оценивания и имеющейся информационной базой.
Основными методологическими подходами, которые используют в инструментах оценки программ и рассматривают в публикациях, являются экспериментальные рандомизированные методы, квазиэкспериментальные методы, неявные методы и методы социального анализа и моделирования совокупностей и процессов.
Рандомизированные экспериментальные методы характеризуются случайным (репрезентативным) формированием экспериментальной и контрольной групп населения – потенциальных или фактических участников программы и группы сравнения – с контролем эквивалентности этих групп.
Такой подход является наиболее точным при установлении причинно-следственных связей между программой и ее результатами, его успешное применение дает наиболее убедительные доказательства наличия влияния программ.
К сожалению, экспериментальные методы невозможно использовать для многих государственных программ, которые реализуются в течение некоторого времени. Применение рандомизации является невозможным, если вся целевая группа населения уже участвует в программе, если отсутствует возможность формирования контрольной группы.
А также если программа уже реализуется в течение некоторого времени. В этом случае существуют определенные различия между теми, кто участвует в программе (потенциальная экспериментальная группа), и теми, кто не участвует (потенциальная контрольная группа); если является незаконным или неэтичным предоставлять определенные преимущества, обусловленные программой, отдельным лицам (экспериментальная группа) и не предоставлять такие преимущества другим (контрольная группа).
Другой недостаток экспериментального подхода к оценке программ – его относительно высокая стоимость.
Если рандомизация невозможна, то в отдельных случаях могут быть применены квазиэкспериментальные методы. Они предусматривают исследование нерандомизированных групп сравнения (экспериментальной и контрольной) для получения выводов по результатам программы.
В качестве таких групп могут использоваться группы населения, которые не были задействованы в программе, или же сами экспериментальные группы. При таком подходе условия по репрезентативности групп значительно слабее.
Квазиэкспериментальный подход может быть дешевле и более практичным, чем экспериментальный. К сожалению, эффективность этого подхода существенно зависит от опыта специалистов, которые его применяют, от особенностей формирования экспериментальной и контрольной групп и от степени согласованности с этими группами всех переменных, представляющих интерес.
Неявные методы — чаще всего используемые, но и наименее пригодные для надежного оценивания программ. Благодаря их гибкости и универсальности их применяют, как правило, для после программной качественной (не количественной) оценки, и они предусматривают возможность сбора информации по программе у участников программы, менеджеров, специалистов и т.д.
Из-за ограниченных требований по информационному обеспечению и невысокой стоимости, неявные методы всегда можно реализовать.
Целесообразно отметить, что экспериментальные, квазиэкспериментальные и неявные методы являются, фактически, количественными и качественными методами социологии.
Особой группой методов оценки, применяемых на различных этапах реализации программ, являются методы социального анализа и моделирования совокупностей и процессов. Социальный анализ — это упрощенный подход к анализу прямых последствий и анализу поведения. Этот метод используют из-за низкого уровня косвенных последствий, он не требует качественной, детализированной информации о программе и ее среды, высокой квалификации исполнителей и значительных затрат времени.
Для социального анализа применяют следующие основные подходы: анализ прямых последствий (определение тех, на кого непосредственно влияет программа, и степени ее влияния); анализ поведения (анализ того, как разные лица, группы будут реагировать на внедрение программы).
А также оценка социальных последствий (определяется соотношение затрат и результатов для различных групп населения во времени); оценка бенефициаров на основе консультаций с представителями основных заинтересованных групп (используют информацию качественного характера); оценка социального капитала (анализируются существующие институты и системы, их нормы, ценностные ориентации, традиции и т. д.)
Наиболее эффективные инструменты (в части соотношения необходимых затрат ресурсов и качества оценок программ) основаны на подходах к оценке результатов программы с использованием первичных данных комплексных обследований населения и домохозяйств и целевых обследований относительно особенностей реализации конкретных программ; вторичных данных и нормативных документов.
А также моделей совокупностей населения, домохозяйств, предприятий, моделей экономичных и социальных процессов, моделей статистических взаимосвязей и тому подобное.
Фактически, указанные методы являются отдельной методологической базой в формировании инструментария оценивания широкого круга программ и их результатов, что предусматривает существенное использование современных методов статистико-математического, экономико-математического и микро имитационного моделирования.
Важными преимуществами применения микро имитационного моделирования для оценки последствий реализации программ являются возможности анализа значительного количества разнообразных характеристик изучаемой совокупности. А также использование широкого набора поведенческих моделей любого уровня детализации и сложности, пригодность микро имитационных моделей для проведения экспериментов на различных наборах параметров, которые определяют различные сценарии или состояние внешней среды (в частности, макроэкономические условия).
При этом получение результатов моделирования на микро уровне обеспечивает высокую точность определения потенциальных последствий для отдельных групп населения или домохозяйств. Микро имитационное моделирование также предусматривает учет взаимодействия между единицами микро уровня — лицами, семьями, домохозяйствами.
К недостаткам этого подхода следует отнести относительно высокую стоимость, обусловленную необходимостью привлечения специалистов достаточно высокого уровня квалификации, особенно на этапе разработки и внедрения или совершенствования соответствующих инструментов, и жесткие требования к информационному обеспечению, поскольку предполагается наличие надежных и актуальных данных микро уровня.
Как следует из приведенного, выбор наиболее адекватного методологического подхода к оценке конкретной программы является отдельной проблемой. Это также и важная часть стратегии оценивания конкретной программы, поскольку обоснованность выводов и оценки в целом в значительной степени определяется выбранным подходом.
Поэтому специалисты по оценке должны стараться выбрать как можно более точный подход, учитывая время, ресурсы и другие ограничения. Независимо от выбранного подхода, для повышения уровня доверия к выводам желательно, чтобы при оценке были построены и использованы модели взаимосвязи.
На практике при оценке государственных социальных программ и их результатов может быть применено сразу несколько инструментов оценивания. Например, в течение 2011-2012 годов Министерство социальной политики Украины при поддержке Всемирного банка, показало исследование программ социальной помощи, что назначается с учетом доходов заявителей, с элементами оценки социальной эффективности этих программ, в частности их влияния на бедность и иждивенческие настроения получателей.
В этом исследовании были использованы социологические методы (типологическое выборочное обследование получателей помощи, психологическое тестирование и глубинные интервью), которые имели черты квазиэкспериментального и неявного подхода.
А также методы социального анализа и моделирования (в частности, микро имитационной модели, использовали для оценки стоимости программ и масштабов охвата населения при различных критериях определения предельного уровня доходов для назначения пособия).
Представляется целесообразным рассмотреть в качестве иллюстрации результаты применения методов моделирования на микро уровне при анализе отдельных эффектов программы одноразовой помощи при рождении ребенка, действующей в Украине. Эта помощь достигла очень высокого, даже по европейским меркам, уровня. Безусловно, высокие выплаты по этой программе положительно влияют на материальное положение семей с детьми и вызвали некоторый рост рождаемости.
Но, по оценкам специалистов, в Украине сложилась нетипичная для большинства развитых стран ситуация резкого контраста между низким уровнем оплаты труда и высоким уровнем пособия при рождении ребенка. Невысоким остается также уровень выплат по другим видам социальной помощи.
Как свидетельствуют результаты анализа данных микро уровня по составу семей и составляющих их доходов и расходов, рост в течение последних лет количества детей, которые рождаются в бедных семьях, является одним из косвенных эффектов пособия при рождении ребенка.
В работе представлены данные, иллюстрирующие изменения доли детей в возрасте до одного года по квинтильным группам, сформированным по уровню среднедушевых денежных доходов домохозяйств. Без учета социальной помощи семьям с детьми (20-процентными группами домохозяйств, упорядоченными по уровню доходов: первые 20%, то есть первая квинтильная группа – самые бедные, последние 20%, или пятая квинтильная группа – самые состоятельные), за период 2000-2010 гг.
При расчетах использованы так называемые арифметические модели микро уровня, что дали возможность выделить целевую совокупность домохозяйств и определить для каждого домохозяйства денежные доходы, «очищенные» от суммы пособия на детей.
Как видно из приведенных данных, в течение периода, который рассматривается, существо (почти в полтора раза) увеличилась доля детей, которые родились в семьях, находящихся по уровню своих доходов в первой квинтильный группе (с 36% в 2000 году до 57% в 2010 году). Стремительный рост этой доли детей приходится именно на 2005-2006 гг., когда увеличилось пособие при рождении ребенка.
Такой рост количества детей, которые рождаются в бедных семьях, чреват определенными негативными последствиями для общества. Именно в таких семьях могут рожать детей с целью получения от государства помощи, которую потом используют не на нужды детей и не на повышение уровня жизни, тем самым, обрекая детей на жизнь в бедности.
Как известно, дети из бедных семей получают менее качественное образование и, соответственно, не имеют почвы для преодоления родительской бедности в своей дальнейшей жизни.
Высокий уровень бедности семей с детьми грозит углублением социальной депрессии и социальной апатии, а также распространением настроений социального иждивенчества у части населения страны, ростом агрессии и насилия в семьях и обществе, увеличением масштабов маргинальной и уголовной среды, развитием наркомании и алкоголизма, повышением уровня заболеваемости и смертности, и тому подобное.
Еще одним косвенным эффектом высоких выплат при рождении ребенка может быть обострение проблемы социального сиротства. В Украине количество детей-сирот и детей, которые лишены родительской опеки, является достаточно высоким: на конец 2011 г. таких детей было около 96 тысяч, что составляет 1,2% детей в возрасте до 18 лет. За период с 2003 по 2008 годы происходил стремительный рост доли таких детей (с 0,97% в 2003 г. до 1,24% в 2008 г.).
Как уже отмечалось, именно в этот период были увеличены гранты при рождении ребенка. С 2008 года не наблюдается заметного уменьшения доли детей-сирот и детей, лишенных родительской опеки. Как свидетельствуют результаты социологических опросов, негативные ожидания, связанные с детьми из бедных семей, даже в большей степени касаются детей, воспитывающихся в домах-интернатах.
Анализ расходов домохозяйств, осуществленный на микро уровне, свидетельствует также, что за этот период выросли и относительные расходы домохозяйств на товары для детей.
Так, в потребительских денежных расходах домохозяйств Украины с 2007 до 2011 года доля расходов на одежду и обувь для взрослых снизилась на 8,1%. А на детей возрастной группы 0-13 лет доля выросла на 9,1 процентов. Это, по крайней мере, частично, связано с относительно более динамичным ростом цен на детские товары. По сравнению с товарами для взрослых. Что может быть еще одним косвенным следствием увеличения выплат при рождении ребенка.
Приведенные данные свидетельствуют о необходимости всесторонней оценки эффектов влияния на программы выплат при рождении ребенка, особенно в средне — и долгосрочной перспективе.
Выводы. Проблема оценивания государственных программ социальной направленности, прямого и косвенного влияния их результатов является чрезвычайно актуальной для Украины. Оценка программ должна осуществляться на этапах их разработки, внедрения и после их завершения.
Основными методологическими подходами, которые используют в инструментарии оценивания программ, являются экспериментальные рандомизированные методы, квазиэкспериментальные методы, неявные методы, методы социального анализа и моделирования совокупностей и процессов.
Возможность использования экспериментальных и квазиэкспериментальных методов при оценке государственных социальных программ является проблематичной из-за серьезных ограничений этих методов. Неявные методы являются гибкими и практичными, но не могут быть использованы для получения обоснованных и доказательных выводов относительно фактических результатов программ.
Кроме того, эти методы не могут быть применены для предыдущей программной оценки. При таких условиях возрастает актуальность использования методов социального анализа и моделирования.
Как свидетельствует международный опыт, при оценке государственных программ социальной направленности эффективным является использование инструментов, базирующихся на методологии моделирования, в том числе микро имитационного.
Важными преимуществами применения таких инструментов являются возможности анализа значительного количества разнообразных характеристик единиц исследуемой совокупности, использование широкого набора поведенческих моделей, проведения экспериментов на наборах параметров, определяющих различные сценарии или состояние среды реализации программ (в частности, макроэкономические условия).
Автор: В.Г. Сариогло, доктор экономических наук, старший научный сотрудник Института демографии и социальных исследований им. М.В. Птухи НАН Украины, E-mail: sarioglo@idss.org.ua
Источник: Журнал «Демография и социальная экономика»
Перевод: BusinessForecast.by
При использовании любых материалов активная индексируемая гиперссылка на сайт BusinessForecast.by обязательна.