В статье рассмотрены возможности применения количественных методов социологии для оценки эффективности социальных программ. В частности, особое внимание уделено методу эксперимента, поскольку именно он позволяет отделить эффект социальной программы от влияния других факторов и мероприятий.
Представлены основные преимущества и недостатки применения методов опроса, эксперимента, наблюдения и контент-анализа для оценки эффективности социальных программ.
Ключевые слова: оценка, эффективность, социальная программа, количественные методы социологии, метод эксперимента, опроса.
Постановка проблемы. Реалистичные, качественно проведенные оценки эффективности социальных программ имеют чрезвычайно важное значение для принятия верных экономических решений. Поскольку реализация большинства социальных программ требует достаточно значительных материально-технических затрат, то в условиях ограниченных финансовых возможностей Украины важность мониторинга и оценки трудно переоценить.
Это актуализирует проблему формирования теоретико-методологического и методического обеспечения оценки эффективности социальных программ.
Анализ последних исследований и публикаций. В мировой научной практике сейчас значительно усилилось внимание к оценке программ, растет количество профессионалов и институтов по программной оценке, объединяемых для международного сотрудничества.
Действует ряд международных организаций и ассоциаций оценки, таких как: Международная организация по сотрудничеству и оценке (International Organization for Cooperation in Evaluation, IOCE), Европейское общество по оцениванию (European Evaluation Society) — Международная ассоциация оценивания программ и политик в странах, что развиваются (International Development Evaluation Association, IDEAS), Международная сеть “Оценка программ” (International Program Evaluation Network, IPEN).
Положительным является то, что деятельность отдельных организаций (напр., IDEAS, IPEN) направлена на развитие оценки программ в странах СНГ как полноценной профессии. В Украине, как и в большинстве стран постсоветского пространства, институт оценки программ находится лишь на стадии своего становления, формируется нормативная и методологическая база исследований по данной проблематике.
Например, согласно Постановлению Кабинета министров Украины от 20.06.2012 г., мониторинг и оценка программ социальной поддержки населения будет введена, только начиная с 2014 года.
Значительный вклад в исследование проблемы оценки государственной социальной политики и социальных программ сделали такие украинские ученые, как: Абрамов Л. К., Амоша О. И., Балакирева О. М., Колот А. М., Либанова Е. М., Мандибура В. А., Оникиенко В. В., Макарова О. В., Садовая У. Я., Черенько Л. М.
Несмотря на то, в отечественной научной литературе слишком мало целостных системных исследований, посвященных проблеме методологического обеспечения оценки эффективности социальных программ.
Особенно недостаточно внимания уделено проблеме использования количественного социологического инструментария для оценки эффективности социальных программ.
Целью данной статьи является выявление возможностей применения количественных методов социологии для оценки эффективности социальных программ.
Изложение основного материала. Социальная программа – документ, план действий, система связанных между собой мероприятий, согласованных по целям, срокам, ресурсам и исполнителям в масштабах определенной территории и отрасли социальной сферы, направленные на решение социальных проблем.
На наш взгляд, оценки социальных программ можно определить как систематический сбор точной и достоверной информации о: деятельности программы, достижения поставленных задач, степени удовлетворения участников программы, а также ее результативности и роли в решении той или иной социальной проблемы.
Известный американский специалист по оценке программ Михаэль Паттон (Michael Patton) подчеркивает, что оценочный процесс должен быть ориентирован на практическое использование его результатов.
Оценка дает возможность сравнивать полученные при реализации программы количественные и качественные изменения у потребителей – участников программы, выявить сильные и слабые моменты в программе и обеспечить своевременную ее корректировку, а также определить, происходит ли реализация программы согласно утвержденному плану. Чрезвычайно важно, чтобы перед началом реализации программы были определены критерии и показатели ее кратко — и долгосрочных результатов.
На сегодняшний день есть много разнообразных подходов и классификаций типов оценки. В целом, в зависимости от цели проведения, оценка программ может включать от нескольких до 35 типов оценки.
Наиболее распространенной и известной является типизация американского ученого Михаэля Скривена (Michael Scriven), который выделяет формирующую и итоговую оценку. Формирующая оценка проводится с целью формирования и корректировки программной деятельности, а итоговая – выявляет эффекты и результаты реализации программ.
Один из ведущих специалистов по оценке программ профессор Уильям М. К. Трочим (William M.K. Trochim) выделяет следующие типы формирующей оценки:
— оценка потребностей определяет, кому нужна та или иная программа, масштаб потребностей, и что следует сделать, чтобы их удовлетворить;
— оценка оценки — определяет насколько реально осуществить оценку программы, и каким образом заинтересованные стороны могут использовать результаты такой оценки;
— структурированная концептуализация – помогает специалистам определить программу, целевые группы населения и возможные результаты;
— оценка внедрения – мониторинг точности и технологии реализации программы;
— оценка процесса – исследует процесс и технологию осуществления программы, включая альтернативные процедуры ее реализации.
Итоговую оценку американский профессор Трочим разделяет на такие подтипы. Это оценка результатов (исследования влияния реализации программы на предварительно определенные целевые результаты); оценка воздействия (выявление общих и частичных эффектов от реализации программы; результатом проведения такой оценки является ответ на вопрос, имела ли программа ожидаемое влияние на людей, домохозяйства или определенные социальные институты); оценка “затраты-выгоды” и “затраты – эффективность”.
Вторичный анализ (повторный просмотр имеющихся данных с целью формулирования новых вопросов, применение методов, что не были использованы ранее); мета-анализ (интегрирует результаты оценки, полученные с помощью многочисленных исследований, с целью формулирования общего или суммарного вывода).
Задача оценки заключается в выявлении того, в какой мере реализация социальной программы дает желаемые статистически значимые эффекты (например, уменьшение численности лиц, зависимых от алкоголя). Для получения полной всесторонней информации о результатах, последствиях и эффективности реализации социальных программ следует комбинировать количественные и качественные стратегии исследования.
Качественные методы важны для более полного понимания поведения групп населения высокого риска, факторов, влияющих на успех вмешательства по отдельным социальным проблемам, а также для интерпретации количественных результатов. Количественные методы используют для оценки последствий с целью измерения масштабов в выполнении задач программы и для оценки эффективности социальных программ.
Результаты использования количественных методов подают в форме количественных показателей и таблиц. Остановимся подробнее на таких количественных методах социологии, как: анкетирование, эксперимент, наблюдение, контент-анализ.
В современной практике оценки программ самым распространенным и наиболее употребляемым среди количественных методов в социологии является метод опроса, который делится на: анкетирование и стандартизированное интервьюирование, а также телефонный, прессовый, почтовый и телевизионный опрос. Он заключается в непосредственном или опосредованном сборе первичной вербальной информации.
Когда нужно опросить большое число респондентов за относительно короткое время, то используют письменную форму опроса – анкетирование. Украинские ученые разработали и успешно апробировали методику оценки социальных программ, основанную на репрезентативном заочном опросе (анкетировании).
Так, в 2009 году кандидат социологических наук А. Балакирева на одном из семинаров по мониторингу и оценке социальных программ представила результаты опроса представителей целевых групп в различных аспектах программ государственной социальной помощи.
Анкетирование позволило выявить субъективную оценку размера получаемой помощи, какое место она занимает в совокупном доходе семьи, повлиял ли размер помощи на решение о рождении ребенка и т.п.
А также отношение к механизму получения различных видов помощи; потребности в помощи; влияние различных видов помощи на качество жизни населения; отношение к усилению контроля; чувство защищенности и справедливости; общее состояние удовлетворенности существующей системой льгот и качеством предоставления социальной помощи.
Анкетирование и другие виды опроса (метод телевизионного, прессового или телефонного экспресс-опроса) можно также использовать как вспомогательные при оценке эффективности региональных социальных программ.
Например, таких, как: Программа «Развитие семейной медицины и ее профилактической направленности на 2012-2014 гг.» (решение Львовского областного совета от 28.02.2012 г. № 390), Целевая социальная программа обустройства детских игровых площадок в Львовской области на 2010-2012 годы (решение Львовского областного совета от 08.12.2009 г. № 1094).
А также Комплексная программа профилактики и предотвращения распространения пьянства и алкоголизма среди населения Львовской области на 2011-2014 годы (решение Львовского областного совета от 11.07.2011 г. № 191).
Самой сложной проблемой при оценке эффективности социальных программ является отделение эффекта влияния определенной программы от влияния других факторов. Эту проблему можно решить с помощью использования экспериментального метода, в частности отбора контрольной группы, то есть группы лиц, которые не охвачены программой.
Эксперимент-метод исследования причинных связей в управляемых условиях. Участники программы становятся, соответственно, участниками эксперимента и подвергаются влиянию определенных факторов, связанных с процессом реализации программы.
Сила экспериментального метода заключается во внутренней валидности – возможности делать выводы о причинных связях. Именно эксперимент дает возможность установить наличие или отсутствие влияния определенного фактора (или их совокупности) на исследуемый объект. Здесь выявленные в результате исследования социальные изменения можно связать с действием программы, а не других факторов.
Контролировать другие соответствующие факторы можно с помощью отбора по сходству (matching) и рандомизации (randomization). Отбор по сходству (чаще всего, парный отбор) заключается в том, что находят пары лиц. Они одинаковые по важным признакам (например, возрасту, полу, образованию, уровню доходов и т.п.).
Затем, с помощью случайного отбора, например, жеребьевки, выбирают из каждой пары личность, которая попадает в экспериментальную группу, а остальные лица в соответствии остаются в контрольной группе.
Рандомизация — случайное деление участников эксперимента на контрольную и экспериментальную группы. Группы отличаются друг от друга только тем, что одна участвует в программе, а другая – нет. Рандомизация гарантирует, что между группами нет систематических различий еще до начала эксперимента.
Эксперимент, основанный на рандомизированном подходе, лучше всего дает возможность выделить эффект оцениваемой программы от всех остальных эффектов и обобщить результаты на определенную генеральную совокупность (внешняя валидность). Влияние программы измеряется разницей между средними показателями в экспериментальной и контрольной группе.
Использование “чистого” экспериментального подхода рассмотрим на примере оценки региональной программы преодоления и предотвращения бедности.
Из генеральной совокупности (в данном случае лиц, стоящих на грани бедности) выбирают участников эксперимента, которые с помощью случайного отбора (рандомизации) распределяются на экспериментальную (лица, которые будут охвачены программой – получать различные виды социальной помощи, льгот и субсидий) и контрольную группы. В каждой группе фиксируют основные индикаторы бедности (пре-тест). После окончания действия программы фиксируют те же показатели еще раз (пост-тест).
Экспериментальную и контрольную группы можно изобразить с помощью рисунка:
где Х – меры преодоления и предотвращения бедности, предусмотренные данной программой;
Ye1 и Yk1 – зависимая переменная, показатели (или интегральный показатель), определены самой программой для оценки ее эффективности, измеренные в экспериментальной и контрольной группе до начала действия программы (t1);
Ye2 и Yk2 – показатели бедности, измеренные в экспериментальной и контрольной группе после реализации программы (t2), или определенного его этапа (это зависит от цели оценивания).
Практическое применение экспериментальных подходов связано с рядом проблем:
- Исторические события, например, политические трансформации, в экспериментальный период могут стать альтернативным объяснением эффекта программы.
- Изменение некоторых ключевых характеристик участников программы может усложнить получение адекватных и чистых результатов оценки.
- Инструментальный эффект – именно осознание участия в эксперименте, помимо экспериментальных переменных, влияет на результирующую переменную.
- Селекция может стать проблемой, когда исследователь выбирает контрольную и экспериментальную группы разными способами. Здесь они уже изначально не являются эквивалентными, но могут иметь различные признаки по зависимой переменной или другим соответствующим переменным.
Тщательно продуманный, научно обоснованный план проведения оценки программы на основе использования экспериментальной методики поможет частично избежать перечисленных выше проблем.
Когда социальной программой охвачено все население региона, то для оценки социальной программы на основе экспериментального подхода контрольную группу можно выбрать из другого населенного пункта, не охваченного программой (с учетом всех схожих и отличительных ключевых характеристик).
В случае если невозможно сформировать контрольную группу (например, когда программой охвачено все население страны), можно использовать квази- экспериментальный подход. Квази-эксперимент отличается от чистого эксперимента тем, что в нем не используется случайный отбор участников в экспериментальную и контрольную группу (рандомизация).
При оценке социальной программы на основе квази-экспериментального подхода эффект программы может исследоваться только на основе одной (экспериментальной) группы, измерения в которой происходят после окончания программы. Или же исследуют две группы (контрольную и экспериментальную), но тоже только после окончания программы или определенного ее этапа.
С помощью эконометрических методов (методы, основанные на использовании инструментальных переменных, методы рефлексивных сравнений, методы двойных различий) создают контрольные группы, подобные экспериментальным хотя бы по важнейшим характеристикам.
Основное преимущество использования квази-экспериментального подхода при оценке эффективности социальных программ заключается в том, что он требует меньше времени и средств, чем чистый эксперимент. В то же время западные ученые выделяют следующие недостатки данного подхода:
а) иногда невысокая надежность результатов в связи с использованием менее строгой в статистическом контексте методологии;
б) методы могут быть статистически сложными;
в) есть проблема смещения или отклонения выборки.
Последняя проблема связана с неодинаковой степенью участия в программе различных групп; это влияет на выборку и, в конечном итоге – на результаты. Данную проблему можно частично устранить с помощью статистических методов, например, метода инструментальных переменных.
Оценка эффективности социальных программ и оценивание процесса их реализации взаимно дополняют друг друга и дают целостную полную картину об исследуемом проекте. Собрать точную информацию о действии программы в процессе ее проведения позволяет метод наблюдения. В социологической литературе его определяют как планомерное целенаправленное восприятие явлений, результаты которого в той или иной форме фиксирует исследователь, а затем их проверяют.
Специфика наблюдения заключается в способности давать богатые конкретными деталями, живые, непосредственные ощущения об исследуемом объекте. Этот метод дает возможность получить необходимую информацию, независимо как от умения респондента описать словами свое поведение или состояние, так и от того, желает ли он вообще что-то говорить о себе.
Метод наблюдения обычно используют в комплексе с другими методами сбора информации, такими, как опрос, анализ документов и тому подобное.
В частности, при оценке эффективности социальных программ целесообразным является использование формализованного метода анализа документов, который называется контент — анализ. Это метод сбора количественных данных об изучаемом явлении или процессе. Контент-анализ целесообразно проводить, когда нужно собрать результаты работы программы, не прерывая самого процесса ее действия.
Осуществляется путем пересмотра заявлений, финансовых отчетов, смет, протоколов заседаний и т.п. Процедура контент-анализа заключается в алгоритме выделения в тексте определенных элементов содержания, которые интересуют исследователя, классификации выделенных элементов в соответствии с концептуальной схемой, в последующем их подсчете и представлении результатов.
На наш взгляд, целесообразным является применение метода наблюдения и контент-анализа при оценке эффективности таких программ. Это Государственная целевая социальная программа «Молодежь Украины» на 2009-2015 годы (утверждена Постановлением Кабинета министров от 28.01.2009 г. № 41).
Государственная целевая социальная программа развития в Украине спортивной и туристической инфраструктуры в 2011-2022 годах (утверждена Постановлением кабинета министров от 29.06.2011 г.). Общегосударственная целевая социальная программа противодействия заболеванию туберкулезом на 2012-2016 годы (утверждена законом Украины от 16 октября 2012 г. № 5451-VI).
Таким образом, в современной практике оценки эффективности социальных программ в Украине следует в полной мере использовать уже наработанный отечественной и зарубежной наукой арсенал социологических методов. Перечисленные выше методы широко освещены в специальной профессиональной литературе.
Поэтому, не останавливаясь на подробном описании процедуры проведения или классификации каждой из них, в исследовании прослежены лишь общие возможности использования количественного социологического инструментария для оценки эффективности социальных программ.
Основные преимущества и недостатки названных выше количественных методов социологии нами сгруппированы и представлены в таблице. Эта таблица может служить определенным ориентиром для специалистов по оценке программ при выборе метода оценивания.
Выводы. Рассмотрены методические подходы к оценке эффективности социальных программ на предмет соотношения результатов их выполнения и расходов (или из-за разницы между исходным и конечным состоянием социального явления или процесса, предполагая, что эффект вызван влиянием мероприятий, связанных с реализацией этой программы) производят видение критерия практической социально-экономической полезности от реализации программ.
Анализ существующих методов в практике оценки эффективности социальных программ подводит нас к выводу, что общая система оценки требует коррекции в направлении максимального использования преимуществ количественных методов социологии и минимизации их недостатков.
Выделение преимуществ и недостатков этих методов будет служить определенным ориентиром при выборе инструментов оценки:
а) метод опроса (анкетирование, стандартизированное интервью, почтовые, телефонные, прессовые и другие виды опроса);
б) метод наблюдения;
в) контент-анализ;
г) метод эксперимента.
Так, использование метода опроса, что не требует значительных материальных затрат и ресурсов, дает возможность собрать значительное количество информации за относительно короткий промежуток времени.
Однако обозначенный метод предусматривает определенную субъективность оценивания, при этом не дает возможности получить полную картину ситуации. К тому же, в большинстве случаев отсутствует контроль над тем, как респонденты воспринимают и понимают изучаемые вопросы, а при телефонном интервью может быть большой процент отказов участия в опросе.
Метод наблюдений дает возможность наблюдать за ходом выполнения программы и обеспечивает оперативность получения информации. В то же время применение данного метода может оказаться слишком дорогой процедурой, при которой также трудно избежать субъективности оценки (из-за силы влияния характеристик самого наблюдателя), что сказывается на ее результатах.
Кроме того, специфика этого метода заключается в локальности проведения, ограниченности исследуемого контингента. При применении контент-анализа, специалист по оценке программ оперирует уже имеющимся массивом данных, к тому же, получает значительный объем конкретной информации. Однако проведение контент-анализа требует значительного временного ресурса, а имеющейся информации также может быть недостаточно.
И, наконец, метод эксперимента – трудоемкий, сложный в применении, что требует привлечения высококвалифицированных специалистов. Однако именно он в нашем случае наиболее пригоден для оценки эффективности социальных программ, поскольку дает возможность делать выводы о причинных связях и отделить эффект программы от влияния факторов иного происхождения, непосредственно не связанных с реализацией конкретной программы.
Использование количественных методов социологии коррелирует с потребностями общегосударственной социальной политики в направлении ее модернизации. Рассмотренный перечень оценочных инструментов может быть вспомогательным рычагом в выработке методических основ для улучшения в целом социальной политики по следующим основным ее направлениям.
Это политики доходов населения, что влияет на качество жизни; совершенствования охранно-оздоровительных мероприятий, молодежного трудового обеспечения; реформирования жилищной политики; поиска новых корректив в механизме социальной защиты населения, что касается реформирования пенсионной системы.
Перспективой дальнейших исследований по данной проблематике является более детальный, более глубокий анализ и адаптация методов социологии к оценке эффективности социальных программ как государственного, так и регионального уровня.
При этом разработка процедур оценивания эффективности конкретных социальных программ с применением определенного метода или их комбинации будет хорошей помощью в совершенствовании самих оценочных методичных подходов и поиска новых показателей и социальных индикаторов для диагностики программ, как на низовом, так и на более агрегированном уровне.
Кроме того, не следует забывать про связующие в использовании количественных и качественных методов, смежных подходов социологии и экономики (классические методы статистики, метод экспертных оценок, глубинных интервью – индивидуальные, фокус-группы, метод “оценка портфолио” и другие).
Итак, триангуляция (умелая комбинация количественных и качественных методов социологии и других наук), а также тесное сотрудничество специалистов из разных отраслей знаний, позволит получить достаточную, своевременную, надежную и более полную оценку эффективности социальных программ.
Автор: О.Т. Рындзак, кандидат экономических наук, старший научный сотрудник, Институт региональных исследований НАН Украины, E-mail: olichkar@yahoo.com
Источник: Журнал «Демография и социальная экономика»
Перевод: BusinessForecast.by
При использовании любых материалов активная индексируемая гиперссылка на сайт BusinessForecast.by обязательна.