Causal Inference для оценки социальных программ: ML-система и SROI

Система оценки социального воздействия на базе ML-методов

«Наша программа помогла 2400 участникам» — это output, не impact. Impact — это что изменилось в жизни этих людей по сравнению с тем, что было бы без программы. Доказать causal inference в социальных программах сложно: нельзя рандомизировать контрольную группу в большинстве реальных кейсов. ML-методы позволяют приблизиться к каузальным выводам без RCT. Наша командас 5-летним опытом в ML и социальной аналитике разрабатывает решения, которые дают стейкхолдерам прозрачные, статистически обоснованные оценки. Подробнее о методах — на Wikipedia по causal inference.

Как измерить социальное воздействие без рандомизации?

Propensity Score Matching (PSM) — классический инструмент. Проблема: программа трудоустройства помогла 500 безработным, но нужно понять, что именно программа, а не экономический подъём увёл их с безработицы. PSM строит контрольную группу из похожих людей (по демографии, образованию, стажу безработицы), которые не участвовали в программе. XGBoost или Logistic Regression предсказывает propensity score — вероятность попасть в программу для каждого человека. Затем: nearest-neighbor matching по propensity score → сравнение outcomes (трудоустройство через 6 мес) между treatment и matched control. На данных программы занятости 500 участников + 8000 кандидатов с рынка труда: PSM дал ATT (Average Treatment Effect on Treated) = +18.3 п.п. к вероятности трудоустройства за 6 месяцев (95% CI: [14.2, 22.4]). До PSM ручная оценка давала «результат 71%» — без базы сравнения это ничего не значит. PSM в 2–3 раза точнее наивного сравнения средних.

Difference-in-Differences (DiD) — когда данные до/после программы есть для обеих групп: DiD = (outcome_treatment_after - outcome_treatment_before) - (outcome_control_after - outcome_control_before). ML-расширение (Double ML / Causal Forests) позволяет учитывать нелинейные ковариаты и выявлять гетерогенные treatment effects для разных подгрупп — например, программа эффективнее для женщин старше 30 лет.

Instrumental Variables и RDD — Regression Discontinuity Design: если в программу берут только при score > 70 баллов — сравниваем тех, кто получил 68–69 с теми, кто получил 71–72. Они почти одинаковые, но одни прошли программу, другие нет. Это quasi-experimental design без рандомизации.

Как автоматизировать сбор данных о воздействии с помощью LLM?

Survey automation и follow-up — участник завершил программу → через 3, 6, 12 месяцев автоматический follow-up survey (SMS + email). LLM-агент анализирует качество ответов: пропущенные блоки, неконсистентные ответы → запрос уточнения. NLP-анализ открытых ответов: тематическое кодирование по Theory of Change outcomes. Response rate критичен для качества impact data. ML персонализирует follow-up timing по участнику: когда этот конкретный человек обычно отвечает на коммуникации. На pilot: response rate через 12 месяцев 34% vs. 18% у статичного расписания.

Administrative data linkage — связывание данных программы с административными источниками: данные пенсионного фонда (трудоустройство), налоговые данные (доход), медицинские реестры (госпитализации), школьные оценки (для образовательных программ). Privacy-preserving record linkage через probabilistic matching (Fellegi-Sunter model) или федеральные record linkage системы (где доступны).

SROI: монетизация социального воздействия

SROI (Social Return on Investment) — отношение монетизированной социальной ценности к затратам. Для каждого outcome определяем financial proxy:

• 1 трудоустроенный → $28K economic value (прирост налогов + снижение пособий, proxy из government statistics)
• 1 человек избежал рецидива → $45K (снижение judicial system costs)
• 1 ребёнок улучшил школьную успеваемость → $18K (lifetime earnings premium)

ML компонент: deadweight calculation — какая часть outcomes произошла бы без программы (на основе PSM counterfactual). SROI = (total outcome value - deadweight) / total investment. Автоматический расчёт и отчёт для каждого грантового цикла.

Пример расчёта SROI (упрощённо): Программа профобучения: инвестиции $200K. Через PSM получен чистый эффект: 50 трудоустроенных дополнительно. Financial proxy: $28K × 50 = $1.4M. Deadweight (по контрфакту) — $0.3M. Чистая социальная ценность: $1.1M. SROI = $1.1M / $0.2M = 5.5:1.

Этапы внедрения

1. Аудит текущей системы сбора данных — оценка coverage, quality и privacy.
2. Разработка causal inference модели — выбор метода (PSM/DiD/RDD) под ваш кейс, обучение, валидация.
3. Интеграция survey automation — настройка LLM-агента для сбора impact data.
4. Развёртывание SROI-калькулятора — автоматический расчёт и отчётность.
5. Theory of Change dashboard — dbt + Metabase/Tableau с KPI-деревом и alerting.
6. Обучение команды — 2–3 вебинара по интерпретации результатов.
7. Гарантия на модель — фиксируем метрики (AUC, откалиброванность) в контракте.

Что входит в работу

Почему выбирают нашу систему?

наша команда имеет более 5 лет опыта в ML-решениях для non-profit сектора, реализовала 30+ проектов по causal inference и автоматизации отчётности. Используем сертифицированные pipeline — следование best practices MLOps. Свяжитесь с нами для demo: мы покажем, как ваши данные превращаются в прозрачную оценку impact с точностью p < 0.05. Получите консультацию по настройке системы измерения воздействия — мы подберём метод под ваш бюджет.

Сроки разработки: 3–5 месяцев для PSM + SROI + Theory of Change dashboard. Административный data linkage — отдельный проект 2–4 месяца, зависит от доступности данных.

Расчёт стоимости — индивидуально под ваш бюджет и масштаб программы.