Causal Inference для оцінки соціальних програм: ML-система та SROI

Система оцінки соціального впливу на базі ML-методів

«Наша програма допомогла 2400 учасникам» — це output, не impact. Impact — це що змінилося в житті цих людей порівняно з тим, що було б без програми. Довести causal inference у соціальних програмах складно: не можна рандомізувати контрольну групу в більшості реальних кейсів. ML-методи дозволяють наблизитися до каузальних висновків без RCT. Наша командаз 5-річним досвідом у ML та соціальній аналітиці розробляє рішення, які дають стейкхолдерам прозорі, статистично обґрунтовані оцінки. Детальніше про методи — на Wikipedia по causal inference.

Як виміряти соціальний вплив без рандомізації?

Propensity Score Matching (PSM) — класичний інструмент. Проблема: програма працевлаштування допомогла 500 безробітним, але потрібно зрозуміти, що саме програма, а не економічний підйом вивела їх з безробіття. PSM будує контрольну групу зі схожих людей (за демографією, освітою, стажем безробіття), які не брали участі у програмі. XGBoost або Logistic Regression передбачає propensity score — ймовірність потрапити в програму для кожної людини. Потім: nearest-neighbor matching за propensity score → порівняння outcomes (працевлаштування через 6 міс) між treatment та matched control. На даних програми зайнятості 500 учасників + 8000 кандидатів з ринку праці: PSM дав ATT (Average Treatment Effect on Treated) = +18.3 п.п. до ймовірності працевлаштування за 6 місяців (95% CI: [14.2, 22.4]). До PSM ручна оцінка давала «результат 71%» — без бази порівняння це нічого не означає. PSM в 2–3 рази точніший за наївне порівняння середніх.

Difference-in-Differences (DiD) — коли дані до/після програми є для обох груп: DiD = (outcome_treatment_after - outcome_treatment_before) - (outcome_control_after - outcome_control_before). ML-розширення (Double ML / Causal Forests) дозволяє враховувати нелінійні коваріати та виявляти гетерогенні treatment effects для різних підгруп — наприклад, програма ефективніша для жінок старше 30 років.

Instrumental Variables та RDD — Regression Discontinuity Design: якщо в програму беруть лише при score > 70 балів — порівнюємо тих, хто отримав 68–69 з тими, хто отримав 71–72. Вони майже однакові, але одні пройшли програму, інші ні. Це quasi-experimental design без рандомізації.

Як автоматизувати збір даних про вплив за допомогою LLM?

Survey automation та follow-up — учасник завершив програму → через 3, 6, 12 місяців автоматичний follow-up survey (SMS + email). LLM-агент аналізує якість відповідей: пропущені блоки, неконсистентні відповіді → запит уточнення. NLP-аналіз відкритих відповідей: тематичне кодування відповідно до Theory of Change outcomes. Response rate критичний для якості impact data. ML персоналізує follow-up timing для учасника: коли ця конкретна людина зазвичай відповідає на комунікації. На pilot: response rate через 12 місяців 34% проти 18% у статичного розкладу.

Administrative data linkage — зв'язування даних програми з адміністративними джерелами: дані пенсійного фонду (працевлаштування), податкові дані (дохід), медичні реєстри (госпіталізації), шкільні оцінки (для освітніх програм). Privacy-preserving record linkage через probabilistic matching (Fellegi-Sunter model) або федеральні record linkage системи (де доступні).

SROI: монетизація соціального впливу

SROI (Social Return on Investment) — відношення монетизованої соціальної цінності до витрат. Для кожного outcome визначаємо financial proxy:

• 1 працевлаштований → $28K economic value (приріст податків + зниження допомог, proxy з government statistics)
• 1 людина уникнула рецидиву → $45K (зниження judicial system costs)
• 1 дитина покращила шкільну успішність → $18K (lifetime earnings premium)

ML компонент: deadweight calculation — яка частка outcomes сталася б без програми (на основі PSM counterfactual). SROI = (total outcome value - deadweight) / total investment. Автоматичний розрахунок та звіт для кожного грантового циклу.

Приклад розрахунку SROI (спрощено): Програма профнавчання: інвестиції $200K. Через PSM отримано чистий ефект: 50 працевлаштованих додатково. Financial proxy: $28K × 50 = $1.4M. Deadweight (за контфактом) — $0.3M. Чиста соціальна цінність: $1.1M. SROI = $1.1M / $0.2M = 5.5:1.

Етапи впровадження

1. Аудит поточної системи збору даних — оцінка coverage, quality та privacy.
2. Розробка causal inference моделі — вибір методу (PSM/DiD/RDD) під ваш кейс, навчання, валідація.
3. Інтеграція survey automation — налаштування LLM-агента для збору impact data.
4. Розгортання SROI-калькулятора — автоматичний розрахунок та звітність.
5. Theory of Change dashboard — dbt + Metabase/Tableau з KPI-деревом та alerting.
6. Навчання команди — 2–3 вебінари з інтерпретації результатів.
7. Гарантія на модель — фіксуємо метрики (AUC, відкаліброваність) у контракті.

Що входить у роботу

Чому обирають нашу систему?

наша команда має понад 5 років досвіду в ML-рішеннях для non-profit сектору, реалізувала 30+ проєктів з causal inference та автоматизації звітності. Використовуємо сертифіковані pipeline — дотримання best practices MLOps. Зв'яжіться з нами для demo: ми покажемо, як ваші дані перетворюються на прозору оцінку impact з точністю p < 0.05. Отримайте консультацію з налаштування системи вимірювання впливу — ми підберемо метод під ваш бюджет.

Терміни розробки: 3–5 місяців для PSM + SROI + Theory of Change dashboard. Адміністративний data linkage — окремий проєкт 2–4 місяці, залежить від доступності даних.

Розрахунок вартості — індивідуально під ваш бюджет та масштаб програми.