AI-система продуктовой аналитики
Продуктовая команда смотрит на воронку: conversion 2.3%, retention D7 18%. Все видят цифры. Никто не знает, почему пользователи уходят именно на шаге 3 онбординга. AI-аналитика сдвигает задачу с «посмотреть на дашборд» к «понять причину и предсказать следующее действие».
Behavioral Analytics и пути пользователей
Session analysis с ML
Сырые события (clickstream) → сессии → паттерны поведения. Задача: найти пути, коррелирующие с retention vs. churn. Naive подход: воронки через SQL. Проблема: воронки предполагают предопределённый путь, а пользователи ходят хаотично.
Graph-based approach: сессия — граф переходов между экранами/событиями. Node2Vec embeddings → k-means кластеризация сессий по паттерну поведения. На SaaS продукте с 150 000 DAU: 7 кластеров сессий. Кластер «power users» (D30 retention 67%) vs. кластер «lost explorers» (D30 retention 8%) — визуально разные паттерны. Нашли: пользователи кластера «lost explorers» никогда не дошли до feature X в первую сессию. Feature X стал обязательным элементом онбординга → D30 retention вырос с 23% до 31%.
Sequence modeling для предсказания churn
LSTM или Transformer на последовательностях событий → предсказание вероятности churn на горизонте 7/14/30 дней. Фичи: последние 50 событий, временные интервалы между сессиями, feature adoption flags. AUROC 0.84 на D14 churn prediction vs. 0.71 у логистической регрессии на агрегированных фичах.
Важно: early warning для intervention. Пользователь с churn probability > 0.75 на D14 → trigger: персонализированное in-app сообщение / email с tips / звонок от success team (для enterprise). Cost-benefit: retention intervention стоит $8, recovered revenue DLTV $340 → имеет смысл при recall 0.65+.
Feature Adoption Analytics
Causal impact of feature launch
Новая feature выкатилась 15 марта. Как измерить её impact на retention, не смешивая с другими изменениями? CausalImpact (Google) — Bayesian structural time series: строит counterfactual timeline (как бы выглядела метрика без feature) по контрольной группе. На кейсе: feature collaboration tools → +12.3% D30 retention (95% CI: [8.1%, 16.5%]).
Feature adoption funnel
Discovery → first use → repeated use → habit. XGBoost с SHAP: какие факторы предсказывают прохождение каждого этапа? Обнаружение: пользователи, которые увидели в онбординге конкретную tooltip, имеют 3.4× выше вероятность перейти к repeated use. Tooltip показывали только 38% пользователей → A/B тест с расширенным показом.
A/B тестирование с ML
Bayesian A/B testing
Frequentist A/B test: нужно ждать достижения sample size для статзначимости. Bayesian: обновление posterior в реальном времени, можно остановить тест при достижении desired certainty. PyMC или scipy.stats для Bayesian inference. Медиана длительности теста сокращается на 30–40% при сохранении error rates.
Multi-Armed Bandit
Для контентных или UI вариаций, где exploration-exploitation tradeoff важнее строгого A/B. Thompson Sampling или UCB1: автоматически направляет трафик на лучший вариант, пока накапливает данные. На push notification content optimization: CTR +19% vs. статичного A/B с manual analysis.
Causal forests для HTE
Heterogeneous Treatment Effects: feature может давать +5% retention для сегмента A и -3% для сегмента B. GRFlib (Generalized Random Forests) оценивает individualized treatment effects. Результат: «включить feature X для пользователей с profile P» вместо «включить для всех».
North Star метрики и alerting
Automated anomaly detection
Spike или drop в DAU, conversion rate, revenue — когда это нормальная вариация, а когда инцидент? Prophet (Meta) для baseline прогноза метрик + 3σ rule для аномалий. На 200 метриках продукта: 12 ложных алертов в неделю vs. 45 у простого threshold alerting при том же recall.
Metric trees и root cause
DAU упал на 15% в воскресенье. Автоматическая декомпозиция: DAU = new users + retained users + resurrected users. Какой сегмент упал? Затем: по платформе (iOS/Android/Web), гео, acquisition channel. Drill-down за секунды вместо часов SQL-запросов.
Стек: Apache Kafka → ClickHouse для event storage. dbt для трансформаций. Python (scikit-learn, LightGBM, PyMC, CausalImpact). Metabase / Superset для дашбордов. Amplitude / Mixpanel как альтернативный data layer.
Срок разработки: 2–4 месяца для behavioral analytics + churn prediction + automated alerting.