AI-система Customer Health Scoring для Customer Success

Одна из самых частых проблем Customer Success — вовремя заметить, что ключевой клиент собирается уйти. Традиционные дашборды и ручные обходы CSM дают картину с опозданием на 1-2 квартала. Мы предлагаем построить ML-систему Customer Health Scoring (CHS), которая детектирует сигналы оттока за 90 дней до фактического ухода. На одном из проектов B2B SaaS точность прогноза достигла AUC 0.89, что позволило спасти 15% оттока. По данным исследования Gartner, компании, использующие AI для прогнозирования оттока, сокращают churn в среднем на 25%.

Какие проблемы решает ML-модель CHS?

Customer Health Score (CHS) — интегральный показатель того, насколько клиент вовлечён в продукт и насколько вероятно продление или отток. Для B2B SaaS и подписочных сервисов это ведущий индикатор NRR (Net Revenue Retention). ML-подход позволяет перейти от интуиции CSM к объективной, воспроизводимой оценке. Основные проблемы, которые решает система:

• Неоднозначность сигналов: снижение usage может быть сезонным, а не признаком оттока. ML-модель учитывает контекст.
• Запаздывание реакции: ручные обходы дают картину с задержкой в 1-2 месяца, а модель работает в реальном времени.
• Разрозненность данных: данные из CRM, support, product analytics объединяются в единый pipeline.

Типичные ошибки rule-based систем: они часто пропускают сложные комбинации сигналов. Например, снижение usage само по себе может быть неопасным, но в сочетании с upcoming renewal и отсутствием champion становится критическим. ML-модель выявляет такие нелинейные взаимодействия.

Как ML-модель улучшает Customer Health Scoring?

Сигналы для модели

Product Usage:

• DAU/WAU/MAU: активность основных юзеров аккаунта
• Feature adoption: процент ключевых фич, задействованных в последние 30 дней
• Глубина использования: advanced features vs. базовые
• Стагнация: снижение использования за последние 4 недели

Support & Success сигналы:

• Открытые тикеты без ответа > 3 дней — отрицательный сигнал
• NPS, CSAT оценки за последние 6 месяцев
• EBR (Executive Business Review) состоялся — положительный сигнал
• Escalations: жалобы уровня руководства

Коммерческие индикаторы:

• Renewal date proximity: < 90 дней → повышенное внимание
• Expansion или сокращение в последние 12 месяцев
• Invoice payment delays: просрочки платежей
• Contract modifications: попытки пересмотреть условия

Relationship сигналы:

• Sponsor changes: ушёл champion из аккаунта — высокий риск
• Multi-threading: скольких контактов знает CSM (< 2 = single-threaded)
• Last meaningful interaction: когда последний раз был реальный разговор

Feature Engineering

def compute_customer_health_features(account_id, lookback_days=90):
    usage = get_product_usage(account_id, lookback_days)
    support = get_support_tickets(account_id, lookback_days)
    commercial = get_crm_data(account_id)

    return {
        # Usage trends
        'usage_trend_slope': np.polyfit(range(lookback_days), usage['daily_active_users'], 1)[0],
        'feature_adoption_score': len(usage['active_features']) / total_key_features,
        'power_user_ratio': usage['high_frequency_users'] / usage['total_seats'],

        # Support health
        'open_critical_tickets': support[support['priority'] == 'critical']['count'],
        'avg_resolution_time_days': support['avg_resolution_time'],
        'recent_nps': support['last_nps_score'],

        # Commercial
        'days_to_renewal': (commercial['renewal_date'] - today).days,
        'logo_expansion_12m': commercial['arr_change_12m'],
        'payment_delay_days': commercial['avg_payment_delay'],

        # Relationship
        'sponsor_change_6m': commercial['sponsor_changed_flag'],
        'contacts_known': commercial['known_contacts_count'],
        'days_since_last_call': (today - commercial['last_substantive_contact']).days
    }

Модели и архитектура

Composite Score (правиловой baseline):

def rule_based_health_score(features):
    score = 100  # начинаем со 100

    # Usage penalties
    if features['usage_trend_slope'] < -0.1:
        score -= 20
    if features['feature_adoption_score'] < 0.3:
        score -= 15

    # Support penalties
    if features['open_critical_tickets'] > 0:
        score -= 25
    if features['recent_nps'] and features['recent_nps'] < 7:
        score -= 15

    # Commercial risk
    if features['days_to_renewal'] < 60 and features['logo_expansion_12m'] < 0:
        score -= 20

    return max(0, min(100, score))

ML-модель поверх: LightGBM или Logistic Regression обученная на исторических данных "продлил/ушёл" через 12 месяцев. Преимущество vs. правила: выявляет нелинейные взаимодействия (например, снижение usage само по себе — не риск, но в сочетании с upcoming renewal — критично).

Temporal validation:

# Walk-forward: обучаем на когортах < 12 месяцев назад, предсказываем на более поздних
# Метрика: AUC на 90-day churn prediction
# Baseline: просто renewal date + последний NPS

Почему стоит автоматизировать CHS с помощью AI?

Сравнение rule-based и ML-подходов на реальных данных:

ML-модель выявляет на 35% больше рисков, чем правила, особенно в сценариях с комбинацией сигналов. В одном из проектов точность прогноза оттока за 90 дней оказалась в 1.3 раза выше, чем у лучшего rule-based подхода.

Сегментация риска и действия

Risk Tiers:

Automated Playbooks:

def trigger_playbook(account, health_score, reason_codes):
    if health_score < 30:
        crm.create_task(owner='csm_manager', type='urgent_review', account=account)
        slack.notify('#csm-alerts', f"CRITICAL: {account.name} score={health_score}")
    elif health_score < 50 and 'usage_decline' in reason_codes:
        gainsight.enroll_in_playbook(account, 'activation_campaign')
    elif health_score > 80 and account.days_to_renewal < 90:
        crm.create_opportunity(account, type='expansion', amount=account.arr * 0.2)

Что входит в работу

Процесс работы

1. Аналитика: собираем все доступные сигналы, выявляем пропуски в данных.
2. Проектирование: определяем окно предсказания (90 дней), выбираем метрики.
3. Реализация: строим feature pipeline, rule-based и ML-модели.
4. Тестирование: walk-forward валидация, сравнение с baseline.
5. Деплой: интеграция с инструментами CS, настройка мониторинга.

Сроки ориентировочно

• Базовое решение (feature pipeline + rule-based + CRM интеграция): от 3 до 4 недель.
• Полное решение (ML-модель + playbooks + Gainsight интеграция): от 6 до 8 недель.

Стоимость рассчитывается индивидуально после аудита данных и объёма интеграций. Свяжитесь с нами для аудита ваших данных и оценки проекта. Получите консультацию по внедрению CHS.

Типичные ошибки при внедрении CHS

• Игнорирование relationship-сигналов: уход champion — один из сильнейших предикторов оттока, но его часто не учитывают.
• Слишком редкое обновление: health score должен пересчитываться ежедневно, а не раз в неделю.
• Отсутствие обратной связи: модель должна учиться на результатах действий CSM (сохранили клиента или нет).

Для начала работы с CHS свяжитесь с нами — мы проведём аудит данных и предложим оптимальное решение.

Какие проблемы прогнозирования временных рядов встречаются чаще всего?

Финансовый директор запрашивает прогнозирование временных рядов продаж на квартал. Аналитик строит SARIMA, добивается MAPE 8.3% на тестовой выборке — и с гордостью деплоит. Через два месяца в production метрика падает до 23%. Причина классическая: модель обучалась на данных до COVID, тестировалась на стабильном периоде, а production попал на промо-акцию и сбой поставок. Data leakage + distribution shift = красивые цифры в ноутбуке и неработающий прогноз в реальности. Мы сталкивались с этим десятки раз. Наш опыт — 5+ лет в прогнозировании временных рядов для ритейла, финтеха и IoT, более 50 завершённых проектов.

Неправильная кросс-валидация. Стандартный train_test_split для временных рядов — ошибка. Случайное разбиение создаёт data leakage: модель видит «будущие» значения в обучении. Правильно — TimeSeriesSplit или walk-forward validation с expanding window.

Множественная сезонность. Почасовые данные потребления электроэнергии имеют три сезонности: суточную (24 ч), недельную (168 ч), годовую (8760 ч). SARIMA справляется только с одной. Prophet обрабатывает несколько, но медленно масштабируется на тысячи рядов.

Пропуски и аномалии в данных. Пропуск в сенсорных данных — это информация (датчик отключился), а не просто NaN. Линейная интерполяция убивает этот сигнал. Правильная обработка зависит от природы пропуска.

Cold start при иерархическом прогнозировании. Новый SKU в ассортименте из 50 000 позиций: исторических данных нет, нужен прогноз. Стандартные подходы тут не работают — нужны cross-learning подходы или feature-based методы.

Какие инструменты и когда применять?

Prophet (Meta) — отличный старт для бизнес-данных с понятной сезонностью и праздниками. Быстро настраивается, интерпретируем, встроенная обработка выбросов и пропусков. Падает в точности при нерегулярных паттернах и не масштабируется на десятки тысяч рядов без параллелизации. Prophet (Facebook) — официальная документация.

Gradient boosting на фичах (LightGBM, XGBoost) — часто недооценённый подход. Создаёте фичи вручную: лаги (t-1, t-7, t-28), скользящие средние, категориальные признаки (день недели, месяц), экзогенные переменные. Модель обучается на всех рядах одновременно — решает cold start через похожие ряды. MAPE на ритейл-прогнозировании часто лучше нейронных сетей при правильной feature engineering.

TFT (Temporal Fusion Transformer) — трансформер, специально разработанный для интерпретируемого прогнозирования с ковариатами. Встроенные механизмы: variable selection (какие признаки важны), temporal self-attention (какие временные точки влияют на прогноз), квантильные предсказания. Доступен в pytorch-forecasting. Требует ~10 000+ записей на ряд для стабильного обучения. Temporal Fusion Transformer — академическая публикация.

PatchTST — трансформер, который делит временной ряд на патчи (аналогично ViT для изображений). Лучше захватывает локальные паттерны, чем классические трансформеры. Хорошо работает для long-horizon forecasting (прогноз на 96–720 шагов). Реализация в neuralforecast от Nixtla.

N-HiTS, N-BEATS — нейронные архитектуры без attention, быстрее TFT, конкурентная точность. N-BEATS выигрывает на M4/M5 benchmark для задач без ковариат.

Как мы разворачиваем TFT в production?

TFT требует тщательной подготовки данных. Типичный пайплайн через pytorch-forecasting:

training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="sales",
    group_ids=["store", "sku"],
    min_encoder_length=max_encoder_length // 2,
    max_encoder_length=max_encoder_length,  # 120 дней
    min_prediction_length=1,
    max_prediction_length=max_prediction_length,  # 28 дней
    static_categoricals=["store_type", "category"],
    time_varying_known_reals=["price", "promo_flag"],
    time_varying_unknown_reals=["sales"],
    target_normalizer=GroupNormalizer(groups=["store", "sku"], transformation="softplus"),
)

Частая ошибка: target_normalizer по умолчанию (StandardScaler) ломает предсказания для рядов с нулевыми значениями (нет продаж в выходные). GroupNormalizer с transformation="softplus" — правильный выбор для count-данных.

Пошаговая инструкция по настройке TFT

1. Сбор и подготовка данных. Обработать пропуски (маркировать NaN, интерполировать только если это технический сбой), агрегировать до нужной частоты, сформировать ковариаты (праздники, промо, цены).
2. Создание TimeSeriesDataSet. Указать group_ids (например, магазин+SKU), временной индекс, горизонт прогноза. Настроить target_normalizer с учётом распределения таргета.
3. Обучение baseline. Сначала Prophet или LightGBM — чтобы понять, насколько сложнее задача.
4. Тренировка TFT. Запустить TemporalFusionTransformer с loss=QuantileLoss(), подобрать learning rate и размеры hidden слоёв. Использовать pytorch_forecasting или neuralforecast.
5. Валидация и интерпретация. Проверить walk-forward, проанализировать variable selection, построить attention heatmap.

Кейс: прогноз спроса в ритейле. Сеть из 120 магазинов, 8000 SKU, горизонт прогноза 28 дней. Исходная система: SARIMA отдельно для каждого ряда, MAPE 18.4%, полный цикл переобучения — 6 часов. TFT на PyTorch + pytorch-forecasting: одна модель на все ряды, MAPE 11.2%, переобучение — 40 мин на A10G. Дополнительный бонус: feature importance через variable selection — выяснилось, что day_before_holiday влияет сильнее, чем сама дата праздника. Средняя экономия бюджета на инференсе для клиента составила 1.5 млн ₽ в год.

Как правильно оценивать качество прогнозов?

Не используйте RMSE как единственную метрику — она сильно штрафует за большие ошибки на больших значениях. Наш набор метрик для ритейл-прогнозирования:

• MAPE — интерпретируема, но нестабильна при значениях близких к нулю
• sMAPE — симметричная версия, избегает деления на маленькие числа
• MASE (Mean Absolute Scaled Error) — нормализован относительно наивного сезонного прогноза, отлично подходит для сравнения между рядами с разными масштабами
• Quantile loss / Pinball loss — для вероятностного прогнозирования, оценка покрытия интервалов

Гарантируем: мы предоставляем model card с этими метриками на валидационной выборке и результаты walk-forward теста на истории не менее 6 месяцев.

Что входит в работу

• Документация по выбранной архитектуре, обоснование выбора гиперпараметров.
• Воспроизводимый пайплайн обучения и инференса (Docker + CI/CD + Airflow/Prefect).
• Код с комментариями и модульными тестами на ключевые компоненты.
• Обучение вашей команды: как переобучать модель, как интерпретировать выходы, как деплоить новые версии.
• Поддержка в течение 3 месяцев после сдачи: консультации, фиксы багов, донастройка.

Процесс работы

Начинаем с EDA: визуализация, тест ADF на стационарность, STL-декомпозиция, анализ пропусков и выбросов. Это 2–3 дня, но часто выявляет системные проблемы данных, которые блокируют прогнозирование.

Затем: baseline (наивный seasonal, Prophet), feature engineering для LGBM, выбор архитектуры нейронной сети если нужно. Walk-forward validation с реалистичным горизонтом. Деплой через API с автоматическим переобучением по расписанию через Airflow или Prefect.

Сроки ориентировочно: MVP-прогноз на одном типе данных — 3–6 недель. Иерархическая система прогнозирования с автоматизацией — 2–5 месяцев. Стоимость рассчитывается индивидуально.

Наша команда — сертифицированные ML-инженеры (AWS ML Specialty, GCP Professional ML Engineer). За 5 лет на рынке реализовали более 50 проектов по прогнозированию. Свяжитесь с нами для бесплатного анализа ваших данных — мы оценим задачу и дадим первые рекомендации за 1–2 дня. Закажите консультацию и убедитесь, что ваши прогнозы работают в production, а не только в ноутбуке.