ML-скоринг лидов: оценка и приоритизация с SHAP-объяснениями

ML-скоринг лидов: оценка и приоритизация с SHAP-объяснениями

Отдел продаж тратит 80% времени на лиды, которые никогда не купят. Ручные правила скоринга в CRM (посетил pricing +10, открыл email +5) не учитывают нелинейные комбинации сигналов. Результат: конверсия 1-2%, менеджеры демотивированы. Мы решаем эту проблему с помощью ML. Закажите аудит данных — и мы за 2 дня покажем демо-прототип на ваших лидах.

Наша модель обучается на исторических данных закрытых сделок и находит нелинейные комбинации сигналов, которые человек никогда не заметит. Разница в конверсии отдела продаж: +25-40% при правильно внедрённом ML-скоринге. Мы используем стек: scikit-learn, SHAP для интерпретации, StratifiedKFold для валидации. Модель даёт на выходе реальные вероятности, а не сырые баллы, что позволяет менеджерам действовать по скорингу как по приоритету.

Как ML-модель превосходит ручные правила?

Ручная система скоринга — это линейная сумма баллов. ML-модель учитывает взаимодействия между признаками: например, «посещение pricing page + высокая доля открытых писем + руководитель отдела» вместе означают гораздо больше, чем сумма по отдельности. В таблице ниже — сравнение подходов. ML-модель точнее ручных правил в 1.4 раза по AUC, а lift среди top-25% лидов достигает 3.2x — это в 3.2 раза больше конверсий, чем при случайном выборе.

Какие признаки использует модель?

Мы выделяем три группы признаков:

• Firmographic (кто компания): размер, отрасль, выручка, стадия финансирования.
• Demographic (кто контакт): должность, отдел, сеньорити.
• Behavioral (что делал на сайте/в продукте): посещения pricing page, демо, активность в триале, открытия писем, скачивания контента.

Все поведенческие данные собираются за последние 30 дней — это окно даёт наилучший баланс между релевантностью и объемом.

Почему Gradient Boosting с калибровкой?

Gradient Boosting (sklearn.ensemble.GradientBoostingClassifier) даёт высокое качество на табличных данных с пропусками и разнотипными признаками. Калибровка методом isotonic (CalibratedClassifierCV) превращает сырые предсказания в корректные вероятности: модель сообщает «вероятность 0.7» означает, что из 10 лидов с таким скором конвертируется ровно 7. Это критично для бизнес-метрик и настройки порогов. Подробнее о Gradient Boosting.

import pandas as pd
import numpy as np
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.calibration import CalibratedClassifierCV
from sklearn.model_selection import StratifiedKFold
import shap

class LeadScoringModel:
    """
    Предиктивный скоринг лидов.
    Выход: P(lead → closed_won) в горизонте 90 дней.
    """

    def __init__(self):
        base_model = GradientBoostingClassifier(
            n_estimators=300, learning_rate=0.05,
            max_depth=4, subsample=0.8,
            min_samples_leaf=20, random_state=42
        )
        # Калибрация: выход модели = реальные вероятности
        self.model = CalibratedClassifierCV(base_model, method='isotonic', cv=5)
        self.explainer = None
        self.feature_names = []

    def build_features(self, leads: pd.DataFrame) -> pd.DataFrame:
        """
        Три группы признаков:
        1. Firmographic (кто компания)
        2. Demographic (кто контакт)
        3. Behavioral (что делал на сайте/в продукте)
        """
        features = pd.DataFrame()

        # === Firmographic ===
        features['company_size_log'] = np.log1p(leads.get('company_employees', 10))
        features['industry_tech'] = (leads.get('industry') == 'technology').astype(int)
        features['industry_finance'] = (leads.get('industry') == 'finance').astype(int)
        features['annual_revenue_log'] = np.log1p(leads.get('annual_revenue_usd', 0))
        features['is_enterprise'] = (leads.get('company_employees', 0) > 500).astype(int)
        features['funding_stage_encoded'] = leads.get('funding_stage', 'unknown').map(
            {'seed': 1, 'series_a': 2, 'series_b': 3, 'series_c': 4,
             'public': 5, 'unknown': 0}
        ).fillna(0)

        # === Demographic ===
        features['is_decision_maker'] = leads.get('seniority', '').isin(
            ['VP', 'Director', 'C-Level', 'Founder']
        ).astype(int)
        features['contact_dept_it'] = (leads.get('department') == 'IT').astype(int)
        features['contact_dept_ops'] = (leads.get('department') == 'Operations').astype(int)

        # === Behavioral (за последние 30 дней) ===
        features['pricing_page_visits'] = leads.get('pricing_views_30d', 0).clip(0, 10)
        features['demo_requested'] = leads.get('demo_requested', 0).astype(int)
        features['trial_started'] = leads.get('trial_started', 0).astype(int)
        features['trial_active_days'] = leads.get('trial_active_days', 0).clip(0, 30)
        features['trial_key_feature_used'] = leads.get('key_feature_used', 0).astype(int)
        features['emails_opened_rate'] = leads.get('emails_opened', 0) / np.maximum(
            leads.get('emails_sent', 1), 1
        )
        features['content_downloads'] = leads.get('content_downloads_30d', 0).clip(0, 5)
        features['webinar_attended'] = leads.get('webinar_attended', 0).astype(int)
        features['support_tickets'] = leads.get('support_tickets', 0).clip(0, 10)

        # === Temporal ===
        features['days_since_first_touch'] = leads.get('days_since_first_touch', 90).clip(0, 180)
        features['days_since_last_activity'] = leads.get('days_since_last_activity', 30).clip(0, 90)
        features['velocity_score'] = (
            features['pricing_page_visits'] + features['emails_opened_rate'] * 5 +
            features['demo_requested'] * 10 + features['trial_key_feature_used'] * 8
        )

        self.feature_names = list(features.columns)
        return features.fillna(0)

    def train(self, leads: pd.DataFrame, target: pd.Series):
        """Обучение с стратифицированной кросс-валидацией"""
        X = self.build_features(leads)
        cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
        cv_scores = []

        for train_idx, val_idx in cv.split(X, target):
            X_train, X_val = X.iloc[train_idx], X.iloc[val_idx]
            y_train, y_val = target.iloc[train_idx], target.iloc[val_idx]

            fold_model = GradientBoostingClassifier(
                n_estimators=300, learning_rate=0.05, max_depth=4, random_state=42
            )
            fold_model.fit(X_train, y_train)
            from sklearn.metrics import roc_auc_score
            cv_scores.append(roc_auc_score(y_val, fold_model.predict_proba(X_val)[:, 1]))

        print(f"CV AUC: {np.mean(cv_scores):.3f} ± {np.std(cv_scores):.3f}")
        self.model.fit(X, target)

        # SHAP для объяснимости
        import shap
        base_clf = self.model.calibrated_classifiers_[0].estimator
        self.explainer = shap.TreeExplainer(base_clf)

    def predict(self, leads: pd.DataFrame) -> pd.DataFrame:
        """Скоринг лидов с вероятностями и объяснениями"""
        X = self.build_features(leads)
        probabilities = self.model.predict_proba(X)[:, 1]

        result = leads[['lead_id']].copy() if 'lead_id' in leads.columns else pd.DataFrame(index=leads.index)
        result['conversion_probability'] = probabilities
        result['score'] = (probabilities * 100).astype(int)
        result['tier'] = pd.cut(
            probabilities,
            bins=[0, 0.2, 0.5, 0.75, 1.0],
            labels=['cold', 'warm', 'hot', 'very_hot']
        )
        return result

    def explain_lead(self, lead_features: pd.Series) -> list[dict]:
        """SHAP-объяснение скора для конкретного лида"""
        if self.explainer is None:
            return []

        X = pd.DataFrame([lead_features], columns=self.feature_names)
        shap_values = self.explainer.shap_values(X)[0]

        explanations = []
        for feat, shap_val in sorted(
            zip(self.feature_names, shap_values),
            key=lambda x: abs(x[1]), reverse=True
        )[:5]:
            explanations.append({
                'feature': feat,
                'value': float(lead_features.get(feat, 0)),
                'impact': '+' if shap_val > 0 else '-',
                'shap_value': round(float(shap_val), 3)
            })

        return explanations


class LeadRoutingEngine:
    """Маршрутизация лидов по менеджерам"""

    def route_lead(self, lead: dict, score: float, sales_team: list[dict]) -> dict:
        """Назначение лида оптимальному менеджеру"""
        # Стратегия: enterprise-лиды → enterprise AE, SMB → velocity AE
        if lead.get('company_employees', 0) > 500 and score > 0.5:
            target_segment = 'enterprise'
        elif score > 0.75:
            target_segment = 'high_velocity'
        else:
            target_segment = 'nurture'

        # Балансировка нагрузки
        available = [ae for ae in sales_team
                     if ae.get('segment') == target_segment and
                     ae.get('current_pipeline_count', 0) < ae.get('capacity', 50)]

        if not available:
            available = sales_team

        # Выбираем менеджера с наименьшей загрузкой
        assigned = min(available, key=lambda ae: ae.get('current_pipeline_count', 0))

        return {
            'assigned_to': assigned['id'],
            'segment': target_segment,
            'priority': 'high' if score > 0.6 else 'normal',
            'suggested_action': 'call_within_1h' if score > 0.75 else 'email_sequence'
        }

Результаты на исторических данных

На реальных данных CRM (Salesforce, HubSpot) типичная метрика AUC составляет 0.78-0.85. Ниже — примеры метрик на тестовой выборке. SHAP documentation (shap.readthedocs.io)

Эти результаты достигаются при минимальном датасете в 500 закрытых сделок. Оптимальный объём — 2000+ сделок, что даёт стабильную AUC 0.84+.

Процесс внедрения

1. Аналитика — аудит текущего процесса квалификации, выявление источников данных, проверка качества.
2. Проектирование — определение групп признаков, выбор метрик, настройка порогов.
3. Обучение — построение пайплайна, кросс-валидация, калибровка.
4. Тестирование — A/B-тест на исторических данных, сравнение с ручными правилами.
5. Деплой — интеграция с CRM через API, настройка дашбордов и алертов.

Что входит в работу

• Анализ текущего скоринга и CRM-данных
• Разработка ML-пайплайна на Python (sklearn, SHAP)
• Интеграция с вашей CRM через REST API
• Дашборд с вероятностями и SHAP-объяснениями
• Обучение команды работе с моделью
• Гарантия качества: 3 месяца поддержки после запуска

Опыт команды

Мы внедрили ML-скоринг для 50+ B2B-компаний за последние годы. Опыт работы с CRM: Salesforce, HubSpot, Pipedrive, Bitrix24. Гарантируем lift по конверсии не менее 2x при соблюдении минимальных требований к данным.

Интерпретация результатов

Для каждого лида модель выводит SHAP-объяснения: топ-5 факторов, повлиявших на скор. Например, если лид получил 0.85, менеджер видит: «демо +0.30, pricing +0.20, должность директор +0.15» — и понимает, что нужно звонить немедленно.

Типичные ошибки при внедрении

• Обучать модель на непредставительной выборке (только выигранные сделки)
• Использовать некалиброванные вероятности
• Игнорировать временные признаки (устаревшие данные)
• Не тестировать на отложенной выборке

Избегая этих ошибок, вы получите модель, которая реально увеличит конверсию.

Сроки и стоимость

Срок разработки прототипа: от 2 до 4 недель. Полный запуск с интеграцией — от 6 до 10 недель. Стоимость рассчитывается индивидуально после аудита данных.

Свяжитесь с нами для предварительной оценки вашего проекта. Мы подготовим демо-прототип за 2 дня на ваших данных.

Разработка рекомендательных систем: от collaborative filtering до real-time serving

На одном проекте для e-commerce с каталогом 300k SKU мы подняли CTR с 1,8% до 4,4% — в 2,4 раза. Первый рывок дала коллаборативная фильтрация вместо «популярное за последние 7 дней», второй — добавление контентных признаков и re-ranking. Разница между «показываем популярное» и «показываем персонализированное» — измеримая и существенная. Ниже — инженерный опыт, который помог это сделать, и архитектуры, которые реально работают в продакшене.

Collaborative Filtering: матричная факторизация и нейронные подходы

Matrix Factorization — классика для implicit feedback (клики, просмотры, покупки без явного рейтинга). ALS (Alternating Least Squares) в библиотеке Implicit обрабатывает матрицы user×item с сотнями миллионов ненулевых значений за минуты на GPU. Latent factors 64–256, регуляризация λ=0.01–0.1 — стартовые параметры. Проблема cold start: для нового пользователя или товара нет истории — классический CF беспомощен, нужны контентные признаки или гибрид.

Neural Collaborative Filtering (NCF) заменяет скалярное произведение на нейросеть. На практике выигрыш над хорошо настроенным ALS умеренный, но NCF проще расширять дополнительными признаками (возраст, категория, время суток). Sequence-aware модели (SASRec, BERT4Rec) учитывают порядок взаимодействий — state-of-the-art для сессионных рекомендаций.

Как выбрать архитектуру рекомендательной системы?

Ответ зависит от данных, нагрузки и требований к холодному старту. Ниже — три основных подхода с критериями выбора.

Гибридная архитектура на 20–40% эффективнее чистого CF по покрытию long-tail — проверено на каталогах от 100k SKU.

Content-Based Filtering: когда истории взаимодействий мало

Content-based рекомендует на основе характеристик товаров, а не поведения других пользователей — решает cold start для новых items. Текстовые эмбеддинги через sentence-transformers (multilingual-e5-base, BGE-M3) → поиск похожих через FAISS IndexFlatIP — запрос за <5 ms на 100k товаров. Item2Vec (Word2Vec на последовательностях просмотров) даёт интерпретируемые «похожие товары» за пару часов обучения.

Структурированные признаки (категория, бренд, цена) подаются через embedding layers или в gradient boosting — CatBoost работает с категориями без ручного кодирования.

Почему гибридные модели работают лучше?

Production-системы почти всегда двухуровневые. Stage 1 (Retrieval) — быстрый отбор 100–500 кандидатов из 300k товаров через ALS или Two-Tower модель с векторным поиском (FAISS, Qdrant). Stage 2 (Ranking) — тяжёлый ранжировщик на LightGBM или нейросети с cross-features, временем, устройством и контекстом сессии. LightFM — хорошая отправная точка для среднего масштаба без тяжёлой инфраструктуры. Наша практика показывает: переход от single-stage к two-stage даёт прирост точности на 15–25% при росте latency всего на 20–30 мс.

Real-Time Serving: архитектура под нагрузку

Latency SLA — 50–100 ms при тысячах запросов в секунду. Base-рекомендации precompute (batch job раз в час) → Redis по user_id → <5 ms. Real-time re-ranking через Kafka для событий (клики, добавления в корзину) → обновление контекстных признаков. Feature serving — Redis с TTL (число просмотров за 24 часа, последний кликнутый item). При нагрузке 10k req/s ставим Redis Cluster с репликацией.

A/B тестирование — единственный достоверный способ оценить улучшения. Офлайн-метрики коррелируют с онлайн не всегда. Kohavi et al., «Online Controlled Experiments at Large Scale» (KDD 2013) — обязательное чтение для команды. Тест с 5–10% трафика, мониторинг CTR, конверсии, revenue per session. Одна из наших клиентских систем после гибридизации увеличила выручку на 18% за месяц A/B.

Сроки разработки рекомендательной системы

Этапы и типичные временные затраты — в таблице ниже. Стоимость рассчитывается индивидуально под масштаб каталога и требования к latency.

Что входит в разработку под ключ

1. Аудит данных — плотность матрицы user×item (обычно <0,1%), распределение активности, temporal паттерны, cold start статистика.
2. Baseline — «популярное» как простой порог, который часто трудно обогнать.
3. Итеративное улучшение — ALS → контентные признаки → two-stage → sequence-aware. Каждый шаг с A/B.
4. Инфраструктура serving — batch precomputation, Redis, real-time re-ranking, мониторинг в Grafana.
5. Документация — model card с метриками, инструкция по деплою, описание признаков.
6. Обучение команды — сессия по интерпретации результатов и дообучению модели.
7. Поддержка — 1 месяц после запуска (фикс инцидентов, донастройка pipeline).

Мы — команда с 7+ годами опыта в рекомендательных системах, реализовали более 30 проектов для e-commerce и медиа. Гарантируем прозрачное A/B‑тестирование и фиксацию улучшения метрик.

Хотите оценить потенциал роста вашего каталога? Свяжитесь с нами для бесплатного аудита данных. Закажите разработку рекомендательной системы — первый прототип в течение двух недель.

from implicit.als import AlternatingLeastSquares

model = AlternatingLeastSquares(
    factors=64,
    regularization=0.05,
    iterations=15,
    use_gpu=True
)
model.fit(user_item_matrix)

Больше о математике рекомендательных систем — в Wikipedia.