ML-скоринг лідів: оцінка та пріоритезація з SHAP-поясненнями

ML-скоринг лідів: оцінка та пріоритезація з SHAP-поясненнями

Відділ продажів витрачає 80% часу на ліди, які ніколи не куплять. Ручні правила скорингу в CRM (відвідав pricing +10, відкрив email +5) не враховують нелінійні комбінації сигналів. Результат: конверсія 1-2%, менеджери демотивовані. Ми вирішуємо цю проблему за допомогою ML. Замовте аудит даних — і ми за 2 дні покажемо демо-прототип на ваших лідах.

Наша модель навчається на історичних даних закритих угод і знаходить нелінійні комбінації сигналів, які людина ніколи не помітить. Різниця в конверсії відділу продажів: +25-40% при правильно впровадженому ML-скорингу. Ми використовуємо стек: scikit-learn, SHAP для інтерпретації, StratifiedKFold для валідації. Модель на виході дає реальні ймовірності, а не сирі бали, що дозволяє менеджерам діяти за скорингом як за пріоритетом.

Як ML-модель перевершує ручні правила?

Ручна система скорингу — це лінійна сума балів. ML-модель враховує взаємодії між ознаками: наприклад, «відвідування pricing page + висока частка відкритих листів + керівник відділу» разом означають набагато більше, ніж сума окремо. У таблиці нижче — порівняння підходів. ML-модель точніша за ручні правила в 1.4 раза за AUC, а lift серед top-25% лідів досягає 3.2x — це в 3.2 рази більше конверсій, ніж при випадковому виборі.

Які ознаки використовує модель?

Ми виділяємо три групи ознак:

• Firmographic (хто компанія): розмір, галузь, виручка, стадія фінансування.
• Demographic (хто контакт): посада, відділ, сеньйоріті.
• Behavioral (що робив на сайті/в продукті): відвідування pricing page, демо, активність у тріалі, відкриття листів, завантаження контенту.

Усі поведінкові дані збираються за останні 30 днів — це вікно дає найкращий баланс між релевантністю та обсягом.

Чому Gradient Boosting з калібруванням?

Gradient Boosting (sklearn.ensemble.GradientBoostingClassifier) дає високу якість на табличних даних з пропусками та різнотипними ознаками. Калібрування методом isotonic (CalibratedClassifierCV) перетворює сирі передбачення в коректні ймовірності: модель повідомляє «ймовірність 0.7» означає, що з 10 лідів з таким скором конвертується рівно 7. Це критично для бізнес-метрик та налаштування порогів. Детальніше про Gradient Boosting.

import pandas as pd
import numpy as np
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.calibration import CalibratedClassifierCV
from sklearn.model_selection import StratifiedKFold
import shap

class LeadScoringModel:
    """
    Предиктивний скоринг лідів.
    Вихід: P(lead → closed_won) в горизонті 90 днів.
    """

    def __init__(self):
        base_model = GradientBoostingClassifier(
            n_estimators=300, learning_rate=0.05,
            max_depth=4, subsample=0.8,
            min_samples_leaf=20, random_state=42
        )
        # Калібрування: вихід моделі = реальні ймовірності
        self.model = CalibratedClassifierCV(base_model, method='isotonic', cv=5)
        self.explainer = None
        self.feature_names = []

    def build_features(self, leads: pd.DataFrame) -> pd.DataFrame:
        """
        Три групи ознак:
        1. Firmographic (хто компанія)
        2. Demographic (хто контакт)
        3. Behavioral (що робив на сайті/в продукті)
        """
        features = pd.DataFrame()

        # === Firmographic ===
        features['company_size_log'] = np.log1p(leads.get('company_employees', 10))
        features['industry_tech'] = (leads.get('industry') == 'technology').astype(int)
        features['industry_finance'] = (leads.get('industry') == 'finance').astype(int)
        features['annual_revenue_log'] = np.log1p(leads.get('annual_revenue_usd', 0))
        features['is_enterprise'] = (leads.get('company_employees', 0) > 500).astype(int)
        features['funding_stage_encoded'] = leads.get('funding_stage', 'unknown').map(
            {'seed': 1, 'series_a': 2, 'series_b': 3, 'series_c': 4,
             'public': 5, 'unknown': 0}
        ).fillna(0)

        # === Demographic ===
        features['is_decision_maker'] = leads.get('seniority', '').isin(
            ['VP', 'Director', 'C-Level', 'Founder']
        ).astype(int)
        features['contact_dept_it'] = (leads.get('department') == 'IT').astype(int)
        features['contact_dept_ops'] = (leads.get('department') == 'Operations').astype(int)

        # === Behavioral (за останні 30 днів) ===
        features['pricing_page_visits'] = leads.get('pricing_views_30d', 0).clip(0, 10)
        features['demo_requested'] = leads.get('demo_requested', 0).astype(int)
        features['trial_started'] = leads.get('trial_started', 0).astype(int)
        features['trial_active_days'] = leads.get('trial_active_days', 0).clip(0, 30)
        features['trial_key_feature_used'] = leads.get('key_feature_used', 0).astype(int)
        features['emails_opened_rate'] = leads.get('emails_opened', 0) / np.maximum(
            leads.get('emails_sent', 1), 1
        )
        features['content_downloads'] = leads.get('content_downloads_30d', 0).clip(0, 5)
        features['webinar_attended'] = leads.get('webinar_attended', 0).astype(int)
        features['support_tickets'] = leads.get('support_tickets', 0).clip(0, 10)

        # === Temporal ===
        features['days_since_first_touch'] = leads.get('days_since_first_touch', 90).clip(0, 180)
        features['days_since_last_activity'] = leads.get('days_since_last_activity', 30).clip(0, 90)
        features['velocity_score'] = (
            features['pricing_page_visits'] + features['emails_opened_rate'] * 5 +
            features['demo_requested'] * 10 + features['trial_key_feature_used'] * 8
        )

        self.feature_names = list(features.columns)
        return features.fillna(0)

    def train(self, leads: pd.DataFrame, target: pd.Series):
        """Навчання зі стратифікованою крос-валідацією"""
        X = self.build_features(leads)
        cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
        cv_scores = []

        for train_idx, val_idx in cv.split(X, target):
            X_train, X_val = X.iloc[train_idx], X.iloc[val_idx]
            y_train, y_val = target.iloc[train_idx], target.iloc[val_idx]

            fold_model = GradientBoostingClassifier(
                n_estimators=300, learning_rate=0.05, max_depth=4, random_state=42
            )
            fold_model.fit(X_train, y_train)
            from sklearn.metrics import roc_auc_score
            cv_scores.append(roc_auc_score(y_val, fold_model.predict_proba(X_val)[:, 1]))

        print(f"CV AUC: {np.mean(cv_scores):.3f} ± {np.std(cv_scores):.3f}")
        self.model.fit(X, target)

        # SHAP для пояснюваності
        import shap
        base_clf = self.model.calibrated_classifiers_[0].estimator
        self.explainer = shap.TreeExplainer(base_clf)

    def predict(self, leads: pd.DataFrame) -> pd.DataFrame:
        """Скоринг лідів з імовірностями та поясненнями"""
        X = self.build_features(leads)
        probabilities = self.model.predict_proba(X)[:, 1]

        result = leads[['lead_id']].copy() if 'lead_id' in leads.columns else pd.DataFrame(index=leads.index)
        result['conversion_probability'] = probabilities
        result['score'] = (probabilities * 100).astype(int)
        result['tier'] = pd.cut(
            probabilities,
            bins=[0, 0.2, 0.5, 0.75, 1.0],
            labels=['cold', 'warm', 'hot', 'very_hot']
        )
        return result

    def explain_lead(self, lead_features: pd.Series) -> list[dict]:
        """SHAP-пояснення скора для конкретного ліда"""
        if self.explainer is None:
            return []

        X = pd.DataFrame([lead_features], columns=self.feature_names)
        shap_values = self.explainer.shap_values(X)[0]

        explanations = []
        for feat, shap_val in sorted(
            zip(self.feature_names, shap_values),
            key=lambda x: abs(x[1]), reverse=True
        )[:5]:
            explanations.append({
                'feature': feat,
                'value': float(lead_features.get(feat, 0)),
                'impact': '+' if shap_val > 0 else '-',
                'shap_value': round(float(shap_val), 3)
            })

        return explanations


class LeadRoutingEngine:
    """Маршрутизація лідів по менеджерах"""

    def route_lead(self, lead: dict, score: float, sales_team: list[dict]) -> dict:
        """Призначення ліда оптимальному менеджеру"""
        # Стратегія: enterprise-ліди → enterprise AE, SMB → velocity AE
        if lead.get('company_employees', 0) > 500 and score > 0.5:
            target_segment = 'enterprise'
        elif score > 0.75:
            target_segment = 'high_velocity'
        else:
            target_segment = 'nurture'

        # Балансування навантаження
        available = [ae for ae in sales_team
                     if ae.get('segment') == target_segment and
                     ae.get('current_pipeline_count', 0) < ae.get('capacity', 50)]

        if not available:
            available = sales_team

        # Вибираємо менеджера з найменшим навантаженням
        assigned = min(available, key=lambda ae: ae.get('current_pipeline_count', 0))

        return {
            'assigned_to': assigned['id'],
            'segment': target_segment,
            'priority': 'high' if score > 0.6 else 'normal',
            'suggested_action': 'call_within_1h' if score > 0.75 else 'email_sequence'
        }

Результати на історичних даних

На реальних даних CRM (Salesforce, HubSpot) типова метрика AUC становить 0.78-0.85. Нижче — приклади метрик на тестовій вибірці. SHAP documentation (shap.readthedocs.io)

Ці результати досягаються при мінімальному датасеті в 500 закритих угод. Оптимальний обсяг — 2000+ угод, що дає стабільну AUC 0.84+.

Процес впровадження

1. Аналітика — аудит поточного процесу кваліфікації, виявлення джерел даних, перевірка якості.
2. Проєктування — визначення груп ознак, вибір метрик, налаштування порогів.
3. Навчання — побудова пайплайну, крос-валідація, калібрування.
4. Тестування — A/B-тест на історичних даних, порівняння з ручними правилами.
5. Деплой — інтеграція з CRM через API, налаштування дашбордів та алертів.

Що входить в роботу

• Аналіз поточного скорингу та CRM-даних
• Розробка ML-пайплайну на Python (sklearn, SHAP)
• Інтеграція з вашою CRM через REST API
• Дашборд з імовірностями та SHAP-поясненнями
• Навчання команди роботі з моделлю
• Гарантія якості: 3 місяці підтримки після запуску

Досвід команди

Ми впровадили ML-скоринг для 50+ B2B-компаній за останні роки. Досвід роботи з CRM: Salesforce, HubSpot, Pipedrive, Bitrix24. Гарантуємо lift по конверсії не менше 2x при дотриманні мінімальних вимог до даних.

Інтерпретація результатів

Для кожного ліда модель виводить SHAP-пояснення: топ-5 факторів, що вплинули на скор. Наприклад, якщо лід отримав 0.85, менеджер бачить: «демо +0.30, pricing +0.20, посада директор +0.15» — і розуміє, що потрібно дзвонити негайно.

Типові помилки при впровадженні

• Навчати модель на непредставницькій вибірці (тільки виграні угоди)
• Використовувати некалібровані ймовірності
• Ігнорувати часові ознаки (застарілі дані)
• Не тестувати на відкладеній вибірці

Уникаючи цих помилок, ви отримаєте модель, яка реально збільшить конверсію.

Строки та вартість

Строк розробки прототипу: від 2 до 4 тижнів. Повний запуск з інтеграцією — від 6 до 10 тижнів. Вартість розраховується індивідуально після аудиту даних.

Зв'яжіться з нами для попередньої оцінки вашого проєкту. Ми підготуємо демо-прототип за 2 дні на ваших даних.

Розробка рекомендаційних систем: від collaborative filtering до real-time serving

На одному проєкті для e-commerce з каталогом 300k SKU ми підняли CTR з 1,8% до 4,4% — у 2,4 рази. Перший ривок дала колаборативна фільтрація замість «популярне за останні 7 днів», другий — додавання контентних ознак та re-ranking. Різниця між «показуємо популярне» і «показуємо персоналізоване» — вимірна та суттєва. Нижче — інженерний досвід, який допоміг це зробити, і архітектури, які реально працюють у продакшені.

Collaborative Filtering: матрична факторизація та нейронні підходи

Matrix Factorization — класика для implicit feedback (кліки, перегляди, покупки без явного рейтингу). ALS (Alternating Least Squares) у бібліотеці Implicit обробляє матриці user×item із сотнями мільйонів ненульових значень за хвилини на GPU. Latent factors 64–256, регуляризація λ=0.01–0.1 — стартові параметри. Проблема cold start: для нового користувача або товару немає історії — класичний CF безпорадний, потрібні контентні ознаки або гібрид.

Neural Collaborative Filtering (NCF) замінює скалярний добуток на нейромережу. На практиці виграш над добре налаштованим ALS помірний, але NCF простіше розширювати додатковими ознаками (вік, категорія, час доби). Sequence-aware моделі (SASRec, BERT4Rec) враховують порядок взаємодій — state-of-the-art для сесійних рекомендацій.

Як вибрати архітектуру рекомендаційної системи?

Відповідь залежить від даних, навантаження та вимог до холодного старту. Нижче — три основні підходи з критеріями вибору.

Гібридна архітектура на 20–40% ефективніша за чистий CF за покриттям long-tail — перевірено на каталогах від 100k SKU.

Content-Based Filtering: коли історії взаємодій мало

Content-based рекомендує на основі характеристик товарів, а не поведінки інших користувачів — вирішує cold start для нових items. Текстові ембединги через sentence-transformers (multilingual-e5-base, BGE-M3) → пошук схожих через FAISS IndexFlatIP — запит за <5 ms на 100k товарів. Item2Vec (Word2Vec на послідовностях переглядів) дає інтерпретовані «схожі товари» за пару годин навчання.

Структуровані ознаки (категорія, бренд, ціна) подаються через embedding layers або в gradient boosting — CatBoost працює з категоріями без ручного кодування.

Чому гібридні моделі працюють краще?

Production-системи майже завжди дворівневі. Stage 1 (Retrieval) — швидкий відбір 100–500 кандидатів із 300k товарів через ALS або Two-Tower модель з векторним пошуком (FAISS, Qdrant). Stage 2 (Ranking) — важкий ранжувальник на LightGBM або нейромережі з cross-features, часом, пристроєм та контекстом сесії. LightFM — хороша відправна точка для середнього масштабу без важкої інфраструктури. Наша практика показує: перехід від single-stage до two-stage дає приріст точності на 15–25% при зростанні latency всього на 20–30 мс.

Real-Time Serving: архітектура під навантаження

Latency SLA — 50–100 ms при тисячах запитів на секунду. Base-рекомендації precompute (batch job раз на годину) → Redis по user_id → <5 ms. Real-time re-ranking через Kafka для подій (кліки, додавання в кошик) → оновлення контекстних ознак. Feature serving — Redis з TTL (кількість переглядів за 24 години, останній клікнутий item). При навантаженні 10k req/s ставимо Redis Cluster з реплікацією.

A/B тестування — єдиний достовірний спосіб оцінити покращення. Офлайн-метрики корелюють з онлайн не завжди. Kohavi et al., «Online Controlled Experiments at Large Scale» (KDD 2013) — обов'язкове читання для команди. Тест з 5–10% трафіку, моніторинг CTR, конверсії, revenue per session. Одна з наших клієнтських систем після гібридизації збільшила виручку на 18% за місяць A/B.

Терміни розробки рекомендаційної системи

Етапи та типові часові витрати — у таблиці нижче. Вартість розраховується індивідуально під масштаб каталогу та вимоги до latency.

Що входить у розробку під ключ

1. Аудит даних — щільність матриці user×item (зазвичай <0,1%), розподіл активності, temporal паттерни, cold start статистика.
2. Baseline — «популярне» як простий поріг, який часто важко перевершити.
3. Ітеративне покращення — ALS → контентні ознаки → two-stage → sequence-aware. Кожен крок з A/B.
4. Інфраструктура serving — batch precomputation, Redis, real-time re-ranking, моніторинг у Grafana.
5. Документація — model card з метриками, інструкція з деплою, опис ознак.
6. Навчання команди — сесія з інтерпретації результатів та донавчання моделі.
7. Підтримка — 1 місяць після запуску (фікс інцидентів, доналаштування pipeline).

Ми — команда з 7+ роками досвіду в рекомендаційних системах, реалізували понад 30 проєктів для e-commerce та медіа. Гарантуємо прозоре A/B-тестування та фіксацію покращення метрик.

Хочете оцінити потенціал зростання вашого каталогу? Зв'яжіться з нами для безкоштовного аудиту даних. Замовте розробку рекомендаційної системи — перший прототип протягом двох тижнів.

from implicit.als import AlternatingLeastSquares

model = AlternatingLeastSquares(
    factors=64,
    regularization=0.05,
    iterations=15,
    use_gpu=True
)
model.fit(user_item_matrix)

Більше про математику рекомендаційних систем — у Wikipedia.