Персоналізація ранжування пошуку в e-commerce

Без персоналізації пошуковий двигун показує однакові результати всім користувачам. ML-ранжування враховує історію переглядів, покупок, повернень та контекст сесії — переставляє видачу індивідуально. Наприклад, один із клієнтів — маркетплейс із 500 000 товарів — після впровадження персоналізованого ранжування отримав зростання CTR на 15% та збільшення середнього чека на 12%. Виграш у конверсії з пошуку становить 8–15%. Наш стек: PyTorch, LightGBM, Hugging Face, Anthropic для LLM. Використовуємо LambdaMART з кастомними ознаками — перевірений алгоритм для задач ранжування. Досвід роботи — понад 5 років, реалізовано понад 20 проєктів для e-commerce, включаючи маркетплейси з товарним асортиментом від 10 000 до 1 млн одиниць.

Як працює персоналізоване ранжування?

Алгоритм LambdaMART (LightGBM ранкер) навчається на implicit feedback: кліки, покупки, час перегляду. Feature-вектор включає п'ять груп ознак: релевантність (BM25, точний збіг), якість товару (рейтинг, відгуки, залишок), бізнес-метрики (маржа, промо, швидкість продажів), персоналізація (історія переглядів користувача, CTR у категорії), контекст сесії (кількість запитів, пристрій, час доби).

import numpy as np
import pandas as pd
from sklearn.ensemble import GradientBoostingClassifier
import lightgbm as lgb

class SearchPersonalizationEngine:
    """
    LambdaMART (LightGBM ranker) для персоналізованого пошуку.
    Навчається на implicit feedback: кліки, покупки, час перегляду.
    """

    def __init__(self):
        self.ranker = lgb.LGBMRanker(
            objective='lambdarank',
            n_estimators=300,
            learning_rate=0.05,
            num_leaves=63,
            min_child_samples=20,
            random_state=42
        )
        self.feature_names = []

    def build_features(self, query: str, products: pd.DataFrame,
                        user_history: dict, session_context: dict) -> pd.DataFrame:
        """Формування feature-вектора для пари (query, product)"""
        features = []

        for _, product in products.iterrows():
            feat = {}

            # === Relevance features ===
            feat['bm25_score'] = product.get('search_score', 0)
            feat['title_match'] = int(all(
                word.lower() in product.get('title', '').lower()
                for word in query.split()
            ))
            feat['exact_match'] = int(query.lower() == product.get('title', '').lower())

            # === Product quality features ===
            feat['rating'] = product.get('rating', 3.0)
            feat['reviews_count'] = np.log1p(product.get('reviews_count', 0))
            feat['in_stock'] = int(product.get('in_stock', True))
            feat['days_since_added'] = product.get('days_since_added', 365)
            feat['photo_count'] = min(product.get('photo_count', 1), 10)

            # === Business features ===
            feat['margin_score'] = product.get('margin_percentile', 0.5)
            feat['is_promoted'] = int(product.get('is_promoted', False))
            feat['sales_velocity_7d'] = np.log1p(product.get('sales_7d', 0))

            # === Personalization features ===
            sku = product.get('sku', '')
            category = product.get('category', '')
            brand = product.get('brand', '')

            feat['user_viewed_sku'] = int(sku in user_history.get('viewed_skus', set()))
            feat['user_viewed_category'] = int(category in user_history.get('viewed_categories', set()))
            feat['user_purchased_brand'] = int(brand in user_history.get('purchased_brands', set()))
            feat['user_purchase_count_category'] = user_history.get('category_purchase_counts', {}).get(category, 0)

            feat['user_category_ctr'] = user_history.get('category_ctrs', {}).get(category, 0.05)

            user_avg_price = user_history.get('avg_order_value', 0)
            product_price = product.get('price', 0)
            if user_avg_price > 0:
                feat['price_ratio'] = product_price / user_avg_price
            else:
                feat['price_ratio'] = 1.0

            # === Session context ===
            feat['session_query_count'] = session_context.get('query_count', 1)
            feat['session_has_cart'] = int(session_context.get('has_cart', False))
            feat['device_mobile'] = int(session_context.get('device', 'desktop') == 'mobile')
            feat['hour_of_day'] = session_context.get('hour', 12)

            feat['sku'] = sku
            features.append(feat)

        df = pd.DataFrame(features)
        self.feature_names = [c for c in df.columns if c != 'sku']
        return df

    def train(self, training_data: pd.DataFrame):
        feature_cols = [c for c in training_data.columns
                        if c not in ['query_id', 'sku', 'relevance_label']]
        X = training_data[feature_cols]
        y = training_data['relevance_label']
        groups = training_data.groupby('query_id').size().values
        self.ranker.fit(X, y, group=groups)

    def rank(self, query: str, products: pd.DataFrame,
              user_history: dict, session_context: dict) -> pd.DataFrame:
        features_df = self.build_features(query, products, user_history, session_context)
        X = features_df[self.feature_names]
        scores = self.ranker.predict(X)
        products = products.copy()
        products['rank_score'] = scores
        return products.sort_values('rank_score', ascending=False)

Чому варто враховувати поведінкові сигнали?

Користувачі з різною історією бачать однакову видачу — це втрата продажів. Наприклад, якщо користувач часто купує техніку, йому потрібно показувати ноутбуки та смартфони вище, ніж канцтовари. Без поведінкових сигналів модель не зможе врахувати такі вподобання. Ми впровадили поведінкові ознаки: перегляди категорій, покупки брендів, категорійний CTR, середній чек. Це дало приріст конверсії на 8–12% у проєктах наших клієнтів.

Порівняння підходів до ранжування

LambdaMART — оптимальний баланс між якістю персоналізації та витратами на підтримку. Neural Rankers вимагають GPU та великих даних, а BM25 не враховує індивідуальні вподобання.

Метрики до та після впровадження

lgb_params = {
    'objective': 'lambdarank',
    'boosting_type': 'gbdt',
    'metric': 'ndcg',
    'num_leaves': 63,
    'learning_rate': 0.05,
    'feature_fraction': 0.8,
    'bagging_fraction': 0.8,
    'bagging_freq': 5,
    'verbose': 0,
    'random_state': 42
}

Query Understanding та розширення

Запити часто містять помилки, синоніми або неоднозначність. Ми використовуємо LLM (Anthropic Claude) для виправлення, вилучення бренду, категорії, ціни та сезонності. Це дозволяє коректно обробляти 95% запитів без додаткових правил.

from anthropic import Anthropic

class QueryUnderstandingLayer:
    """Обробка пошукових запитів: виправлення, розширення, інтент"""

    def __init__(self):
        self.llm = Anthropic()

    def parse_query(self, raw_query: str, catalog_categories: list[str]) -> dict:
        response = self.llm.messages.create(
            model="claude-3-5-sonnet-20241022",
            max_tokens=200,
            messages=[{
                "role": "user",
                "content": f"""Parse this e-commerce search query and return JSON.

Query: "{raw_query}"
Available categories: {catalog_categories[:20]}

Return JSON:
{{
  "corrected_query": "...",
  "intent": "informational|navigational|transactional",
  "extracted_brand": "...",
  "extracted_category": "...",
  "price_filter": {{"min": null, "max": null}},
  "color": null,
  "size": null,
  "synonyms": ["...", "..."]
}}"""
            }]
        )

        import json
        try:
            return json.loads(response.content[0].text)
        except Exception:
            return {'corrected_query': raw_query, 'intent': 'transactional', 'synonyms': []}

    def detect_seasonal_intent(self, query: str, current_month: int) -> float:
        seasonal_keywords = {
            'winter': [12, 1, 2],
            'summer': [6, 7, 8],
            'spring': [3, 4, 5],
            'autumn': [9, 10, 11]
        }
        query_lower = query.lower()
        for season, months in seasonal_keywords.items():
            if season in query_lower and current_month in months:
                return 1.2
        return 1.0

Як A/B-тестування покращує ранжування?

Перед викатом нової моделі проводимо A/B-тест: частина трафіку йде на control, частина — на treatment. Метрики: CTR, Conversion Rate, NDCG@5, Revenue per Search. Детермінований розподіл (за hash user_id) гарантує чистоту експерименту.

class SearchRankingExperiment:
    """A/B/n тести для алгоритмів ранжування"""

    def __init__(self, variants: dict):
        self.variants = variants

    def assign_user(self, user_id: str) -> str:
        bucket = hash(user_id) % 100
        if bucket < 50:
            return 'control'
        return 'treatment'

    def track_metrics(self, search_logs: pd.DataFrame) -> pd.DataFrame:
        return search_logs.groupby('variant').agg(
            ctr=('clicked', 'mean'),
            conversion_rate=('purchased', 'mean'),
            avg_position_clicked=('click_position', 'mean'),
            ndcg_at_5=('ndcg_5', 'mean'),
            revenue_per_search=('revenue', 'mean')
        ).round(4)

Як впровадити персоналізоване ранжування?

Процес впровадження складається з наступних етапів:

1. Аудит поточної пошукової видачі та збір метрик (CTR, CR, NDCG).
2. Розробка схеми збору даних: логи запитів, кліки, покупки, історія користувачів.
3. Feature engineering: формування 50+ ознак (релевантність, якість, бізнес, персоналізація, контекст).
4. Навчання моделі LambdaMART з крос-валідацією та підбором гіперпараметрів.
5. Розгортання на Kubernetes з Triton Inference Server.
6. A/B-тестування: порівняння нової моделі з поточною протягом 1–2 тижнів.
7. Оптимізація та документування, навчання команди.

Типові помилки при впровадженні

• Використання лише релевантності без персоналізації — видача не змінюється.
• Забагато ознак без регуляризації — оверфітинг та падіння на нових даних.
• Неправильна метрика якості: NDCG краще підходить для ранжування, ніж MSE.
• Відсутність онлайн-валідації через A/B-тести — офлайн-метрики не гарантують успіху в продакшені.

Персоналізований пошук особливо ефективний для head queries (топ-20% запитів дають 80% трафіку). Для tail queries семантичний пошук через векторний індекс важливіший за персоналізацію. Типовий виграш за метриками: CTR +12%, Conversion Rate +8%, Revenue per Search +10% при коректному feature engineering.

Зв'яжіться з нами для оцінки вашого проекту. Проведемо безкоштовний аудит поточної пошукової видачі та запропонуємо оптимальне рішення. Замовте пілотний проект: навчання моделі на ваших даних за 2 тижні.

Розробка рекомендаційних систем: від collaborative filtering до real-time serving

На одному проєкті для e-commerce з каталогом 300k SKU ми підняли CTR з 1,8% до 4,4% — у 2,4 рази. Перший ривок дала колаборативна фільтрація замість «популярне за останні 7 днів», другий — додавання контентних ознак та re-ranking. Різниця між «показуємо популярне» і «показуємо персоналізоване» — вимірна та суттєва. Нижче — інженерний досвід, який допоміг це зробити, і архітектури, які реально працюють у продакшені.

Collaborative Filtering: матрична факторизація та нейронні підходи

Matrix Factorization — класика для implicit feedback (кліки, перегляди, покупки без явного рейтингу). ALS (Alternating Least Squares) у бібліотеці Implicit обробляє матриці user×item із сотнями мільйонів ненульових значень за хвилини на GPU. Latent factors 64–256, регуляризація λ=0.01–0.1 — стартові параметри. Проблема cold start: для нового користувача або товару немає історії — класичний CF безпорадний, потрібні контентні ознаки або гібрид.

Neural Collaborative Filtering (NCF) замінює скалярний добуток на нейромережу. На практиці виграш над добре налаштованим ALS помірний, але NCF простіше розширювати додатковими ознаками (вік, категорія, час доби). Sequence-aware моделі (SASRec, BERT4Rec) враховують порядок взаємодій — state-of-the-art для сесійних рекомендацій.

Як вибрати архітектуру рекомендаційної системи?

Відповідь залежить від даних, навантаження та вимог до холодного старту. Нижче — три основні підходи з критеріями вибору.

Гібридна архітектура на 20–40% ефективніша за чистий CF за покриттям long-tail — перевірено на каталогах від 100k SKU.

Content-Based Filtering: коли історії взаємодій мало

Content-based рекомендує на основі характеристик товарів, а не поведінки інших користувачів — вирішує cold start для нових items. Текстові ембединги через sentence-transformers (multilingual-e5-base, BGE-M3) → пошук схожих через FAISS IndexFlatIP — запит за <5 ms на 100k товарів. Item2Vec (Word2Vec на послідовностях переглядів) дає інтерпретовані «схожі товари» за пару годин навчання.

Структуровані ознаки (категорія, бренд, ціна) подаються через embedding layers або в gradient boosting — CatBoost працює з категоріями без ручного кодування.

Чому гібридні моделі працюють краще?

Production-системи майже завжди дворівневі. Stage 1 (Retrieval) — швидкий відбір 100–500 кандидатів із 300k товарів через ALS або Two-Tower модель з векторним пошуком (FAISS, Qdrant). Stage 2 (Ranking) — важкий ранжувальник на LightGBM або нейромережі з cross-features, часом, пристроєм та контекстом сесії. LightFM — хороша відправна точка для середнього масштабу без важкої інфраструктури. Наша практика показує: перехід від single-stage до two-stage дає приріст точності на 15–25% при зростанні latency всього на 20–30 мс.

Real-Time Serving: архітектура під навантаження

Latency SLA — 50–100 ms при тисячах запитів на секунду. Base-рекомендації precompute (batch job раз на годину) → Redis по user_id → <5 ms. Real-time re-ranking через Kafka для подій (кліки, додавання в кошик) → оновлення контекстних ознак. Feature serving — Redis з TTL (кількість переглядів за 24 години, останній клікнутий item). При навантаженні 10k req/s ставимо Redis Cluster з реплікацією.

A/B тестування — єдиний достовірний спосіб оцінити покращення. Офлайн-метрики корелюють з онлайн не завжди. Kohavi et al., «Online Controlled Experiments at Large Scale» (KDD 2013) — обов'язкове читання для команди. Тест з 5–10% трафіку, моніторинг CTR, конверсії, revenue per session. Одна з наших клієнтських систем після гібридизації збільшила виручку на 18% за місяць A/B.

Терміни розробки рекомендаційної системи

Етапи та типові часові витрати — у таблиці нижче. Вартість розраховується індивідуально під масштаб каталогу та вимоги до latency.

Що входить у розробку під ключ

1. Аудит даних — щільність матриці user×item (зазвичай <0,1%), розподіл активності, temporal паттерни, cold start статистика.
2. Baseline — «популярне» як простий поріг, який часто важко перевершити.
3. Ітеративне покращення — ALS → контентні ознаки → two-stage → sequence-aware. Кожен крок з A/B.
4. Інфраструктура serving — batch precomputation, Redis, real-time re-ranking, моніторинг у Grafana.
5. Документація — model card з метриками, інструкція з деплою, опис ознак.
6. Навчання команди — сесія з інтерпретації результатів та донавчання моделі.
7. Підтримка — 1 місяць після запуску (фікс інцидентів, доналаштування pipeline).

Ми — команда з 7+ роками досвіду в рекомендаційних системах, реалізували понад 30 проєктів для e-commerce та медіа. Гарантуємо прозоре A/B-тестування та фіксацію покращення метрик.

Хочете оцінити потенціал зростання вашого каталогу? Зв'яжіться з нами для безкоштовного аудиту даних. Замовте розробку рекомендаційної системи — перший прототип протягом двох тижнів.

from implicit.als import AlternatingLeastSquares

model = AlternatingLeastSquares(
    factors=64,
    regularization=0.05,
    iterations=15,
    use_gpu=True
)
model.fit(user_item_matrix)

Більше про математику рекомендаційних систем — у Wikipedia.