Розробка рекомендаційної системи для маркетплейсу

Багатоцільова рекомендаційна система для маркетплейсу

Маркетплейс із 10 млн SKU та 50 тис. продавців — рекомендаційна система тут не просто підбирає товари, вона балансує релевантність, монетизацію та задоволеність продавців. Типова помилка: жертвують якістю заради конверсії або навпаки. Рекомендаційні системи для маркетплейсів — складний інженерний продукт, де погане налаштування призводить до падіння GMV або відтоку продавців. Наш досвід показує, що оптимальне рішення — багатоцільова архітектура з вагами, які налаштовуються під бізнес-цілі.

Як багатоцільова архітектура вирішує конфлікт інтересів?

Ключова складність — інтереси покупця (знайти потрібний товар), продавця (просунути свій товар) і платформи (заробити) часто суперечать один одному. Ми реалізуємо scoring з кількома цільовими функціями, кожна зі своєю вагою. Наприклад, релевантність — 50%, якість товару — 20%, різноманітність продавців — 15%, просунуті товари — 10%, конверсія — 5%. Ваги підбираються емпірично через A/B тести.

import numpy as np
import pandas as pd
from dataclasses import dataclass

@dataclass
class MarketplaceItem:
    item_id: str
    seller_id: str
    price: float
    rating: float
    review_count: int
    is_promoted: bool
    conversion_rate: float
    inventory: int

class MarketplaceRecommender:
    """Рекомендації з балансуванням кількох цілей"""

    def __init__(self, user_model, item_index, seller_index):
        self.user_model = user_model
        self.item_index = item_index
        self.seller_index = seller_index

        # Ваги цільових функцій
        self.weights = {
            'relevance': 0.50,      # Релевантність для користувача
            'quality': 0.20,        # Рейтинг та відгуки
            'seller_diversity': 0.15,  # Різноманітність продавців
            'promoted': 0.10,       # Просунуті товари
            'conversion': 0.05      # Історичний CR
        }

    def recommend(self, user_id: str, context: dict,
                   n: int = 20) -> list[dict]:
        """Багатоцільові рекомендації"""
        # Retrieval: топ-кандидати за релевантністю
        user_emb = self.user_model.get_user_embedding(user_id)
        candidates = self.item_index.search(user_emb, k=200)

        # Scoring: багатоцільова функція
        scored = []
        seller_count = {}

        for item_id, relevance_score in candidates:
            item = self._get_item(item_id)
            if item is None or item.inventory == 0:
                continue

            # Якість товару
            quality_score = (
                item.rating / 5.0 * 0.6 +
                np.log1p(item.review_count) / 10 * 0.4
            )

            # Штраф за концентрацію продавців
            seller_count[item.seller_id] = seller_count.get(item.seller_id, 0) + 1
            seller_diversity = 1 / seller_count[item.seller_id]

            # Promoted boost (з обмеженням)
            promo_boost = 1.2 if item.is_promoted else 1.0

            # Фінальний скор
            final_score = (
                self.weights['relevance'] * relevance_score +
                self.weights['quality'] * quality_score +
                self.weights['seller_diversity'] * seller_diversity +
                self.weights['promoted'] * (promo_boost - 1) +
                self.weights['conversion'] * item.conversion_rate
            )

            scored.append({
                'item_id': item_id,
                'seller_id': item.seller_id,
                'score': final_score,
                'relevance': relevance_score,
                'quality': quality_score
            })

        # Сортування та повернення
        scored.sort(key=lambda x: x['score'], reverse=True)
        return scored[:n]

    def _get_item(self, item_id: str) -> MarketplaceItem:
        return self.seller_index.get(item_id)

    def similar_items_cross_seller(self, item_id: str,
                                    n: int = 6) -> list[dict]:
        """Схожі товари від інших продавців (comparison shopping)"""
        item = self._get_item(item_id)
        if not item:
            return []

        similar = self.item_index.search_similar(item_id, k=20)

        # Фільтрація: інший продавець, але схожий товар
        cross_seller = [
            s for s in similar
            if self._get_item(s[0]) and self._get_item(s[0]).seller_id != item.seller_id
        ]

        return cross_seller[:n]

Як вирішити проблему холодного старту?

Нові товари не мають історії взаємодій — стандартні collaborative filtering не працюють. Згідно з Wikipedia про холодний старт, проблема виникає, коли в нового елемента немає взаємодій. Наш підхід: використовуємо content-based буст на основі мета-даних. Товари з високим рейтингом (≥4.5) та конкурентною ціною отримують початковий рейтинг 0.5. Плюс 8% трафіку виділяється на exploration — товар показується випадковій вибірці користувачів.

    def handle_new_item_cold_start(self, item: MarketplaceItem,
                                    item_features: dict) -> float:
        """Початковий буст для нових товарів"""
        base_score = 0.3  # Базова позиція

        # Буст на основі метаданих
        if item.rating >= 4.5 and item.review_count >= 10:
            base_score += 0.2
        if item.price < self._get_category_avg_price(item_features.get('category')):
            base_score += 0.1  # Конкурентна ціна

        # Explore-exploit баланс для нових товарів
        # Показуємо 5-10% трафіку для збору даних
        import random
        if random.random() < 0.08:  # 8% exploration
            return 0.7 + random.random() * 0.3

        return base_score

Порівняння підходів до балансування інтересів — розробка рекомендаційної системи

Багатоцільова архітектура збільшує GMV в 1.12-1.2 раза порівняно з Pure relevance і підвищує CTR в 1.3-1.5 раза. Це робить її більш ефективною для довгострокової монетизації.

Що дає A/B тестування рекомендацій?

Стандартні метрики precision@k, recall@k, NDCG — недостатні для маркетплейсу. Ми використовуємо бізнес-метрики: GMV per session, CTR головної сторінки, conversion rate. A/B тест проводиться мінімум 2 тижні з розподілом трафіку 50/50. Додатково моніторимо seller satisfaction через щомісячний NPS серед продавців.

Метрики ефективності рекомендацій

Процес розробки: від аудиту до деплою

1. Аудит даних: аналіз логів взаємодій, товарних карток, профілів продавців. Виявляємо проблеми з якістю даних і спотворення (selection bias, popularity bias).
2. Проектування архітектури: вибір моделей (embeddings, трансформери), визначення pipeline: batch vs online, вибір векторної БД (ChromaDB, Qdrant).
3. Реалізація: пишемо production-ready код на PyTorch/Hugging Face, обгортаємо в REST API з latency p99 < 100ms.
4. Інтеграція: підключаємо до вітрини магазину, налаштовуємо моніторинг дрейфу даних через Weights & Biases.
5. A/B тестування: запускаємо експеримент, аналізуємо результати, коригуємо ваги.
6. Документація та навчання: передаємо код, опис моделі, інструкцію для експлуатації.

Що входить у розробку під ключ

• Повна документація: опис архітектури, інструкція з розгортання, керівництво з експлуатації.
• Вихідний код моделі та pipeline з коментарями.
• REST API для інтеграції з вітриною.
• Налаштування моніторингу дрейфу даних та A/B тестування.
• Навчання команди замовника роботі з системою.
• Технічна підтримка на етапі запуску.

Строки та вартість

Строки: від 4 тижнів (MVP) до 3 місяців (повноцінна система). Вартість розраховується індивідуально — залежить від обсягу даних, складності інтеграцій та вимог до real-time. Отримайте консультацію: ми проаналізуємо ваші дані та запропонуємо архітектуру, яка підходить під ваші бізнес-цілі. Зв'яжіться з нами для оцінки вашого проекту — наш досвід включає 20+ впроваджень для маркетплейсів з високим оборотом. Гарантуємо прозорий процес та підтримку після запуску.

Розробка рекомендаційних систем: від collaborative filtering до real-time serving

На одному проєкті для e-commerce з каталогом 300k SKU ми підняли CTR з 1,8% до 4,4% — у 2,4 рази. Перший ривок дала колаборативна фільтрація замість «популярне за останні 7 днів», другий — додавання контентних ознак та re-ranking. Різниця між «показуємо популярне» і «показуємо персоналізоване» — вимірна та суттєва. Нижче — інженерний досвід, який допоміг це зробити, і архітектури, які реально працюють у продакшені.

Collaborative Filtering: матрична факторизація та нейронні підходи

Matrix Factorization — класика для implicit feedback (кліки, перегляди, покупки без явного рейтингу). ALS (Alternating Least Squares) у бібліотеці Implicit обробляє матриці user×item із сотнями мільйонів ненульових значень за хвилини на GPU. Latent factors 64–256, регуляризація λ=0.01–0.1 — стартові параметри. Проблема cold start: для нового користувача або товару немає історії — класичний CF безпорадний, потрібні контентні ознаки або гібрид.

Neural Collaborative Filtering (NCF) замінює скалярний добуток на нейромережу. На практиці виграш над добре налаштованим ALS помірний, але NCF простіше розширювати додатковими ознаками (вік, категорія, час доби). Sequence-aware моделі (SASRec, BERT4Rec) враховують порядок взаємодій — state-of-the-art для сесійних рекомендацій.

Як вибрати архітектуру рекомендаційної системи?

Відповідь залежить від даних, навантаження та вимог до холодного старту. Нижче — три основні підходи з критеріями вибору.

Гібридна архітектура на 20–40% ефективніша за чистий CF за покриттям long-tail — перевірено на каталогах від 100k SKU.

Content-Based Filtering: коли історії взаємодій мало

Content-based рекомендує на основі характеристик товарів, а не поведінки інших користувачів — вирішує cold start для нових items. Текстові ембединги через sentence-transformers (multilingual-e5-base, BGE-M3) → пошук схожих через FAISS IndexFlatIP — запит за <5 ms на 100k товарів. Item2Vec (Word2Vec на послідовностях переглядів) дає інтерпретовані «схожі товари» за пару годин навчання.

Структуровані ознаки (категорія, бренд, ціна) подаються через embedding layers або в gradient boosting — CatBoost працює з категоріями без ручного кодування.

Чому гібридні моделі працюють краще?

Production-системи майже завжди дворівневі. Stage 1 (Retrieval) — швидкий відбір 100–500 кандидатів із 300k товарів через ALS або Two-Tower модель з векторним пошуком (FAISS, Qdrant). Stage 2 (Ranking) — важкий ранжувальник на LightGBM або нейромережі з cross-features, часом, пристроєм та контекстом сесії. LightFM — хороша відправна точка для середнього масштабу без важкої інфраструктури. Наша практика показує: перехід від single-stage до two-stage дає приріст точності на 15–25% при зростанні latency всього на 20–30 мс.

Real-Time Serving: архітектура під навантаження

Latency SLA — 50–100 ms при тисячах запитів на секунду. Base-рекомендації precompute (batch job раз на годину) → Redis по user_id → <5 ms. Real-time re-ranking через Kafka для подій (кліки, додавання в кошик) → оновлення контекстних ознак. Feature serving — Redis з TTL (кількість переглядів за 24 години, останній клікнутий item). При навантаженні 10k req/s ставимо Redis Cluster з реплікацією.

A/B тестування — єдиний достовірний спосіб оцінити покращення. Офлайн-метрики корелюють з онлайн не завжди. Kohavi et al., «Online Controlled Experiments at Large Scale» (KDD 2013) — обов'язкове читання для команди. Тест з 5–10% трафіку, моніторинг CTR, конверсії, revenue per session. Одна з наших клієнтських систем після гібридизації збільшила виручку на 18% за місяць A/B.

Терміни розробки рекомендаційної системи

Етапи та типові часові витрати — у таблиці нижче. Вартість розраховується індивідуально під масштаб каталогу та вимоги до latency.

Що входить у розробку під ключ

1. Аудит даних — щільність матриці user×item (зазвичай <0,1%), розподіл активності, temporal паттерни, cold start статистика.
2. Baseline — «популярне» як простий поріг, який часто важко перевершити.
3. Ітеративне покращення — ALS → контентні ознаки → two-stage → sequence-aware. Кожен крок з A/B.
4. Інфраструктура serving — batch precomputation, Redis, real-time re-ranking, моніторинг у Grafana.
5. Документація — model card з метриками, інструкція з деплою, опис ознак.
6. Навчання команди — сесія з інтерпретації результатів та донавчання моделі.
7. Підтримка — 1 місяць після запуску (фікс інцидентів, доналаштування pipeline).

Ми — команда з 7+ роками досвіду в рекомендаційних системах, реалізували понад 30 проєктів для e-commerce та медіа. Гарантуємо прозоре A/B-тестування та фіксацію покращення метрик.

Хочете оцінити потенціал зростання вашого каталогу? Зв'яжіться з нами для безкоштовного аудиту даних. Замовте розробку рекомендаційної системи — перший прототип протягом двох тижнів.

from implicit.als import AlternatingLeastSquares

model = AlternatingLeastSquares(
    factors=64,
    regularization=0.05,
    iterations=15,
    use_gpu=True
)
model.fit(user_item_matrix)

Більше про математику рекомендаційних систем — у Wikipedia.