AI-система персоналізації email-розсилок для медіа

Масові розсилки з однаковим контентом для всієї бази — це застарілий підхід: open rate 15–20%, а відтік підписників сягає 5–8% на місяць. Наші інженери зауважують, що медіа втрачають до 70% потенціалу залучення через ігнорування поведінкових сигналів. Ми будуємо pipeline персоналізації на базі LLM і event streaming, який підіймає open rate до 35–50%: профіль читача → скоринг статей → генерація теми листа через велику мовну модель. Технічно це ланцюжок, що включає Apache Kafka для подій, Redis для профілів та batch-обробку за 1–2 години до відправки. У результаті кожен підписник отримує дайджест, релевантний його інтересам, що скорочує відтік у 2–3 рази та економить до 40% бюджету на email-маркетинг за рахунок зниження кількості нецільових відправок.

Які дані критичні для персоналізації?

Для якісного профілю потрібно мінімум 10–15 прочитаних статей. Збираємо події: перегляди, час на сторінці, лайки, шерінг. До цього порогу використовуємо категорійну персоналізацію — обираємо розділи на основі останніх інтересів. Дані зберігаються в Redis з TTL 30 днів; топики зважуються з експоненціальним загасанням. Без достатньої історії алгоритм перемикається на fallback, щоб не погіршувати досвід.

Чому масові розсилки програють персоналізації?

Однотипні дайджести ігнорують поведінкові сигнали: який розділ читач відкриває частіше, які теми пропускає. LLM-персоналізація враховує свіжість контенту, редакційну оцінку та навіть час доби. Порівняйте:

Після впровадження персоналізації open rate зріс з 18% до 41% за три місяці, — зазначає технічний директор одного з клієнтів.

Як ми будуємо pipeline персоналізації?

Крок 1. Профілювання читача. Збираємо події через Apache Kafka: перегляди, лайки, час на статті. Зберігаємо в Redis з TTL 30 днів. Топики зважуємо з експоненціальним загасанням. Для кожного читача формуємо 1536-вимірний embedding на основі історії переглядів.

Крок 2. Скоринг статей. Для кожного непрочитаного матеріалу розраховуємо комбінований score:

• Відповідність топикам (50%)
• Свіжість (30%) — що молодша стаття, то вище
• Редакційна оцінка (20%)

Крок 3. Генерація теми листа. Використовуємо Claude 3.5 Sonnet з few-shot промптом. Модель отримує три найкращі статті та інтереси читача, видає заголовок до 55 символів українською. Приклад коду:

from anthropic import Anthropic

def generate_personalized_digest(user_profile, available_articles, n_articles=5):
    llm = Anthropic()
    read_ids = user_profile.get('read_ids', set())
    unread = [a for a in available_articles if a['id'] not in read_ids]
    topics = user_profile.get('topics', {})
    scored = []
    for article in unread:
        topic_score = topics.get(article.get('topic', 'general'), 0.05)
        freshness = max(0, 1.0 - article.get('hours_old', 24) / 48)
        quality = article.get('editorial_score', 0.7)
        scored.append({**article, 'score': topic_score*0.5 + freshness*0.3 + quality*0.2})
    top_articles = sorted(scored, key=lambda x: -x['score'])[:n_articles]
    article_titles = [a['title'] for a in top_articles]
    response = llm.messages.create(
        model="claude-3-5-sonnet-20241022",
        max_tokens=80,
        messages=[{
            "role": "user",
            "content": f"Write a compelling email subject line for a news digest in Ukrainian.\nArticles: {article_titles[:3]}\nReader's main interests: {list(topics.keys())[:3]}\nMax 55 chars. No clickbait."
        }])
    return {'articles': top_articles, 'subject': response.content[0].text.strip()}

Поріг запуску персоналізації — 10–15 прочитаних статей. Інакше вмикається категорійна персоналізація (вибір розділу) без статейного рівня. При необхідності використовуємо fine-tuning моделі на корпусі редакційних матеріалів за допомогою LoRA.

Які результати дає персоналізація?

Персоналізовані дайджести в 2–3 рази ефективніші за масові розсилки за основними метриками. Ми проводимо A/B-тестування для кожної моделі, фіксуючи lift на рівні p99 latency менше 200 мс. Досвід нашої команди в MLOps і NLP дозволяє швидко адаптувати pipeline під будь-яку редакцію. Економія на нецільових відправках сягає 30–40% при збереженні якості контенту.

Що входить у роботу «під ключ»

• Архітектура рішення з блок-схемою
• Код pipeline на Python з використанням LangChain і Redis
• Інтеграція з CRM та ESP через REST API
• Документація та навчання команди
• Гарантія на 3 місяці та підтримка при релізах

Терміни та вартість

Термін впровадження: від 2 до 6 тижнів залежно від складності інтеграцій. Вартість розраховується індивідуально після аудиту поточного стеку. Оцінимо проєкт безкоштовно — отримайте консультацію через форму на сайті.

Як почати?

Розкажіть про вашу базу підписників, поточні метрики та завдання. Ми підготуємо пропозицію з точним складом робіт і календарним планом. Зв'яжіться з нами — допоможемо підняти open rate до 50%.

Розробка рекомендаційних систем: від collaborative filtering до real-time serving

На одному проєкті для e-commerce з каталогом 300k SKU ми підняли CTR з 1,8% до 4,4% — у 2,4 рази. Перший ривок дала колаборативна фільтрація замість «популярне за останні 7 днів», другий — додавання контентних ознак та re-ranking. Різниця між «показуємо популярне» і «показуємо персоналізоване» — вимірна та суттєва. Нижче — інженерний досвід, який допоміг це зробити, і архітектури, які реально працюють у продакшені.

Collaborative Filtering: матрична факторизація та нейронні підходи

Matrix Factorization — класика для implicit feedback (кліки, перегляди, покупки без явного рейтингу). ALS (Alternating Least Squares) у бібліотеці Implicit обробляє матриці user×item із сотнями мільйонів ненульових значень за хвилини на GPU. Latent factors 64–256, регуляризація λ=0.01–0.1 — стартові параметри. Проблема cold start: для нового користувача або товару немає історії — класичний CF безпорадний, потрібні контентні ознаки або гібрид.

Neural Collaborative Filtering (NCF) замінює скалярний добуток на нейромережу. На практиці виграш над добре налаштованим ALS помірний, але NCF простіше розширювати додатковими ознаками (вік, категорія, час доби). Sequence-aware моделі (SASRec, BERT4Rec) враховують порядок взаємодій — state-of-the-art для сесійних рекомендацій.

Як вибрати архітектуру рекомендаційної системи?

Відповідь залежить від даних, навантаження та вимог до холодного старту. Нижче — три основні підходи з критеріями вибору.

Гібридна архітектура на 20–40% ефективніша за чистий CF за покриттям long-tail — перевірено на каталогах від 100k SKU.

Content-Based Filtering: коли історії взаємодій мало

Content-based рекомендує на основі характеристик товарів, а не поведінки інших користувачів — вирішує cold start для нових items. Текстові ембединги через sentence-transformers (multilingual-e5-base, BGE-M3) → пошук схожих через FAISS IndexFlatIP — запит за <5 ms на 100k товарів. Item2Vec (Word2Vec на послідовностях переглядів) дає інтерпретовані «схожі товари» за пару годин навчання.

Структуровані ознаки (категорія, бренд, ціна) подаються через embedding layers або в gradient boosting — CatBoost працює з категоріями без ручного кодування.

Чому гібридні моделі працюють краще?

Production-системи майже завжди дворівневі. Stage 1 (Retrieval) — швидкий відбір 100–500 кандидатів із 300k товарів через ALS або Two-Tower модель з векторним пошуком (FAISS, Qdrant). Stage 2 (Ranking) — важкий ранжувальник на LightGBM або нейромережі з cross-features, часом, пристроєм та контекстом сесії. LightFM — хороша відправна точка для середнього масштабу без важкої інфраструктури. Наша практика показує: перехід від single-stage до two-stage дає приріст точності на 15–25% при зростанні latency всього на 20–30 мс.

Real-Time Serving: архітектура під навантаження

Latency SLA — 50–100 ms при тисячах запитів на секунду. Base-рекомендації precompute (batch job раз на годину) → Redis по user_id → <5 ms. Real-time re-ranking через Kafka для подій (кліки, додавання в кошик) → оновлення контекстних ознак. Feature serving — Redis з TTL (кількість переглядів за 24 години, останній клікнутий item). При навантаженні 10k req/s ставимо Redis Cluster з реплікацією.

A/B тестування — єдиний достовірний спосіб оцінити покращення. Офлайн-метрики корелюють з онлайн не завжди. Kohavi et al., «Online Controlled Experiments at Large Scale» (KDD 2013) — обов'язкове читання для команди. Тест з 5–10% трафіку, моніторинг CTR, конверсії, revenue per session. Одна з наших клієнтських систем після гібридизації збільшила виручку на 18% за місяць A/B.

Терміни розробки рекомендаційної системи

Етапи та типові часові витрати — у таблиці нижче. Вартість розраховується індивідуально під масштаб каталогу та вимоги до latency.

Що входить у розробку під ключ

1. Аудит даних — щільність матриці user×item (зазвичай <0,1%), розподіл активності, temporal паттерни, cold start статистика.
2. Baseline — «популярне» як простий поріг, який часто важко перевершити.
3. Ітеративне покращення — ALS → контентні ознаки → two-stage → sequence-aware. Кожен крок з A/B.
4. Інфраструктура serving — batch precomputation, Redis, real-time re-ranking, моніторинг у Grafana.
5. Документація — model card з метриками, інструкція з деплою, опис ознак.
6. Навчання команди — сесія з інтерпретації результатів та донавчання моделі.
7. Підтримка — 1 місяць після запуску (фікс інцидентів, доналаштування pipeline).

Ми — команда з 7+ роками досвіду в рекомендаційних системах, реалізували понад 30 проєктів для e-commerce та медіа. Гарантуємо прозоре A/B-тестування та фіксацію покращення метрик.

Хочете оцінити потенціал зростання вашого каталогу? Зв'яжіться з нами для безкоштовного аудиту даних. Замовте розробку рекомендаційної системи — перший прототип протягом двох тижнів.

from implicit.als import AlternatingLeastSquares

model = AlternatingLeastSquares(
    factors=64,
    regularization=0.05,
    iterations=15,
    use_gpu=True
)
model.fit(user_item_matrix)

Більше про математику рекомендаційних систем — у Wikipedia.