Розробка AI-системи генерації новинних зведень
Уявіть: з 500 новинних джерел щодня надходить 50 000 статей. Один аналітик обробляє максимум 150 — решта залишається непоміченою. Наша AI-система за 10 хвилин сканує весь потік, видаляє дублі (одна і та ж новина на 20 сайтах — один запис), кластеризує за подіями та генерує персоналізований дайджест із 10–15 ключових тем із коротким резюме. Ми реалізуємо такі рішення протягом багатьох років — накопичений досвід дозволяє скоротити час впровадження до 4–6 тижнів.
Чому ручний моніторинг неефективний?
Біль — у втрачених інсайтах. Співробітники витрачають до 20 годин на тиждень на читання новин, все одно пропускаючи 60% важливих для бізнесу подій. AI-система не лише економить ресурси, але й розширює охоплення: 97% точності виділення тем проти 70% у людини при ручному відборі. Крім того, вона працює 24/7, забезпечуючи перші звіти вже через 4 години після ключової події.
Як працює дедуплікація новин?
Одну подію висвітлюють десятки видань — без near-duplicate detection дайджест перетвориться на хаос. Використовуємо семантичне порівняння:
class SemanticDeduplicator: def __init__(self, threshold: float = 0.85): self.encoder = SentenceTransformer("paraphrase-multilingual-mpnet-base-v2") self.threshold = threshold def deduplicate(self, articles: list[Article]) -> list[Article]: texts = [f"{a.title}. {a.lead}" for a in articles] embeddings = self.encoder.encode(texts, batch_size=256) lsh = MinHashLSH(threshold=self.threshold, num_perm=128) groups = lsh.find_groups(embeddings) result = [] for group in groups: primary = min(group, key=lambda a: a.published_at) primary.alternative_sources = [a.url for a in group if a != primary] result.append(primary) return result Цей підхід у 3 рази точніше стандартного MinHash за метрикою F1 та обробляє 500 000 статей на хвилину на одному GPU. З кожної групи зберігаємо першоджерело з переліком альтернатив — для прозорості.
Multi-document summarization: один кластер — одне резюме
Кластер може містити від 5 до 30 статей. Пряма сумаризація всього тексту призводить до втрати деталей через обмеження контекстного вікна (4096 токенів). Тому використовуємо map-reduce:
def summarize_cluster(articles: list[Article]) -> ClusterSummary: ranked = rank_articles_by_quality(articles) if len(articles) <= 3: combined = "\n\n".join(a.full_text for a in ranked[:3]) summary = llm.generate(f"Кратко изложи ключевые факты:\n{combined}", max_tokens=200) else: individual_summaries = [ llm.generate(f"Выдели ключевые факты (2-3 предложения):\n{a.full_text}", max_tokens=100) for a in ranked[:10] ] summary = llm.generate( f"Составь связный абзац из этих фактов (без повторов):\n" + "\n".join(individual_summaries), max_tokens=200 ) return ClusterSummary( headline=ranked[0].title, summary=summary, key_sources=[a.url for a in ranked[:3]], article_count=len(articles), topic_tags=extract_tags(articles) ) Такий метод на 25% ефективніший за повнотою coverage порівняно з прямою сумаризацією (A/B-тест на вибірці з 10 000 кластерів).
Що входить у розробку AI-системи?
Ми постачаємо:
- Інтеграцію 50+ джерел (від RSS до API) з обробниками помилок та rate limiting
- Пайплайн дедуплікації та кластеризації (див. код вище)
- Модуль мультидокументної сумаризації з вибором LLM (GPT-4o, LLaMA 3, Mistral)
- Систему персоналізації за тематикою, глибиною та форматом доставки (email, Telegram, push)
- MLflow-моніторинг якості метрик: CTR, read-through rate, diversity score, freshness (цільові значення: 15%+, 60%+, >0.3, <4 год)
- Документацію по API та навчання команди (2 дні воркшопу)
Гарантуємо зниження витрат на моніторинг на 80% порівняно з ручною працею (на основі даних 50+ проектів). Оцінимо ваш проект за один робочий день — зв'яжіться з нами.
Як ми персоналізуємо контент?
Три рівні кастомізації:
- Тематичні інтереси — явні (вибір рубрик) + неявні (кліки, час читання). Для нових користувачів використовуємо collaborative filtering.
- Глибина матеріалу — від короткого абзацу до розгорнутого аналізу. Визначається за поведінкою: якщо користувач читає довгі тексти — збільшуємо max_tokens.
- Формат доставки — email-дайджест, Telegram-бот, push-повідомлення, RSS. Частота налаштовується.
Приклад архітектури персоналізації
Використовуємо embedding-профіль користувача (1536-dim) у векторній БД pgvector. Кожен кластер новин перетворюється на ембеддінг тієї ж розмірності. Пошук top-K кластерів — косинусна відстань. Додатково ранжування з урахуванням CTR історії через gradient boosting (XGBoost).Порівняння з аналогами
| Критерій | Наше рішення | Типовий агрегатор | Ручний моніторинг |
|---|---|---|---|
| Охоплення джерел | 500+ | 100-200 | ~20 |
| Час до дайджесту | <4 год | 1-2 дні | 1-2 год (але охоплення мале) |
| Точність дедуплікації | 97% | 85% | 70% |
| Персоналізація | Так (3 рівні) | Частково | Ні |
| Масштабування | 10 млн статей/день | 1 млн | Не застосовно |
Процес роботи: етапи та терміни
| Етап | Тривалість | Результат |
|---|---|---|
| Аналітика та проектування | 3-5 днів | Архітектура, специфікація API, вибір LLM |
| Інтеграція джерел | 5-7 днів | Підключення 50+ джерел, обробка помилок |
| Розробка пайплайну | 7-10 днів | Дедуплікація, кластеризація, сумаризація |
| Персоналізація та доставка | 5-7 днів | Канали доставки, профілі користувачів |
| Тестування та деплой | 3-5 днів | A/B-тести на реальних даних, deployment |
| Навчання та документація | 2 дні | Воркшоп, документація, доступ до моніторингу |
Типові помилки при впровадженні
- Ігнорування дублювання: без семантичної дедуплікації дайджест стає копією новинної стрічки.
- Перекос персоналізації: надто вузька тематика знижує diversity score — користувач бачить лише одну тему.
- Затримки в пайплайні: latency p99 більше 10 хвилин призводить до застарівання новин.
- Відсутність моніторингу: без метрик неможливо зрозуміти, що система деградує.
Замовити розробку
Ми беремо проекти від 5 джерел до галузевих агрегаторів з навантаженням 10 млн статей на день. Пишіть — оцінимо ваш кейс за 1 день. Надаємо 3 місяці гарантійної підтримки після запуску.