Контекстная память для AI-чат-бота: сессия, Redis, векторный поиск

Память для AI-чат-бота: от сессионного контекста до векторного поиска

Вы запустили AI-бота, а он каждое утро забывает, кто вы. Клиенты раздражаются, диалоги прерываются, конверсия падает. Сталкивались? Мы решаем эту проблему: проектируем память, которая хранит контекст непрерывно — от сессии к сессии, от недели к неделе. Без памяти каждый запрос — разговор с незнакомцем. Клиент пишет: «Я уже спрашивал про тариф», а бот отвечает как в первый раз. Типичные сценарии потери контекста включают обрыв кратковременного окна при превышении лимита токенов, сброс сессионной памяти через 24 часа и неспособность извлечь релевантные факты без семантического поиска. Наш подход устраняет эти сценарии.

Какую архитектуру памяти выбрать для вашего проекта?

Проблемы, которые решаем

Без памяти каждый запрос — разговор с незнакомцем. Клиент пишет: «Я уже спрашивал про тариф», а бот отвечает как в первый раз. Типичные сценарии потери контекста:

• Кратковременная память (окно в 10-20 сообщений) обрывается при превышении лимита токенов. Если бот использует gpt-4o-mini с контекстом 128K токенов, но реально передаётся только 5 последних сообщений — теряется суть.
• Сессионная память на Redis с TTL 24 часа разрывает диалог на следующий день. В B2B-сервисе это критично: пользователь возвращается, а бот не помнит вчерашние договорённости.
• Долгосрочная память без векторного поиска хранит только плоские факты, но не может извлечь релевантные воспоминания. Например, клиент упомянул «сроки поставки» два месяца назад — и бот не подтянет это без семантического поиска.

Мы решаем иерархию памяти: кратковременная, среднесрочная (Redis с TTL), долгосрочная (БД профиля) и векторная (semantic retrieval). Гарантируем, что пользовательский опыт станет непрерывным.

Сравнение типов памяти

Почему векторная память эффективнее простой БД?

Простая БД (PostgreSQL) хранит факты, но не понимает семантику. Векторная память (ChromaDB, Qdrant) находит похожие по смыслу записи — даже если формулировка отличается. При тестах на 10k записей accuracy retrieval выросла с 60% до 92%. Это критично для персонализации: бот вспоминает не только точные фразы, но и интенции. Экономия на дообучении достигает 40% благодаря точному retrieval.

Типичные ошибки и чек-лист

• Не использовать max_token_limit — переполнение контекста ухудшает качество.
• Хранить чувствительные данные (пароли, номера карт) — нарушение безопасности.
• Забыть про право на забвение — юридические риски.
• Не тестировать при 500+ параллельных сессий — падение Redis.

Проверьте свой проект: есть ли у вас /my_data? бот помнит через 2 дня? Если нет — пишите, внедрим под ключ.

Как мы реализуем память: стек и кейс

Как мы это делаем: стек и кейс

Используем LangChain для оркестрации: ConversationSummaryBufferMemory сжимает старые сообщения, сохраняя последние полностью. Согласно официальной документации LangChain, этот класс поддерживает max_token_limit для контроля объёма контекста. Пример:

from langchain.memory import ConversationSummaryBufferMemory
from langchain_openai import ChatOpenAI

memory = ConversationSummaryBufferMemory(
    llm=ChatOpenAI(model="gpt-4o-mini"),
    max_token_limit=1000,
    return_messages=True,
)

Для долгосрочной памяти поднимаем векторную базу (ChromaDB или Qdrant). Пример класса:

class LongTermMemory:
    def __init__(self, user_id: str, vectorstore: VectorStore):
        self.user_id = user_id
        self.vectorstore = vectorstore

    def remember(self, fact: str, importance: float = 0.5):
        self.vectorstore.add_texts(
            [fact],
            metadatas=[{"user_id": self.user_id, "timestamp": datetime.now().isoformat()}]
        )

    def recall(self, query: str, k: int = 5) -> list[str]:
        docs = self.vectorstore.similarity_search(query, k=k, filter={"user_id": self.user_id})
        return [doc.page_content for doc in docs]

Кейс: для интернет-магазина с 50 000 диалогов в месяц мы внедрили векторную память на Qdrant. Результат — повторные обращения сократились на 40%: бот помнил предыдущие заказы, адреса и претензии. Контекстная память подняла NPS с 62 до 78.

Что входит в работу

• Аудит текущей логики бота (архитектура, провайдеры LLM, объём данных)
• Проектирование иерархии памяти (контекст + Redis + БД + векторный слой)
• Реализация middleware для перехвата и обогащения запросов
• Настройка TTL, политик хранения и согласия (GDPR-ready)
• Интеграция команд /my_data и /forget_me
• Документация API и обучение вашей команды
• Техподдержка 2 недели после запуска

Процесс внедрения и сроки

Процесс работы

1. Аналитика — разбираем трафик, типы запросов, определяем критичные точки потери контекста.
2. Проектирование — выбираем стек: для 10 000+ диалогов — pgvector + Redis Cluster, для малого бизнеса — ChromaDB + Redis Single.
3. Реализация — пишем модуль памяти с unit-тестами (pytest). Требуем latency p99 < 200 мс на retrieval.
4. Тестирование — нагрузочное тестирование с Apache JMeter, симуляция 1000 параллельных диалогов.
5. Деплой — CI/CD через GitHub Actions, мониторинг через Prometheus + Grafana.

Сроки и стоимость

Базовая реализация (кратковременная + Redis) — от 5 дней. Полный цикл с векторной памятью и дашбордами — от 3 недель. Стоимость рассчитывается индивидуально под ваш объём диалогов и SLA. Оценим проект бесплатно — свяжитесь с нами.

Почему выбирают нас: 7+ лет опыта в AI/ML, 50+ внедрённых проектов с контекстной памятью, сертифицированные специалисты по OpenAI, LangChain, Qdrant. Гарантируем результат: контекстная память работает с первого дня.

Закажите внедрение под ключ за 2 недели. Получите бесплатную консультацию — мы оценим вашу задачу.

Полезные ссылки:

• LangChain Memory
• Vector database

NLP разработка: классификация текстов, NER, эмбеддинги и извлечение информации

К нам приходит задача: обрабатывать 50 тысяч обращений в службу поддержки — сейчас всё вручную. Датасет — 3000 размеченных примеров, 12 категорий, дисбаланс: одна категория занимает 40% выборки, три по 1-2%. Baseline accuracy — 78%. Звучит неплохо, пока не смотришь на recall по редким классам: 0.31, 0.44, 0.28. Именно эти классы — жалобы и угрозы оттока — важнее всего бизнесу.

Это типичный проект NLP разработки. Проблема не в алгоритме, а в том, что accuracy — не та метрика. Наш опыт показывает: в 30+ проектах мы начинаем с анализа бизнес-метрик и только потом выбираем модель.

Почему accuracy — не та метрика для редких классов?

Accuracy игнорирует дисбаланс. Если класс «отток» встречается в 2% случаев, модель может предсказывать «всё хорошо» и получить 98% accuracy — но бизнес теряет клиентов. Решение: F1 macro (усреднение по всем классам) или weighted F1. Для NER — strict entity F1 (только точные совпадения). Гарантируем: после выбора правильной метрики качество модели становится измеримым и прогнозируемым.

Классификация текста: от BERT до дистилляции

BERT-подобные модели — стандарт для классификации. ruBERT-base или ruBERT-large от DeepPavlov для русского языка. multilingual-e5-large — если нужно работать с несколькими языками в одном пайплайне. XLM-RoBERTa-large — сильный multilingual backbone.

Fine-tuning для классификации: добавляем classification head поверх [CLS]-токена, обучаем 3-5 эпох с lr=2e-5, weight decay=0.01. При дисбалансе — weighted CrossEntropyLoss или focal loss с gamma=2.0. Пишите — покажем code snippet.

Кейс с дисбалансом. Датасет — 3000 примеров, дисбаланс 1:20. Решение: class_weight через sklearn + CrossEntropyLoss. Дополнительно — augmentation редких классов через backtranslation (ru→en→ru через MarianMT). Recall по редким классам вырос с 0.31 до 0.67 при незначительном падении accuracy (76%→74%). Полная NLP разработка под ключ заняла 3 недели.

Дистилляция для production. BERT-large даёт F1 0.89, но inference на CPU — 180ms. Дистилляция в DistilBERT или ruBERT-tiny2 снижает latency до 25ms при F1 0.84. Экспорт в ONNX Runtime даёт дополнительный 1.5-2x. Оценим проект — рассчитаем экономию на инфраструктуре.

NER: распознавание именованных сущностей

NER — извлечение персон, организаций, локаций, дат, сумм, номеров документов. Для общих категорий (PER, ORG, LOC) предобученные модели работают хорошо. Для специализированных (медицинские термины, юридические понятия) — нужен fine-tuning.

Разметка данных. Основная стоимость NER-проекта. Для качественной модели — 500-2000 размеченных предложений на каждый тип сущности. Инструменты: Label Studio (open source) или Prodigy (от создателей spaCy). Формат IOB2 — стандарт.

Архитектура. Token classification поверх BERT: каждому токену метка (B-PER, I-PER, O). spaCy 3.x с transformer pipeline — удобный production-выбор.

Вложенные сущности. Стандартные IOB-модели не обрабатывают вложенные сущности (организация внутри адреса). Для таких задач — span-based NER: SpanBERT или SpERT. Сложнее, но правильно.

Постобработка обязательна. Модель предсказывает токены — нужны нормализованные сущности. Дата — dateparser. Суммы — regex + валидация. Имена — дедупликация через rapidfuzz. Входит в нашу стандартную поставку.

Sentiment Analysis и opinion mining

Бинарная классификация positive/negative работает с BERT из коробки. Сложность — аспектная тональность (ABSA): «в ресторане хорошая кухня, но ужасный сервис». Для ABSA: aspect extraction (NER) + sentiment по каждому аспекту. Joint модели BERT-for-ABSA — качество на русских данных ниже из-за дефицита датасетов. RuSentiment, SentiRuEval — основные ресурсы.

Для продакшена с простым позитив/негатив/нейтраль: distil-модели достаточно. Три класса, balanced датасет, 2000+ примеров — F1 macro 0.82-0.87 за 1-2 дня.

Суммаризация текста

Экстрактивная суммаризация (выбираем предложения) — TextRank или BM25 без обучения. Быстро, не галлюцинирует. Хорошо для длинных документов.

Абстрактивная (генерирует новый текст) — seq2seq: mT5, mBART, FRED-T5, ruT5-large. Для production через LLM API (GPT-4, Claude) — часто лучший трейдофф стоимость/качество/скорость.

Эмбеддинги: векторные представления текста

Эмбеддинги — основа семантического поиска, дедупликации, кластеризации, RAG. Качество критически влияет на downstream задачи.

Модели. E5-large-v2, BGE-M3, multilingual-e5-large — сильные multilingua embedders. sentence-transformers/paraphrase-multilingual-mpnet-base-v2 — быстрый вариант. Для русского: ru-en-RoSBERTa (Skoltech) хорош на semantic textual similarity.

Как оценить качество эмбеддингов? MTEB benchmark — стандарт. Но топовые результаты на MTEB не гарантируют успех на доменном датасете — строим домен-специфичный eval.

Fine-tuning эмбеддингов. Если стандартные модели не дают нужного Recall@k — contrastive learning на доменных парах с MultipleNegativesRankingLoss. 500-2000 пар, 1-3 эпохи — 5-15% прирост Recall@k.

Размерность и хранение. E5-large: 1024 dim, float32 — 4KB на вектор. При 10M документов — 40GB. Квантизация int8 снижает до 10GB. FAISS IVF_PQ — ещё компактнее, но с потерями. Входит в наши рекомендации по деплою.

Извлечение информации

Структурированное извлечение — одна из частых задач. Примеры: ключевые условия договора, технические характеристики, даты и суммы из счетов.

1. Regex + rule-based. Для ИНН, ОГРН, сумм, дат — надёжнее нейросети. Не требует данных.
2. NER + постобработка. Для вариативных форматов.
3. LLM с structured output. GPT-4 / Claude с JSON schema — для сложных документов. Стоимость: ~$0.001-0.01 на документ. Для 10k+ документов/день — считаем экономику.

Гарантируем гибрид: regex/NER для типовых полей + LLM для edge cases. Сертификат доверия: 5 лет на рынке, >30 проектов.

Этапы работы

Прототип на существующих данных — 1-3 недели. Production-система с CI/CD — 1.5-2.5 месяца. Стоимость рассчитывается индивидуально — напишите, получите консультацию и оценку.

Что входит в работу

• Документация по архитектуре модели и пайплайну
• Доступы к модели через REST API (FastAPI + ONNX)
• Обучение команды заказчика (2 часа вебинара + Q&A)
• Гарантия на точность модели на оговоренной тестовой выборке
• Поддержка 3 месяца после сдачи (багфикс, адаптация под новые данные)

Наш опыт

Более 5 лет в NLP, 30+ проектов от классификации до RAG-систем. Команда включает ML-инженеров с опытом в Hugging Face, spaCy, LangChain, MLOps. Используем vLLM, Kubeflow, Weights & Biases — продакшен-стек, а не игрушки. Пишите — оценим проект за 2 дня.