RAG на ChromaDB: от прототипа до продакшена

Распространённая ситуация: модель отвечает не по контексту, а latency p99 превышает 5 секунд. Причины — неотфильтрованные эмбеддинги, перемешанные чанки и неподготовленная векторная база. Мы сталкивались с этим десятки раз и знаем, как настроить RAG на ChromaDB под ваши данные.

Почему ChromaDB — хороший старт для RAG?

ChromaDB — это embedded векторная база данных, которая не требует отдельного сервера для локальной разработки. Она поддерживает in-memory и persistent режимы, а также HTTP-режим для продакшена. Это позволяет быстро итерировать: написали код — запустили — проверили. Для прототипирования RAG-систем и небольших продакшен-деплоев (до нескольких миллионов документов) ChromaDB — стандартный выбор.

Какие проблемы мы решаем?

• Галлюцинации LLM: RAG снижает их за счёт подачи релевантного контекста. Но если поиск возвращает не те чанки — галлюцинации остаются. Мы настраиваем embedding-модель, размер чанка и метрику сходства так, чтобы precision@k была >0.8. Это снижает latency с 5с до 50 мс и экономит до 70% вычислительных ресурсов.
• Медленный поиск: при 100k+ чанков latency может превысить 1 секунду. Оптимизация HNSW-графа (ef_construction, ef_search) и шардирование по метаданным сокращают время до 50 мс.
• Сложность масштабирования: ChromaDB легко масштабируется горизонтально через HTTP-сервер и репликацию. Мы покажем, как настроить кластер для миллионов запросов в день.

Как мы это делаем: стек и конфигурации

Используем проверенный стек: Python 3.11, ChromaDB 0.5.x, OpenAI text-embedding-3-small (1536-dim), GPT-4o-mini для генерации. Для сложных сценариев — LangChain или LlamaIndex. Дополнительно применяем fine-tuning эмбеддингов под доменную специфику и MLOps-практики для отслеживания экспериментов.

Запуск и подключение

import chromadb from chromadb.utils import embedding_functions # In-memory (для разработки и тестов) client = chromadb.EphemeralClient() # Persistent (файловое хранилище) client = chromadb.PersistentClient(path="./chroma_db") # HTTP-сервер (production) client = chromadb.HttpClient(host="localhost", port=8000) 

Создание коллекции и индексация

from chromadb.utils.embedding_functions import OpenAIEmbeddingFunction embedding_fn = OpenAIEmbeddingFunction( api_key="...", model_name="text-embedding-3-small" ) collection = client.get_or_create_collection( name="knowledge_base", embedding_function=embedding_fn, metadata={"hnsw:space": "cosine"} # Метрика сходства ) # Добавление документов collection.add( documents=["Текст чанка 1", "Текст чанка 2", ...], metadatas=[ {"source": "contract.pdf", "page": 1, "doc_type": "contract"}, {"source": "faq.md", "page": 0, "doc_type": "faq"}, ], ids=["chunk_001", "chunk_002", ...] ) 

RAG-запрос

from openai import OpenAI openai_client = OpenAI() def rag_answer(question: str, n_results: int = 4) -> str: # Поиск релевантных чанков results = collection.query( query_texts=[question], n_results=n_results, where={"doc_type": {"$in": ["contract", "regulation"]}}, # Фильтр ) context = "\n\n".join(results["documents"][0]) # Генерация ответа response = openai_client.chat.completions.create( model="gpt-4o-mini", messages=[ {"role": "system", "content": "Отвечай только на основе контекста."}, {"role": "user", "content": f"Контекст:\n{context}\n\nВопрос: {question}"} ], temperature=0, ) return response.choices[0].message.content answer = rag_answer("Какой срок действия договора?") 

Что входит в работу?

collection = client.create_collection( name="high_accuracy", metadata={ "hnsw:space": "cosine", "hnsw:construction_ef": 200, "hnsw:search_ef": 100, "hnsw:M": 32 } )