RAG на ChromaDB: від прототипу до продакшену

Поширена ситуація: модель відповідає не за контекстом, а latency p99 перевищує 5 секунд. Причини — невідфільтровані ембедінги, перемішані чанки та непідготовлена векторна база. Ми стикалися з цим десятки разів і знаємо, як налаштувати RAG на ChromaDB під ваші дані.

Чому ChromaDB — хороший старт для RAG?

ChromaDB — це embedded векторна база даних, яка не потребує окремого сервера для локальної розробки. Вона підтримує in-memory та persistent режими, а також HTTP-режим для продакшену. Це дозволяє швидко ітерувати: написали код — запустили — перевірили. Для прототипування RAG-систем і невеликих продакшен-деплоїв (до кількох мільйонів документів) ChromaDB — стандартний вибір.

Які проблеми ми вирішуємо?

• Галюцинації LLM: RAG знижує їх за рахунок подачі релевантного контексту. Але якщо пошук повертає не ті чанки — галюцинації залишаються. Ми налаштовуємо embedding-модель, розмір чанка та метрику схожості так, щоб precision@k була >0.8. Це знижує latency з 5с до 50 мс і економить до 70% обчислювальних ресурсів.
• Повільний пошук: при 100k+ чанків latency може перевищити 1 секунду. Оптимізація HNSW-графа (ef_construction, ef_search) та шардування за метаданими скорочують час до 50 мс.
• Складність масштабування: ChromaDB легко масштабується горизонтально через HTTP-сервер та реплікацію. Ми покажемо, як налаштувати кластер для мільйонів запитів на день.

Як ми це робимо: стек та конфігурації

Використовуємо перевірений стек: Python 3.11, ChromaDB 0.5.x, OpenAI text-embedding-3-small (1536-dim), GPT-4o-mini для генерації. Для складних сценаріїв — LangChain або LlamaIndex. Додатково застосовуємо fine-tuning ембедінгів під доменну специфіку та MLOps-практики для відстеження експериментів.

Запуск та підключення

import chromadb from chromadb.utils import embedding_functions # In-memory (для розробки та тестів) client = chromadb.EphemeralClient() # Persistent (файлове сховище) client = chromadb.PersistentClient(path="./chroma_db") # HTTP-сервер (production) client = chromadb.HttpClient(host="localhost", port=8000) 

Створення колекції та індексація

from chromadb.utils.embedding_functions import OpenAIEmbeddingFunction embedding_fn = OpenAIEmbeddingFunction( api_key="...", model_name="text-embedding-3-small" ) collection = client.get_or_create_collection( name="knowledge_base", embedding_function=embedding_fn, metadata={"hnsw:space": "cosine"} # Метрика схожості ) # Додавання документів collection.add( documents=["Текст чанка 1", "Текст чанка 2", ...], metadatas=[ {"source": "contract.pdf", "page": 1, "doc_type": "contract"}, {"source": "faq.md", "page": 0, "doc_type": "faq"}, ], ids=["chunk_001", "chunk_002", ...] ) 

RAG-запит

from openai import OpenAI openai_client = OpenAI() def rag_answer(question: str, n_results: int = 4) -> str: # Пошук релевантних чанків results = collection.query( query_texts=[question], n_results=n_results, where={"doc_type": {"$in": ["contract", "regulation"]}}, # Фільтр ) context = "\n\n".join(results["documents"][0]) # Генерація відповіді response = openai_client.chat.completions.create( model="gpt-4o-mini", messages=[ {"role": "system", "content": "Відповідай лише на основі контексту."}, {"role": "user", "content": f"Контекст:\n{context}\n\nПитання: {question}"} ], temperature=0, ) return response.choices[0].message.content answer = rag_answer("Який термін дії договору?") 

Що входить у роботу?

collection = client.create_collection( name="high_accuracy", metadata={ "hnsw:space": "cosine", "hnsw:construction_ef": 200, "hnsw:search_ef": 100, "hnsw:M": 32 } )