Разработка RAG с векторной базой данных Qdrant

Разработка RAG с векторной базой данных Qdrant

Qdrant — открытая векторная база данных, написанная на Rust. Отличается высокой производительностью, богатой системой фильтрации через payload, встроенным hybrid search и удобным REST/gRPC API. Доступна как managed cloud (Qdrant Cloud) и self-hosted. Один из наиболее часто выбираемых решений для production RAG-систем.

Установка через Docker и подключение

docker pull qdrant/qdrant
docker run -p 6333:6333 -v $(pwd)/qdrant_storage:/qdrant/storage qdrant/qdrant

from qdrant_client import QdrantClient
from qdrant_client.models import (
    Distance, VectorParams, SparseVectorParams,
    SparseIndexParams, HnswConfigDiff
)

client = QdrantClient(url="http://localhost:6333")
# Или cloud
client = QdrantClient(url="https://cluster.qdrant.tech", api_key="...")

Создание коллекции с dense и sparse векторами

from qdrant_client.models import VectorsConfig, SparseVectorsConfig

client.create_collection(
    collection_name="documents",
    vectors_config={
        "dense": VectorParams(
            size=1536,
            distance=Distance.COSINE,
            hnsw_config=HnswConfigDiff(m=16, ef_construct=200)
        )
    },
    sparse_vectors_config={
        "sparse": SparseVectorParams(
            index=SparseIndexParams(on_disk=False)
        )
    }
)

Индексация с payload-метаданными

from qdrant_client.models import PointStruct, SparseVector
from fastembed import SparseTextEmbedding, TextEmbedding
import uuid

dense_model = TextEmbedding("sentence-transformers/paraphrase-multilingual-mpnet-base-v2")
sparse_model = SparseTextEmbedding("prithivida/Splade_PP_en_v1")

def index_chunks(chunks: list) -> None:
    points = []
    for chunk in chunks:
        # Dense embedding
        dense_vec = list(dense_model.embed([chunk.text]))[0].tolist()

        # Sparse embedding (SPLADE)
        sparse_output = list(sparse_model.embed([chunk.text]))[0]

        point = PointStruct(
            id=str(uuid.uuid4()),
            vector={
                "dense": dense_vec,
                "sparse": SparseVector(
                    indices=sparse_output.indices.tolist(),
                    values=sparse_output.values.tolist()
                )
            },
            payload={
                "text": chunk.text,
                "source": chunk.source,
                "doc_type": chunk.doc_type,
                "page": chunk.page,
                "date": chunk.date,
                "department": chunk.department,
            }
        )
        points.append(point)

    client.upsert(collection_name="documents", points=points)

Hybrid Search с RRF

from qdrant_client.models import Prefetch, FusionQuery, Fusion, Filter, FieldCondition, MatchValue

def hybrid_search(
    query: str,
    doc_type: str = None,
    top_k: int = 5
) -> list:
    # Векторы для запроса
    dense_vec = list(dense_model.embed([query]))[0].tolist()
    sparse_output = list(sparse_model.embed([query]))[0]
    sparse_vec = SparseVector(
        indices=sparse_output.indices.tolist(),
        values=sparse_output.values.tolist()
    )

    # Фильтр по метаданным
    query_filter = None
    if doc_type:
        query_filter = Filter(
            must=[FieldCondition(key="doc_type", match=MatchValue(value=doc_type))]
        )

    # Hybrid search с RRF fusion
    results = client.query_points(
        collection_name="documents",
        prefetch=[
            Prefetch(query=dense_vec, using="dense", limit=30, filter=query_filter),
            Prefetch(query=sparse_vec, using="sparse", limit=30, filter=query_filter),
        ],
        query=FusionQuery(fusion=Fusion.RRF),
        limit=top_k,
        with_payload=True,
    )

    return [
        {"text": r.payload["text"], "source": r.payload["source"], "score": r.score}
        for r in results.points
    ]

Практический кейс: RAG для e-commerce поддержки

Задача: мультиязычный ассистент поддержки интернет-магазина (рус/eng), 85 000 чанков (FAQ, политики, описания товаров).

Стек: Qdrant self-hosted (Docker), SPLADE для sparse, paraphrase-multilingual-mpnet-base-v2 для dense, GPT-4o-mini для генерации.

Результаты hybrid vs dense only:

Hybrid search даёт +13% к MRR за счёт точного BM25-matching на номерах заказов, артикулах товаров и конкретных терминах.

Фильтрация через payload-индексы

Для ускорения фильтрации создаём payload-индексы:

from qdrant_client.models import PayloadSchemaType

client.create_payload_index(
    collection_name="documents",
    field_name="doc_type",
    field_schema=PayloadSchemaType.KEYWORD,
)

client.create_payload_index(
    collection_name="documents",
    field_name="date",
    field_schema=PayloadSchemaType.DATETIME,
)

Сроки

• Настройка Qdrant + схема коллекции: 1–2 дня
• Ingestion pipeline (dense + sparse): 3–7 дней
• Hybrid search + фильтрация: 3–5 дней
• Оценка и оптимизация: 1–2 недели
• Итого: 2–4 недели