Реализация Hybrid Search (векторный + полнотекстовый поиск) для RAG

from collections import defaultdict

def reciprocal_rank_fusion(
    dense_results: list[tuple],  # [(doc_id, score), ...]
    sparse_results: list[tuple],
    k: int = 60  # RRF константа (обычно 60)
) -> list[tuple]:
    """
    RRF score = sum(1 / (k + rank_i)) по всем спискам
    k=60 стандартное значение (Cormack et al.)
    """
    scores = defaultdict(float)
    for rank, (doc_id, _) in enumerate(dense_results, 1):
        scores[doc_id] += 1 / (k + rank)
    for rank, (doc_id, _) in enumerate(sparse_results, 1):
        scores[doc_id] += 1 / (k + rank)
    return sorted(scores.items(), key=lambda x: -x[1])

Relative Score Fusion (RSF) — нормализованное объединение:

def relative_score_fusion(
    dense_results: list[tuple],
    sparse_results: list[tuple],
    alpha: float = 0.5  # Вес dense
) -> list[tuple]:
    """Нормализует оценки в [0,1] и взвешивает"""
    scores = defaultdict(float)

    # Нормализация dense
    if dense_results:
        max_d = max(s for _, s in dense_results)
        min_d = min(s for _, s in dense_results)
        for doc_id, score in dense_results:
            norm = (score - min_d) / (max_d - min_d + 1e-8)
            scores[doc_id] += alpha * norm

    # Нормализация sparse
    if sparse_results:
        max_s = max(s for _, s in sparse_results)
        min_s = min(s for _, s in sparse_results)
        for doc_id, score in sparse_results:
            norm = (score - min_s) / (max_s - min_s + 1e-8)
            scores[doc_id] += (1 - alpha) * norm

    return sorted(scores.items(), key=lambda x: -x[1])

Сравнение алгоритмов слияния

SPLADE: продвинутый sparse encoder

SPLADE (Sparse Lexical and Expansion Model) генерирует sparse векторы с лексическим расширением — модель учится «расширять» запрос синонимами и связанными терминами. По данным бенчмарка BEIR, SPLADE превосходит BM25 в 1.2–1.5 раза по NDCG@10.

from fastembed import SparseTextEmbedding

sparse_model = SparseTextEmbedding(
    model_name="prithivida/Splade_PP_en_v1"
)


def encode_sparse(text: str) -> dict:
    """Возвращает sparse вектор {token_id: weight}"""
    output = list(sparse_model.embed([text]))[0]
    return {
        "indices": output.indices.tolist(),
        "values": output.values.tolist(),
    }

SPLADE превосходит BM25 на большинстве BEIR бенчмарков. Для русского языка рекомендуем модель naver/efficient-splade-VI-BT-large-query или multilingual варианты.

Реализация с Qdrant (практический пример)

from qdrant_client import QdrantClient
from qdrant_client.models import (
    SparseVector,
    Prefetch,
    FusionQuery,
    Fusion,
    NamedVector,
    NamedSparseVector,
)
from fastembed import TextEmbedding, SparseTextEmbedding

dense_model = TextEmbedding("BAAI/bge-m3")  # Multilingual dense
sparse_model = SparseTextEmbedding("prithivida/Splade_PP_en_v1")

client = QdrantClient(url="http://localhost:6333")


def hybrid_search(query: str, top_k: int = 5) -> list[dict]:
    # Dense embedding
    dense_vec = list(dense_model.embed([query]))[0].tolist()

    # Sparse embedding
    sparse_output = list(sparse_model.embed([query]))[0]
    sparse_vec = SparseVector(
        indices=sparse_output.indices.tolist(),
        values=sparse_output.values.tolist(),
    )

    results = client.query_points(
        collection_name="hybrid_docs",
        prefetch=[
            Prefetch(query=dense_vec, using="dense", limit=50),
            Prefetch(query=sparse_vec, using="sparse", limit=50),
        ],
        query=FusionQuery(fusion=Fusion.RRF),
        limit=top_k,
        with_payload=True,
    )

    return [
        {"text": r.payload["text"], "source": r.payload["source"], "score": r.score}
        for r in results.points
    ]

Практический кейс: влияние alpha на качество retrieval

Из нашей практики: на проекте с 12 000 документов корпоративной базы знаний (договоры, регламенты, FAQ) мы протестировали 400 запросов разных типов. Результаты:

Hybrid RRF без reranker уже бьёт dense+reranker. Комбинация hybrid+reranker — наилучший результат. Для сравнения, SPLADE в качестве sparse encoder даёт прирост MRR@5 примерно на 0.03–0.05 относительно BM25 при том же методе слияния.

Как настроить RRF-слияние на вашем датасете?

Оптимальное k для RRF: k=60 — эмпирически устойчивое значение. Слишком малое k (10–20) даёт большой вес топ-позициям. Слишком большое (100+) нивелирует разницу между позициями. На реальных данных проверьте k∈{20, 40, 60, 80} на валидационном наборе. Для RSF подбирайте alpha от 0.3 до 0.7 с шагом 0.1.

Пошаговый процесс внедрения hybrid search

1. Аудит текущей схемы retrieval: анализ используемых эмбеддингов, стека векторной БД и метрик качества.
2. Выбор и настройка sparse encoder: установка SPLADE или другого sparse encoder под ваш язык и домен.
3. Интеграция двойного поиска: настройка индексации dense и sparse векторов в Qdrant/Pinecone/Weaviate.
4. Реализация слияния: внедрение RRF или RSF с начальными параметрами (k=60, alpha=0.5).
5. Тестирование и оптимизация: прогон ваших запросов, подбор параметров по метрикам MRR/NDCG.
6. Документация и передача: описание процесса, обучение команды, передача кода и конфигов.

Что вы получите в результате

• Интеграционный код hybrid search в вашу RAG-систему.
• Конфигурационные файлы для Qdrant/Pinecone.
• Документация по настройке и эксплуатации.
• Обучение команды (2-часовой вебинар).
• Гарантия качества retrieval (фиксация метрик до/после).
• Пост-проектная поддержка 1 месяц.

Свяжитесь с нами для оценки вашего проекта. Получите консультацию по внедрению hybrid search и повысьте качество retrieval вашей RAG-системы.