Реалізація Hybrid Search (векторний + повнотекстовий пошук) для RAG

from collections import defaultdict

def reciprocal_rank_fusion(
    dense_results: list[tuple],  # [(doc_id, score), ...]
    sparse_results: list[tuple],
    k: int = 60  # RRF константа (зазвичай 60)
) -> list[tuple]:
    """
    RRF score = sum(1 / (k + rank_i)) за всіма списками
    k=60 стандартне значення (Cormack et al.)
    """
    scores = defaultdict(float)
    for rank, (doc_id, _) in enumerate(dense_results, 1):
        scores[doc_id] += 1 / (k + rank)
    for rank, (doc_id, _) in enumerate(sparse_results, 1):
        scores[doc_id] += 1 / (k + rank)
    return sorted(scores.items(), key=lambda x: -x[1])

Relative Score Fusion (RSF) — нормалізоване об'єднання:

def relative_score_fusion(
    dense_results: list[tuple],
    sparse_results: list[tuple],
    alpha: float = 0.5  # Вага dense
) -> list[tuple]:
    """Нормалізує оцінки в [0,1] і зважує"""
    scores = defaultdict(float)

    # Нормалізація dense
    if dense_results:
        max_d = max(s for _, s in dense_results)
        min_d = min(s for _, s in dense_results)
        for doc_id, score in dense_results:
            norm = (score - min_d) / (max_d - min_d + 1e-8)
            scores[doc_id] += alpha * norm

    # Нормалізація sparse
    if sparse_results:
        max_s = max(s for _, s in sparse_results)
        min_s = min(s for _, s in sparse_results)
        for doc_id, score in sparse_results:
            norm = (score - min_s) / (max_s - min_s + 1e-8)
            scores[doc_id] += (1 - alpha) * norm

    return sorted(scores.items(), key=lambda x: -x[1])

Порівняння алгоритмів злиття

SPLADE: просунутий sparse encoder

SPLADE (Sparse Lexical and Expansion Model) генерує sparse вектори з лексичним розширенням — модель вчиться «розширювати» запит синонімами та пов'язаними термінами. За даними бенчмарку BEIR, SPLADE перевершує BM25 в 1.2–1.5 рази за NDCG@10.

from fastembed import SparseTextEmbedding

sparse_model = SparseTextEmbedding(
    model_name="prithivida/Splade_PP_en_v1"
)


def encode_sparse(text: str) -> dict:
    """Повертає sparse вектор {token_id: weight}"""
    output = list(sparse_model.embed([text]))[0]
    return {
        "indices": output.indices.tolist(),
        "values": output.values.tolist(),
    }

SPLADE перевершує BM25 на більшості BEIR бенчмарків. Для російської мови рекомендуємо модель naver/efficient-splade-VI-BT-large-query або багатомовні варіанти.

Реалізація з Qdrant (практичний приклад)

from qdrant_client import QdrantClient
from qdrant_client.models import (
    SparseVector,
    Prefetch,
    FusionQuery,
    Fusion,
    NamedVector,
    NamedSparseVector,
)
from fastembed import TextEmbedding, SparseTextEmbedding

dense_model = TextEmbedding("BAAI/bge-m3")  # Багатомовний dense
sparse_model = SparseTextEmbedding("prithivida/Splade_PP_en_v1")
client = QdrantClient(url="http://localhost:6333")


def hybrid_search(query: str, top_k: int = 5) -> list[dict]:
    # Dense embedding
    dense_vec = list(dense_model.embed([query]))[0].tolist()

    # Sparse embedding
    sparse_output = list(sparse_model.embed([query]))[0]
    sparse_vec = SparseVector(
        indices=sparse_output.indices.tolist(),
        values=sparse_output.values.tolist(),
    )

    results = client.query_points(
        collection_name="hybrid_docs",
        prefetch=[
            Prefetch(query=dense_vec, using="dense", limit=50),
            Prefetch(query=sparse_vec, using="sparse", limit=50),
        ],
        query=FusionQuery(fusion=Fusion.RRF),
        limit=top_k,
        with_payload=True,
    )

    return [
        {"text": r.payload["text"], "source": r.payload["source"], "score": r.score}
        for r in results.points
    ]

Практичний кейс: вплив alpha на якість retrieval

З нашої практики: на проєкті з 12 000 документів корпоративної бази знань (договори, регламенти, FAQ) ми протестували 400 запитів різних типів. Результати:

Hybrid RRF без reranker вже б'є dense+reranker. Комбінація hybrid+reranker — найкращий результат. Для порівняння, SPLADE як sparse encoder дає приріст MRR@5 приблизно на 0.03–0.05 відносно BM25 при тому ж методі злиття.

Як налаштувати RRF-злиття на вашому датасеті?

Оптимальне k для RRF: k=60 — емпірично стійке значення. Занадто мале k (10–20) дає велику вагу топ-позиціям. Занадто велике (100+) нівелює різницю між позиціями. На реальних даних перевірте k∈{20, 40, 60, 80} на валідаційному наборі. Для RSF підбирайте alpha від 0.3 до 0.7 з кроком 0.1.

Покроковий процес впровадження hybrid search

1. Аудит поточної схеми retrieval: аналіз використовуваних ембендінгів, стека векторної БД та метрик якості.
2. Вибір та налаштування sparse encoder: встановлення SPLADE або іншого sparse encoder під вашу мову та домен.
3. Інтеграція подвійного пошуку: налаштування індексації dense та sparse векторів у Qdrant/Pinecone/Weaviate.
4. Реалізація злиття: впровадження RRF або RSF з початковими параметрами (k=60, alpha=0.5).
5. Тестування та оптимізація: прогін ваших запитів, підбір параметрів за метриками MRR/NDCG.
6. Документація та передача: опис процесу, навчання команди, передача коду та конфігів.

Що ви отримаєте в результаті

• Інтеграційний код hybrid search у вашу RAG-систему.
• Конфігураційні файли для Qdrant/Pinecone.
• Документація з налаштування та експлуатації.
• Навчання команди (2-годинний вебінар).
• Гарантія якості retrieval (фіксація метрик до/після).
• Пост-проєктна підтримка 1 місяць.

Зв'яжіться з нами для оцінки вашого проєкту. Отримайте консультацію з впровадження hybrid search та підвищте якість retrieval вашої RAG-системи.