Реализация Parent Document Retriever для RAG

Реализация Parent Document Retriever для RAG

Parent Document Retriever — архитектурный паттерн RAG, решающий фундаментальное противоречие: для точного retrieval нужны маленькие чанки (больше семантической точности), но для качественной генерации нужен широкий контекст (полный раздел, а не 3 предложения). Решение: индексируем маленькие «дочерние» чанки, а в LLM передаём их «родительские» большие документы.

Архитектура Parent Document Retriever

Индексация:
├── Документ (2000 токенов)
│   ├── Child chunk 1 (128 токенов) → embedding → индекс
│   ├── Child chunk 2 (128 токенов) → embedding → индекс
│   ├── Child chunk 3 (128 токенов) → embedding → индекс
│   └── Child chunk 4 (128 токенов) → embedding → индекс

Retrieval:
├── Query → поиск по child embeddings
├── Найден child_chunk_3 (высокая релевантность)
└── Возвращаем parent document (2000 токенов) → в LLM

Реализация с LangChain

from langchain.retrievers import ParentDocumentRetriever
from langchain.storage import InMemoryByteStore, LocalFileStore
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.vectorstores import Qdrant
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings(model="text-embedding-3-small")

# Хранилище родительских документов (persistent)
store = LocalFileStore("./parent_docs_store")

# Сплиттеры: child мелкий, parent крупный
child_splitter = RecursiveCharacterTextSplitter(
    chunk_size=200,
    chunk_overlap=20,
)
parent_splitter = RecursiveCharacterTextSplitter(
    chunk_size=2000,
    chunk_overlap=100,
)

vectorstore = Qdrant.from_texts(
    texts=[],  # Пустой — заполняется через retriever
    embedding=embeddings,
    collection_name="child_chunks",
    url="http://localhost:6333",
)

retriever = ParentDocumentRetriever(
    vectorstore=vectorstore,
    docstore=store,
    child_splitter=child_splitter,
    parent_splitter=parent_splitter,
)

# Индексация
retriever.add_documents(documents, ids=None)

# Запрос — вернёт родительские документы
relevant_docs = retriever.invoke("процедура согласования закупки")
print(f"Найдено {len(relevant_docs)} родительских документов")
print(f"Размер первого: {len(relevant_docs[0].page_content)} символов")

Трёхуровневая иерархия

Для сложных документов можно использовать три уровня: документ → секция → параграф:

from langchain.retrievers import ParentDocumentRetriever

# Sub-chunk (для индексирования) → chunk (parent) → section (grandparent)
sub_splitter = RecursiveCharacterTextSplitter(chunk_size=100, chunk_overlap=10)
chunk_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)

retriever = ParentDocumentRetriever(
    vectorstore=vectorstore,
    docstore=store,
    child_splitter=sub_splitter,
    parent_splitter=chunk_splitter,
)

Практическое сравнение подходов

Датасет: технические регламенты (средний документ 3500 слов, 20–40 разделов).

Parent Document Retriever значительно улучшает context recall (+19%) при высоком faithfulness: дочерние чанки точно находят нужную секцию, а родительские дают полный контекст.

Кеширование родительских документов

При высоком QPS родительские документы стоит кешировать в Redis:

import redis
import json

redis_client = redis.Redis(host="localhost", port=6379)

class CachedParentDocumentRetriever:
    def __init__(self, base_retriever, ttl: int = 3600):
        self.retriever = base_retriever
        self.ttl = ttl

    def invoke(self, query: str) -> list:
        # Retrieval child chunks
        child_docs = self.retriever.vectorstore.similarity_search(query, k=5)

        # Загружаем parents с кешем
        parent_docs = []
        for child in child_docs:
            parent_id = child.metadata.get("doc_id")
            cache_key = f"parent:{parent_id}"

            cached = redis_client.get(cache_key)
            if cached:
                parent_docs.append(json.loads(cached))
            else:
                parent = self.retriever.docstore.mget([parent_id])[0]
                if parent:
                    redis_client.setex(cache_key, self.ttl, json.dumps(parent.dict()))
                    parent_docs.append(parent)

        return parent_docs

Сроки

• Настройка Parent Document Retriever: 2–3 дня
• Подбор оптимальных размеров чанков: 2–3 дня
• Тестирование и оценка: 2–3 дня
• Итого: 1 неделя