Впровадження RAG для корпоративного AI-бота на сайті

Впровадження RAG для корпоративного AI-бота на сайті

Типовий AI-бот, навчений лише на загальних даних, не знає ваш продукт. Він вигадує відповіді — галюцинує. RAG (Retrieval-Augmented Generation) — архітектурний патерн — вирішує цю проблему: бот знаходить релевантні фрагменти з вашої бази знань (документація, FAQ, статті) і формує відповідь строго по них. Результат — точні, перевірені відповіді без вигадок. Наш досвід: понад 5 років розробки NLP-систем, 10+ впроваджених RAG-ботів.

Наприклад, компанія з 5000 сторінками технічної документації витрачала 20 людино-годин на тиждень на відповіді однотипних питань. Після впровадження RAG-бота час скоротився до 2 годин, а точність відповідей перевищила 95%. При цьому бот використовує лише перевірені дані, виключаючи ризик витоку.

Як працює RAG-система?

RAG складається з кількох компонентів:

• Knowledge base — джерело даних: документація, FAQ, статті бази знань, сторінки сайту, PDF-файли, тікети підтримки.
• Ingestion pipeline — процес завантаження, розбиття на чанки та індексації документів.
• Vector store — база даних, що зберігає ембеддінги та забезпечує семантичний пошук.
• Retrieval — за запитом користувача знаходимо топ-N релевантних чанків.
• Generation — надсилаємо знайдені чанки + питання в LLM, отримуємо відповідь.

Кожен етап налаштовується індивідуально під ваш обсяг даних і вимоги до швидкості.

Ingestion Pipeline

Розбиття документів на чанки — критичний етап. Занадто маленькі чанки втрачають контекст, занадто великі — знижують точність пошуку. Оптимально: 500–1000 токенів з перекриттям 100–200 токенів.

from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.document_loaders import (
    WebBaseLoader,
    PyPDFLoader,
    UnstructuredMarkdownLoader
)

def load_and_chunk_documents(sources: list[dict]) -> list:
    documents = []
    for source in sources:
        if source["type"] == "url":
            loader = WebBaseLoader(source["path"])
        elif source["type"] == "pdf":
            loader = PyPDFLoader(source["path"])
        elif source["type"] == "markdown":
            loader = UnstructuredMarkdownLoader(source["path"])
        docs = loader.load()
        documents.extend(docs)
    splitter = RecursiveCharacterTextSplitter(
        chunk_size=800,
        chunk_overlap=150,
        separators=["\n\n", "\n", ". ", " ", ""]
    )
    return splitter.split_documents(documents)

Ембеддінги та векторне сховище

Моделі ембеддінгів:

• text-embedding-3-small (OpenAI) — 1536 вимірів, $0.02 за 1M токенів, чудове співвідношення ціни та якості
• text-embedding-3-large — 3072 вимірів, краще для складних запитів
• multilingual-e5-large (локально, Hugging Face) — безкоштовно, добре для української мови

Векторні сховища:

Для сайту із середнім навантаженням і базою до 100 000 документів — pgvector або Qdrant. Не потрібно піднімати окремий сервіс.

import psycopg2
from pgvector.psycopg2 import register_vector
import numpy as np

def store_embeddings(chunks: list, embeddings: list[list[float]]):
    conn = psycopg2.connect(DATABASE_URL)
    register_vector(conn)
    cur = conn.cursor()
    cur.execute("""
        CREATE TABLE IF NOT EXISTS documents (
            id SERIAL PRIMARY KEY,
            content TEXT,
            embedding vector(1536),
            metadata JSONB,
            source_url TEXT,
            created_at TIMESTAMP DEFAULT NOW()
        )
    """)
    cur.execute("CREATE INDEX IF NOT EXISTS documents_embedding_idx ON documents USING ivfflat (embedding vector_cosine_ops) WITH (lists = 100)")
    for chunk, embedding in zip(chunks, embeddings):
        cur.execute(
            "INSERT INTO documents (content, embedding, metadata, source_url) VALUES (%s, %s, %s, %s)",
            (chunk.page_content, np.array(embedding), json.dumps(chunk.metadata), chunk.metadata.get("source", ""))
        )
    conn.commit()

Пошук: семантичний та гібридний

Семантичний пошук повертає чанки за косинусною схожістю ембеддінгів. Для точних запитів (артикули, імена) він іноді промахується — тоді підключаємо гібридний пошук з повнотекстовим індексом (BM25).

def hybrid_search(query: str, top_k: int = 5) -> list[dict]:
    # Семантичний пошук
    query_embedding = get_embedding(query)
    conn = psycopg2.connect(DATABASE_URL)
    register_vector(conn)
    cur = conn.cursor()
    cur.execute("""
        SELECT content, source_url, metadata, 1 - (embedding <=> %s::vector) AS similarity
        FROM documents
        WHERE 1 - (embedding <=> %s::vector) > 0.75
        ORDER BY embedding <=> %s::vector
        LIMIT %s
    """, (query_embedding, query_embedding, query_embedding, top_k * 2))
    semantic_results = cur.fetchall()

    # Повнотекстовий пошук
    cur.execute("""
        SELECT content, source_url, ts_rank(to_tsvector('ukrainian', content), query) AS rank
        FROM documents, to_tsquery('ukrainian', %s) query
        WHERE to_tsvector('ukrainian', content) @@ query
        ORDER BY rank DESC
        LIMIT %s
    """, (prepare_ts_query(query), top_k * 2))
    keyword_results = cur.fetchall()

    # Reciprocal Rank Fusion
    return reciprocal_rank_fusion(semantic_results, keyword_results, top_k)

Generation: формування відповіді

from openai import OpenAI
client = OpenAI()
SYSTEM_PROMPT = """Ти помічник служби підтримки компанії. Відповідай ТІЛЬКИ на основі наданого контексту. Якщо відповіді немає в контексті — чесно скажи про це. Не вигадуй інформацію. Вказуй джерело з контексту."""

def generate_answer(query: str, context_chunks: list[dict]) -> dict:
    context = "\n\n".join([
        f"[Джерело: {c['source']}]\n{c['content']}"
        for c in context_chunks
    ])
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[
            {"role": "system", "content": SYSTEM_PROMPT},
            {"role": "user", "content": f"Контекст:\n{context}\n\nПитання: {query}"}
        ],
        temperature=0.1,
        max_tokens=800
    )
    sources = list({c["source"] for c in context_chunks if c.get("source")})
    return {
        "answer": response.choices[0].message.content,
        "sources": sources,
        "chunks_used": len(context_chunks)
    }

Re-ranking та оцінка якості

Векторний пошук повертає кандидатів за косинусною схожістю, але не завжди найсемантичніше близький чанк — найкорисніший. Cross-encoder re-ranking переоцінює кандидатів з урахуванням питання, піднімаючи релевантні чанки в топ. Ми використовуємо модель cross-encoder/ms-marco-MiniLM-L-6-v2 з бібліотеки Sentence Transformers.

Метрики RAG-системи включають Faithfulness (чи не суперечить відповідь контексту), Answer Relevance (чи відповідає на питання), Context Recall (чи всі потрібні факти знайдені) та Context Precision (чи немає зайвого в контексті). Для оцінки застосовуємо RAGAS (open-source) та LangSmith (платний SaaS). Налаштований моніторинг гарантує стабільну якість.

Оновлення індексу

При зміні контенту на сайті потрібно перерахувати ембеддінги. Стратегії:

• Повна переіндексація — раз на добу, при обсязі до 50 000 документів займає 15–30 хвилин.
• Інкрементальна — при зміні сторінки видаляємо старі чанки по source_url, додаємо нові. Підходить для CMS з webhook на публікацію.
• М'яке видалення — позначаємо застарілі чанки прапорцем, не видаляємо негайно. Дозволяє відкотитися при помилці.

Скільки часу займає впровадження RAG?

Терміни залежать від обсягу даних та вимог. Орієнтовні етапи:

Мінімально робочий RAG-бот з одним джерелом даних — 2 тижні. Продуктова система з кількома джерелами, гібридним пошуком і моніторингом — 4–5 тижнів.

Що входить в роботу

При замовленні впровадження RAG ви отримуєте:

• Повноцінний ingestion pipeline під ваші джерела даних
• Векторне сховище (pgvector або Qdrant)
• Семантичний та гібридний пошук
• Генерацію відповідей із зазначенням джерел
• Re-ranking для підвищення точності
• Інтеграцію з сайтом (віджет чату)
• Документацію з архітектури та налаштування
• Навчання співробітників роботі з системою
• Гарантію 3 місяці на роботу системи

Ми маємо досвід впровадження RAG для інтернет-магазинів, корпоративних порталів та служб підтримки. Реалізували 10+ проектів.

Замовте впровадження RAG під ключ — зв'яжіться з нами для оцінки вашого проекту. Отримайте консультацію.