Впровадження RAG для корпоративного AI-бота на сайті

Впровадження RAG для корпоративного AI-бота на сайті

Типовий AI-бот, навчений лише на загальних даних, не знає ваш продукт. Він вигадує відповіді — галюцинує. RAG (Retrieval-Augmented Generation) — архітектурний патерн — вирішує цю проблему: бот знаходить релевантні фрагменти з вашої бази знань (документація, FAQ, статті) і формує відповідь строго по них. Результат — точні, перевірені відповіді без вигадок. Наш досвід: понад 5 років розробки NLP-систем, 10+ впроваджених RAG-ботів.

Наприклад, компанія з 5000 сторінками технічної документації витрачала 20 людино-годин на тиждень на відповіді однотипних питань. Після впровадження RAG-бота час скоротився до 2 годин, а точність відповідей перевищила 95%. При цьому бот використовує лише перевірені дані, виключаючи ризик витоку.

Як працює RAG-система?

RAG складається з кількох компонентів:

• Knowledge base — джерело даних: документація, FAQ, статті бази знань, сторінки сайту, PDF-файли, тікети підтримки.
• Ingestion pipeline — процес завантаження, розбиття на чанки та індексації документів.
• Vector store — база даних, що зберігає ембеддінги та забезпечує семантичний пошук.
• Retrieval — за запитом користувача знаходимо топ-N релевантних чанків.
• Generation — надсилаємо знайдені чанки + питання в LLM, отримуємо відповідь.

Кожен етап налаштовується індивідуально під ваш обсяг даних і вимоги до швидкості.

Ingestion Pipeline

Розбиття документів на чанки — критичний етап. Занадто маленькі чанки втрачають контекст, занадто великі — знижують точність пошуку. Оптимально: 500–1000 токенів з перекриттям 100–200 токенів.

from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.document_loaders import ( WebBaseLoader, PyPDFLoader, UnstructuredMarkdownLoader ) def load_and_chunk_documents(sources: list[dict]) -> list: documents = [] for source in sources: if source["type"] == "url": loader = WebBaseLoader(source["path"]) elif source["type"] == "pdf": loader = PyPDFLoader(source["path"]) elif source["type"] == "markdown": loader = UnstructuredMarkdownLoader(source["path"]) docs = loader.load() documents.extend(docs) splitter = RecursiveCharacterTextSplitter( chunk_size=800, chunk_overlap=150, separators=["\n\n", "\n", ". ", " ", ""] ) return splitter.split_documents(documents) 

Ембеддінги та векторне сховище

Моделі ембеддінгів:

• text-embedding-3-small (OpenAI) — 1536 вимірів, $0.02 за 1M токенів, чудове співвідношення ціни та якості
• text-embedding-3-large — 3072 вимірів, краще для складних запитів
• multilingual-e5-large (локально, Hugging Face) — безкоштовно, добре для української мови

Векторні сховища:

Для сайту із середнім навантаженням і базою до 100 000 документів — pgvector або Qdrant. Не потрібно піднімати окремий сервіс.

import psycopg2 from pgvector.psycopg2 import register_vector import numpy as np def store_embeddings(chunks: list, embeddings: list[list[float]]): conn = psycopg2.connect(DATABASE_URL) register_vector(conn) cur = conn.cursor() cur.execute(""" CREATE TABLE IF NOT EXISTS documents ( id SERIAL PRIMARY KEY, content TEXT, embedding vector(1536), metadata JSONB, source_url TEXT, created_at TIMESTAMP DEFAULT NOW() ) """) cur.execute("CREATE INDEX IF NOT EXISTS documents_embedding_idx ON documents USING ivfflat (embedding vector_cosine_ops) WITH (lists = 100)") for chunk, embedding in zip(chunks, embeddings): cur.execute( "INSERT INTO documents (content, embedding, metadata, source_url) VALUES (%s, %s, %s, %s)", (chunk.page_content, np.array(embedding), json.dumps(chunk.metadata), chunk.metadata.get("source", "")) ) conn.commit() 

Пошук: семантичний та гібридний

Семантичний пошук повертає чанки за косинусною схожістю ембеддінгів. Для точних запитів (артикули, імена) він іноді промахується — тоді підключаємо гібридний пошук з повнотекстовим індексом (BM25).

def hybrid_search(query: str, top_k: int = 5) -> list[dict]: # Семантичний пошук query_embedding = get_embedding(query) conn = psycopg2.connect(DATABASE_URL) register_vector(conn) cur = conn.cursor() cur.execute(""" SELECT content, source_url, metadata, 1 - (embedding <=> %s::vector) AS similarity FROM documents WHERE 1 - (embedding <=> %s::vector) > 0.75 ORDER BY embedding <=> %s::vector LIMIT %s """, (query_embedding, query_embedding, query_embedding, top_k * 2)) semantic_results = cur.fetchall() # Повнотекстовий пошук cur.execute(""" SELECT content, source_url, ts_rank(to_tsvector('ukrainian', content), query) AS rank FROM documents, to_tsquery('ukrainian', %s) query WHERE to_tsvector('ukrainian', content) @@ query ORDER BY rank DESC LIMIT %s """, (prepare_ts_query(query), top_k * 2)) keyword_results = cur.fetchall() # Reciprocal Rank Fusion return reciprocal_rank_fusion(semantic_results, keyword_results, top_k) 

Generation: формування відповіді

from openai import OpenAI client = OpenAI() SYSTEM_PROMPT = """Ти помічник служби підтримки компанії. Відповідай ТІЛЬКИ на основі наданого контексту. Якщо відповіді немає в контексті — чесно скажи про це. Не вигадуй інформацію. Вказуй джерело з контексту.""" def generate_answer(query: str, context_chunks: list[dict]) -> dict: context = "\n\n".join([ f"[Джерело: {c['source']}]\n{c['content']}" for c in context_chunks ]) response = client.chat.completions.create( model="gpt-4o-mini", messages=[ {"role": "system", "content": SYSTEM_PROMPT}, {"role": "user", "content": f"Контекст:\n{context}\n\nПитання: {query}"} ], temperature=0.1, max_tokens=800 ) sources = list({c["source"] for c in context_chunks if c.get("source")}) return { "answer": response.choices[0].message.content, "sources": sources, "chunks_used": len(context_chunks) } 

Re-ranking та оцінка якості

Векторний пошук повертає кандидатів за косинусною схожістю, але не завжди найсемантичніше близький чанк — найкорисніший. Cross-encoder re-ranking переоцінює кандидатів з урахуванням питання, піднімаючи релевантні чанки в топ. Ми використовуємо модель cross-encoder/ms-marco-MiniLM-L-6-v2 з бібліотеки Sentence Transformers.

Метрики RAG-системи включають Faithfulness (чи не суперечить відповідь контексту), Answer Relevance (чи відповідає на питання), Context Recall (чи всі потрібні факти знайдені) та Context Precision (чи немає зайвого в контексті). Для оцінки застосовуємо RAGAS (open-source) та LangSmith (платний SaaS). Налаштований моніторинг гарантує стабільну якість.

Оновлення індексу

При зміні контенту на сайті потрібно перерахувати ембеддінги. Стратегії:

• Повна переіндексація — раз на добу, при обсязі до 50 000 документів займає 15–30 хвилин.
• Інкрементальна — при зміні сторінки видаляємо старі чанки по source_url, додаємо нові. Підходить для CMS з webhook на публікацію.
• М'яке видалення — позначаємо застарілі чанки прапорцем, не видаляємо негайно. Дозволяє відкотитися при помилці.

Скільки часу займає впровадження RAG?

Терміни залежать від обсягу даних та вимог. Орієнтовні етапи:

Мінімально робочий RAG-бот з одним джерелом даних — 2 тижні. Продуктова система з кількома джерелами, гібридним пошуком і моніторингом — 4–5 тижнів.

Що входить в роботу

При замовленні впровадження RAG ви отримуєте:

• Повноцінний ingestion pipeline під ваші джерела даних
• Векторне сховище (pgvector або Qdrant)
• Семантичний та гібридний пошук
• Генерацію відповідей із зазначенням джерел
• Re-ranking для підвищення точності
• Інтеграцію з сайтом (віджет чату)
• Документацію з архітектури та налаштування
• Навчання співробітників роботі з системою
• Гарантію 3 місяці на роботу системи

Ми маємо досвід впровадження RAG для інтернет-магазинів, корпоративних порталів та служб підтримки. Реалізували 10+ проектів.

Замовте впровадження RAG під ключ — зв'яжіться з нами для оцінки вашого проекту. Отримайте консультацію безкоштовно.