Ви запустили live-чат на сайті, клієнти ставлять одні й ті самі питання, а оператори тонуть у рутині. Ми зіткнулися з цим у десятках проєктів: AI-бот бере на себе 70-80% першої лінії, залишаючи складні задачі людям. Інтеграція з Jivo, LiveChat або Carrot Quest — не просто «прикрутити» API, а вибудувати конвеєр: від прийому повідомлення до осмисленої відповіді з урахуванням історії та бізнес-правил. За нашими плечима багаторічний досвід AI-інтеграцій та понад 100 реалізованих проєктів.
Проблеми, які вирішуємо
Контекст втрачається при передачі оператору
Клієнт спілкувався з ботом 10 хвилин — той знає всю історію. При ескалації оператору бот надсилає коротке самморі, а не сирий лог. Ми реалізуємо це через LangChain: ConversationSummaryMemory стискає діалог у 3-4 речення. Без цієї механіки оператор витрачає час на читання логу, і NPS падає на 15-20%.
Latency p99 вище 3 секунд
Якщо модель відповідає довше 2.5 с, клієнт іде. Рішення — квантування до INT4 та використання vLLM з continuous batching. На тестах з LLaMA 3 70B p99 опустився з 4.2 с до 1.2 с — vLLM забезпечує в 3 рази меншу latency порівняно зі стандартним інференсом. Для Carrot Quest ми додатково кешуємо часті запити через Redis (TTL 30 хвилин) — покриває 40% діалогів без виклику LLM.
Складні правила ескалації
Не можна просто передавати все. У нас система правил: якщо користувач тричі запитав «Де моє замовлення?» — ескалація одразу, навіть при високій впевненості. Або якщо sentiment негативний (бібліотека cardiffnlp/twitter-roberta-base-sentiment), бот відповідає максимально ввічливо і пропонує оператора. Підсумок — оператор отримує лише 20% клієнтів, причому вже з контекстом.
Як ми інтегруємо AI-бота з Jivo, LiveChat та CarrotQuest?
З нашої практики: для одного інтернет-магазину ми розгорнули бота на FastAPI всередині Kubernetes. Стек:
- Model: OpenAI GPT-4o (temperature 0.3) з системним промптом, що описує асортимент
- Embeddings:
text-embedding-3-small(1536-dim) для RAG за каталогом (ChromaDB) - Escalation: правила на базі
langchainз порогом впевненості 0.7 та стоп-словами - Deploy: SageMaker з Triton Inference Server під дві моделі (LLM + embedding)
Jivo надсилає вебхук (див. нижче), FastAPI обробляє, викликає ланцюжок LangChain. Відповідь — JSON з полями event, chat_id, message. Час обробки — 1.8 с у p95.
from fastapi import FastAPI app = FastAPI() @app.post("/jivo-webhook") async def handle_jivo(data: dict): event = data.get("event") if event == "client_message": client_message = data["message"]["text"] chat_id = data["chat_id"] response = await ai_bot.process(client_message) return { "event": "bot_message", "chat_id": chat_id, "message": {"type": "text", "text": response} } return {"event": "ignore"} Jivo підтримує кнопки швидких відповідей, передачу оператору (escalation), статуси «друкує». AI-бот працює доти, доки не спрацює умова ескалації.
Carrot Quest API
Carrot Quest — більш функціональна платформа з власним no-code конструктором ботів та Python SDK. Для кастомної логіки: Webhook Triggers + API для надсилання повідомлень.
Особливість Carrot Quest: багаті дані про користувача — історія переглядів, події на сайті. AI-бот може враховувати: «Ви переглядали продукт X кілька разів — хочете поставити питання?»
Режими роботи AI в live chat
| Режим | Як працює | Коли підходить |
|---|---|---|
| Bot-first | AI відповідає першим, передає оператору при необхідності | Високе навантаження на підтримку (10+ запитів/день) |
| Operator-assist | Оператор пише відповідь, AI пропонує варіанти | Складні консультації, де потрібне знання продуктів |
| After-hours bot | AI увімкнено лише поза робочим часом | Клієнти в різних часових поясах, очікуваність падає |
Правило переходу до оператора: explicit request + низька впевненість AI + негативний sentiment + VIP-клієнт за тегом у CRM.
Порівняння моделей для live-чату
| Модель | Якість відповіді | Latency p99 (середня) | Вартість за токен |
|---|---|---|---|
| GPT-4o | Висока | 1.8 с | Середня |
| Claude 3.5 | Висока | 2.0 с | Вище середньої |
| LLaMA 3 70B (INT4) | Середня | 1.2 с | Низька |
| Mistral Large | Середня | 1.5 с | Низька |
Вибір моделі залежить від ваших пріоритетів: максимальна якість чи конфіденційність даних. Для конфіденційних даних використовуємо open-source моделі з локальним розгортанням.
Як AI-бот визначає, коли передати оператору?
Використовується система скорингу: модель повертає впевненість відповіді (logprobs). Якщо нижче 0.7 — ескалація. Додатково: стоп-слова («оператор», «жива людина»), негативний sentiment (модель nlptown/bert-base-multilingual-uncased-sentiment), більше двох повторних питань від клієнта. Все налаштовується під ваші правила.
Які моделі LLM ви використовуєте і чому?
Пропрієтарні (GPT-4o, Claude 3.5) — для максимальної якості. Open-source (LLaMA 3 70B, Mistral Large) — для конфіденційних даних або зниження вартості. У production ставимо через vLLM з INT4-квантуванням: latency p99 нижче 1.5 с на 70B моделі. Якщо потрібне fine-tuning під конкретну доменну область — використовуємо LoRA на 2-3 епохах. На практиці GPT-4o справляється з 90% запитів без ескалації, у той час як LLaMA 3 — лише з 75%.
Як працює RAG у нашому боті?
RAG (Retrieval-Augmented Generation) — це механізм, який доповнює відповідь моделі фактами з вашої бази знань. Ми використовуємо ChromDB для векторного пошуку: всі документи (FAQ, статті, каталог) розбиваються на чанки, кожен чанк перетворюється на embedding (вектор) розмірністю 1536 через text-embedding-3-small. Вхідний запит теж векторизується, шукаються найближчі чанки (top-k=5), і вони підставляються в промпт разом із запитанням. Це дає актуальні відповіді без перенавчання моделі.
Процес роботи
- Аналітика та архітектура — розбираємо вашу базу знань, налаштовуємо RAG, проектуємо ланцюжки LangChain.
- Розробка — пишемо код інтеграції, налаштовуємо моделі (fine-tuning або LoRA, якщо треба), тестуємо на історичних діалогах.
- Тестування — A/B тест AI проти операторів (метрики: вирішені діалоги, CSAT, середній час).
- Деплой — на ваш сервер або наш хмарний кластер, налаштування CI/CD pipeline через GitHub Actions.
- Навчання — інструкція для операторів, як перехоплювати чат і як AI змінює стандартні відповіді.
Строки орієнтовно
Базова інтеграція (один канал, одна модель) — від 2 тижнів. Якщо потрібен RAG за каталогом, дві моделі, кілька каналів — до 4 тижнів. Вартість розраховується індивідуально, виходячи зі складності та обсягу даних. Ми даємо гарантію на код (30 днів безкоштовної підтримки) та сертифікат на використовувані рішення, а також гарантуємо SLA (час відповіді p99 < 2 с, доступність 99.9%).
Що входить у роботу
- Архітектурна схема рішення (PDF)
- Вихідний код бота з коментарями
- Інструкція з розгортання (Docker Compose, Kubernetes)
- Дашборд метрик (Grafana + Prometheus) — оброблено/ескальовано/середній час
- 30 днів підтримки після запуску
Хочете автоматизувати підтримку? Зв'яжіться з нами — отримайте консультацію та приблизну оцінку вашого проєкту. Замовте пілот на одному каналі за 2 тижні.