Реальний кейс з нашої практики: наш клієнт — роздрібна мережа з 300 дзвінками на день. QA-відділ встигав прослухати лише 15% (45 дзвінків). Пропущені 85% містили порушення сценарію, падіння емпатії та пропущені можливості продажів. Втрати — до 8% виручки щомісяця (в середньому 500 тис. руб). Ми спроектували AI-систему на базі GPT-4o та Whisper, яка забезпечила 100% покриття, підвищила точність оцінки до 92% (порівняно з людиною-асесором) та скоротила час виведення на 70%. Економія склала від 400 тис. руб щомісяця, а окупність — 2–3 місяці.
Система скорингу дзвінків (за визначенням Wikipedia) присвоює числову оцінку кожному дзвінку за стандартизованою методологією, створює рейтинги операторів та виявляє патерни, що потребують коригувального навчання. Оцінка — не бінарна (ок/не ок), а багатовимірна: привітання, утримання, прощання, емпатія, розуміння проблеми, точність рішення, дотримання GDPR, ефективність AHT та FCR.
Які проблеми реально вирішує AI-скоринг?
- Вибірковий контроль. Людина-асесор оцінює 10–20% дзвінків, решта — чорна скриня. AI обробляє 100%: кожен дзвінок отримує повний scorecard. 2. Необ'єктивність. Втома, суб'єктивне сприйняття, різна трактовка критеріїв. LLM послідовно застосовує одну методологію до всіх дзвінків. 3. Відсутність трендів. Ручна оцінка не дає зведених метрик. Ми будуємо дашборди з ковзним середнім, трендом за тиждень/місяць та heatmap за типами порушень.
Як ми це робимо: стек та кейс
Для оцінки використовуємо GPT-4o з response_format=json_object. Промпт містить усі критерії з вагами, інструкцію «оціни від 0 до 10» та вимогу пояснити кожну оцінку. Застосовуємо fine-tuning (LoRA) для адаптації під специфіку мовлення операторів. Для транскрибації використовуємо Whisper з цільовим WER менше 10%. У складних випадках підключаємо RAG з базою сценаріїв та частих питань.
Приклад scorecard — модель Pydantic:
from pydantic import BaseModel
from typing import Optional
class CallScorecard(BaseModel):
call_id: str
operator_id: str
duration_seconds: float
# Compliance (відповідність вимогам)
greeting_score: float # 0-10
hold_procedure_score: float # 0-10
farewell_score: float # 0-10
gdpr_compliance: float # 0-10
# Quality (якість обслуговування)
problem_understanding: float # 0-10
solution_accuracy: float # 0-10
empathy_score: float # 0-10
# Efficiency (ефективність)
aht_relative: float # 0-10 (відносно цільового AHT)
first_call_resolution: float # 0 або 10
# Sales/Upsell (якщо застосовно)
offer_made: Optional[float] = None
offer_quality: Optional[float] = None
@property
def total_score(self) -> float:
scores = [
self.greeting_score * 0.10,
self.hold_procedure_score * 0.05,
self.farewell_score * 0.05,
self.gdpr_compliance * 0.10,
self.problem_understanding * 0.20,
self.solution_accuracy * 0.25,
self.empathy_score * 0.15,
self.aht_relative * 0.05,
self.first_call_resolution * 0.05,
]
return round(sum(scores), 1)
Автоматична оцінка через LLM:
async def score_call_llm(transcript: dict) -> CallScorecard:
full_dialog = format_dialog(transcript["turns"])
response = await client.chat.completions.create(
model="gpt-4o",
messages=[{
"role": "system",
"content": """Ти експерт з оцінки якості обслуговування.
Оціни дзвінок за кожним критерієм від 0 до 10.
Будь об'єктивним, ґрунтуй оцінку тільки на тексті.
Поверни JSON з полями: greeting_score, hold_procedure_score, farewell_score,
gdpr_compliance, problem_understanding, solution_accuracy, empathy_score,
first_call_resolution. Для кожного поля додай comment_FieldName з поясненням."""
}, {"role": "user", "content": full_dialog[:6000]}],
response_format={"type": "json_object"}
)
data = json.loads(response.choices[0].message.content)
return CallScorecard(
call_id=transcript["call_id"],
operator_id=transcript["operator_id"],
duration_seconds=transcript["duration"],
**{k: v for k, v in data.items() if not k.startswith("comment_")}
)
Щоб побачити, як це працює на ваших даних, зв'яжіться з нами — ми надішлемо демо-доступ.
Як налаштувати scorecard за 5 кроків
- Визначте типи дзвінків (вхідні/вихідні, продажі/підтримка).
- Виберіть критерії з бібліотеки (15 базових, можна додати кастомні).
- Призначте ваги кожному критерію (сума 1.0).
- Вкажіть порогові значення (наприклад, AHT не більше 300 с).
- Запустіть пілот на 100 дзвінках та скоригуйте промпт за результатами.
Порівняння AI та людини: хто точніший?
| Метрика | AI (LLM) | Людина-асесор | Різниця |
|---|---|---|---|
| Покриття | 100% | 15% | у 6,7 раза більше |
| Швидкість оцінки | 2 секунди | 12 хвилин | у 360 разів швидше |
| Узгодженість (Корр. Пірсона) | 0.92 | 0.78 (між асесорами) | на 18% вище |
| Об'єктивність | Висока (однакові критерії) | Залежить від втоми | — |
| Вартість за дзвінок | Значно нижча | Висока | у десятки разів дешевше |
Чому AI працює точніше людини?
LLM не втомлюється, не пропускає дзвінки через брак часу та застосовує однакові критерії до всіх діалогів. У нашому A/B-тесті AI показав узгодженість 92% з контрольною групою (2 QA-менеджери, 100 дзвінків), тоді як між двома асесорами узгодженість була 78%. Це підтверджує, що автоматична оцінка не лише швидша, але й об'єктивніша.
Що входить в роботу
- Архітектура ETL для транскрибації дзвінків (Whisper, моделі розпізнавання української/російської мов).
- Інтеграція з ACD/CRM — отримання дзвінків та збагачення даними клієнта.
- Scorecard з 15 критеріїв — налаштування ваг під ваш сценарій.
- LLM-асистент — генерація scorecard з поясненнями.
- Дашборд рейтингів та трендів — Grafana або React.
- Калібрування та моніторинг — автоматичне відстеження кореляції AI vs людина.
Процес роботи
- Аналітика та аудит — розбираємо поточні критерії оцінки, сценарії, типи дзвінків.
- Проектування scorecard — ваги, норми AHT, межі FCR.
- Інтеграція та розмітка — підключаємося до телефонії, збираємо історичні записи.
- Навчання та калібрування — запускаємо baseline, коригуємо промпт, донавчаємо модель при необхідності (LoRA).
- Тестування A/B — порівнюємо AI з ручними оцінками.
- Деплой та дашборди — розгортаємо інференс, підключаємо оповіщення (Telegram, Slack).
Терміни орієнтовно
| Компонент | Термін |
|---|---|
| Базова оцінка (15 критеріїв) | 4–6 тижнів |
| Рейтинги операторів та тренди | 6–8 тижнів |
| Дашборди та сповіщення | 2–4 тижні додатково |
Вартість розраховується індивідуально залежно від обсягу дзвінків, необхідної латентності та потреби у fine-tuning. Замовте консультацію — ми надішлемо приклад scorecard та кошторис.
Калібрування: як підтримуємо точність
Періодично порівнюємо AI-оцінки з ручними оцінками QA-менеджерів. Цільовий показник: кореляція Пірсона > 0.85. Якщо кореляція падає, запускаємо перекалібрування на свіжій розміченій вибірці. Процес включає:
- Збір нових транскрибів (100 дзвінків)
- Розмітка двома QA-менеджерами
- Навчання LoRA-адаптера на основі розбіжностей
- A/B-тест на наступному тижні
Досвід нашої команди — 5+ років у NLP та 30+ проектів кол-центрів. Гарантуємо прозорість: ви отримуєте повний доступ до промптів, ваг та логів оцінок. Замовте демо-доступ, щоб побачити результати на ваших даних.