Ви відкриваєте пошту вранці понеділка — 400 звернень, кожне потребує ручного сортування. Оператори витрачають у середньому 5 хвилин на аналіз, а помилки маршрутизації затягують відповідь на години. Ручна класифікація не масштабується: з ростом бізнесу кількість звернень подвоюється, а штат підтримки — ні. Ми реалізували ML-класифікатор, який за секунди визначає тему і спрямовує звернення потрібному фахівцю. Типова ситуація: компанія з 50 000 звернень на місяць витрачає 4000 годин на рік на ручне сортування. Автоматизація скорочує це на 80%, звільняючи операторів для складних запитів. Наш підхід включає розробку таксономії, навчання моделі та моніторинг дрейфу — все під ключ за 3–10 робочих днів.
Автоматична класифікація звернень клієнтів: таксономія і модель
Перша і найпоширеніша помилка — неправильна ієрархія класів. Занадто мало категорій (наприклад, 3) — всі нестандартні запити падають в «Інше». Занадто багато (500+) — модель не може навчитися, точність падає нижче 70%. Нечіткі межі між класами заплутують і модель, і операторів.
Дворівнева ієрархія довела свою ефективність: перший рівень — 5–15 широких категорій (технічні проблеми, фінансові питання, договори), другий — підкатегорії для точної маршрутизації. Наприклад:
Технічні проблеми ├── Проблема з підключенням ├── Повільна швидкість └── Помилки в особистому кабінеті Фінансові питання ├── Оплата і тарифи ├── Повернення коштів └── Заборгованість За даними дослідження Яндекса, дворівнева таксономія знижує помилку класифікації на 30% порівняно з плоскою структурою. Ми завжди починаємо проект з аудиту поточних звернень і узгодження таксономії з бізнес-замовником.
Чому BERT fine-tuning дає 95% accuracy, а TF-IDF — тільки 85%?
| Метод | Accuracy | Потребує даних | Швидкість інференсу | Вартість впровадження |
|---|---|---|---|---|
| TF-IDF + Logistic Regression | 82–88% | 200 прикладів/клас | <1 мс | Низька |
| BERT fine-tuning (rubert) | 90–95% | 500+ прикладів/клас | 5–10 мс | Середня |
| LLM zero-shot (GPT-4o-mini) | 85–92% | 0 прикладів | 200–500 мс | Висока |
TF-IDF підходить для швидкого прототипу: навчається за хвилини, інтерпретований. BERT fine-tuning — основний метод: дає +8–12% accuracy за умови якісної розмітки. BERT кращий за TF-IDF на 10–15 процентних пунктів, але потребує більше даних. LLM використовуємо для нових категорій, де немає історичних даних — без донавчання, тільки промпт з описом класів.
Як обробляти звернення з кількома темами?
«У мене не працює підключення, і я хочу змінити тариф» — два класи одночасно. Ми застосовуємо три стратегії:
- Multilabel класифікація: sigmoid + поріг 0.5 — модель видає всі застосовні мітки.
- Розбивка на речення: кожне речення класифікується окремо, результат агрегується.
- Primary + Secondary: вибираємо головну тему (наприклад, «проблема з підключенням») і додаткову («зміна тарифу»).
В одному з проектів 30% звернень містили кілька тем. Використавши multilabel з порогом 0.4, ми підвищили точність маршрутизації на 22%.
Що робити з дрейфом даних?
Розподіл тематик змінюється: акції збільшують частку фінансових питань, сезонні інциденти — технічних. Наприклад, після запуску масштабної акції частка фінансових питань зросла з 20% до 45% за тиждень — наш моніторинг зафіксував дрейф і автоматично запустив донавчання моделі.
Ми налаштовуємо моніторинг з chi-square тестом: порівнюємо ковзний розподіл за тиждень з історичним. При значному відхиленні (p < 0.05) надсилається алерт, і ми переоцінюємо модель — додаємо нові класи або донавчаємо існуючу.
| Метрика | Норма | Алерт |
|---|---|---|
| Частка класу «Технічні проблеми» | 30–35% | >40% або <25% |
| Частка класу «Інше» | <5% | >10% |
| Точність моделі | >90% | <85% |
Процес роботи
- Аналітика таксономії: аудит 500+ звернень, формування ієрархії класів.
- Збір і контроль якості даних: розмітка 200–500 прикладів на клас, ручна вивірка 20%.
- Розробка моделі: baseline (TF-IDF), fine-tuning (BERT), опціонально LLM для рідкісних тем.
- Тестування: оцінка accuracy, precision, recall, latency p99 на відкладеній вибірці.
- Деплой: REST API на FastAPI, контейнеризація Docker, моніторинг Prometheus.
- Документація: опис таксономії, маршрутизації, інструкція для операторів.
- Гарантія: підтримка моделі протягом 6 місяців, оновлення при дрейфі.
Строки і вартість
Строки: від 3 до 10 робочих днів залежно від складності таксономії та обсягу даних. Вартість розраховується індивідуально — зв'яжіться з нами для оцінки вашого проекту. Замовте впровадження класифікатора — отримайте консультацію інженера безкоштовно.
Наша команда має 5+ років досвіду в NLP та понад 50 успішних проектів з автоматизації обробки звернень. Ми гарантуємо якість кожного етапу — від розмітки до моніторингу.
Цей класифікатор скорочує час обробки на 80% — економія тисяч годин операторів на рік. Зв'яжіться з нами, щоб обговорити ваш проект.