Голосовой AI-бот для call-центра: реализация и интеграция

Проектируем и внедряем системы искусственного интеллекта: от прототипа до production-ready решения. Наша команда объединяет экспертизу в машинном обучении, дата-инжиниринге и MLOps, чтобы AI работал не в лаборатории, а в реальном бизнесе.
Показано 1 из 1Все 1564 услуг
Голосовой AI-бот для call-центра: реализация и интеграция
Средний
от 1 недели до 3 месяцев
Часто задаваемые вопросы

Направления AI-разработки

Этапы разработки AI-решения

Последние работы

  • image_website-b2b-advance_0.webp
    Разработка сайта компании B2B ADVANCE
    1358
  • image_web-applications_feedme_466_0.webp
    Разработка веб-приложения для компании FEEDME
    1250
  • image_websites_belfingroup_462_0.webp
    Разработка веб-сайта для компании БЕЛФИНГРУПП
    956
  • image_ecommerce_furnoro_435_0.webp
    Разработка интернет магазина для компании FURNORO
    1188
  • image_logo-advance_0.webp
    Разработка логотипа компании B2B Advance
    646
  • image_crm_enviok_479_0.webp
    Разработка веб-приложения для компании Enviok
    929

Реализация голосового AI-бота для call-центра

Голосовой бот для колл-центра — это не простая замена IVR, а полноценный AI-ассистент на базе LLM. Мы неоднократно сталкивались с ситуацией: клиенты внедряли дешёвые речевые роботы и получали Containment Rate на уровне 20–30%. Пользователи раздражались и требовали оператора. Наш подход: fine-tuning языковой модели на вашей базе диалогов + двухуровневая эскалация. Containment Rate >60% — типичный результат через 4 недели после деплоя. Наша команда имеет 10+ лет опыта в NLP и MLOps, реализовала 50+ голосовых ботов для call-центров. Экономия на операторах может достигать 1,5 млн рублей в год при объёме 10 000 звонков в месяц.

Как голосовой AI-бот решает проблему загрузки операторов?

Стандартный call-центр тратит 60% времени операторов на типовые запросы: статус заказа, изменение адреса, запись на услугу. Голосовой бот разгружает их на 70–80% по этим категориям. У нас есть опыт интеграции с Bitrix24, amoCRM и Salesforce: бот подтягивает данные клиента по номеру телефона, выполняет сценарий и при необходимости эскалирует с полным контекстом. Containment Rate >60% лучше обычного IVR в 2–3 раза.

Типовые сценарии и покрытие

Сценарий Доля звонков Автоматизация
Статус заказа 30–40% 95%
Изменение адреса 10–15% 80%
FAQ по продукту 15–20% 85%
Жалобы 5–10% 30% (далее оператор)
Запись/отмена 10–15% 90%
Пример расчёта окупаемости При 10 000 звонков в месяц и CR 60% экономия на операторах — 1,5 млн руб/год. Стоимость внедрения окупается за 4–6 месяцев.

Архитектура бота для call-центра

from enum import Enum
from dataclasses import dataclass

class DialogState(Enum):
    GREETING = "greeting"
    INTENT_RECOGNITION = "intent_recognition"
    COLLECTING_DATA = "collecting_data"
    PROCESSING = "processing"
    CONFIRMATION = "confirmation"
    TRANSFER_TO_AGENT = "transfer_to_agent"
    FAREWELL = "farewell"

@dataclass
class CallSession:
    call_id: str
    phone_number: str
    state: DialogState = DialogState.GREETING
    intent: str = None
    collected: dict = None
    retry_count: int = 0
    max_retries: int = 3

    def should_transfer(self) -> bool:
        return (self.retry_count >= self.max_retries or
                self.intent in ["complaint", "complex_issue"])

Первый уровень эскалации — повторный запрос с тем же намерением, второй — перевод оператору с полной историей диалога.

Intent recognition с примерами

async def recognize_intent(user_text: str) -> dict:
    response = await client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{
            "role": "system",
            "content": """Определи намерение клиента. Верни JSON:
            {"intent": "order_status|change_address|cancel_order|complaint|other",
             "entities": {"order_id": "...", "address": "..."}}"""
        }, {
            "role": "user",
            "content": user_text
        }],
        response_format={"type": "json_object"}
    )
    return json.loads(response.choices[0].message.content)

Условия эскалации на оператора

ESCALATION_TRIGGERS = [
    "оператор", "живой человек", "соедините с человеком",
    "не понимаете", "бесполезный", "жалоба", "претензия",
    "верните деньги", "суд", "роспотребнадзор"
]

def should_escalate(text: str, session: CallSession) -> bool:
    text_lower = text.lower()
    if any(trigger in text_lower for trigger in ESCALATION_TRIGGERS):
        return True
    if session.retry_count >= 2:
        return True
    return False

Интеграция с CRM

async def lookup_customer(phone: str) -> dict | None:
    # Запрос в CRM (Bitrix24, amoCRM, Salesforce)
    async with aiohttp.ClientSession() as session:
        resp = await session.get(
            f"{CRM_API_URL}/contacts/search",
            params={"phone": phone},
            headers={"Authorization": f"Bearer {CRM_TOKEN}"}
        )
        data = await resp.json()
        return data.get("contact")

Почему Containment Rate — главный KPI?

Containment Rate — процент звонков, полностью обработанных ботом без перевода на оператора. Для call-центра это прямая экономия: каждый процент повышения CR снижает cost per call. При CR >60% бот окупается за 4–8 месяцев в зависимости от объёмов. Мы гарантируем достижение CR >60% для типовых сценариев после калибровки модели.

Что входит в работу под ключ?

Этап Длительность Результат
Аудит диалогов 1 неделя Выделение топ-5 сценариев
Fine-tuning модели 2–3 недели Модель с точностью >90%
Интеграция с CRM 1–2 недели Готовый API-коннектор
Настройка эскалации 1 неделя Двухуровневая схема
Мониторинг и обучение 2 недели Дашборды и обучение операторов

После запуска — 3 месяца поддержки. Мы оценим ваш проект бесплатно: просто свяжитесь с нами. Получите консультацию по вашему сценарию — рассмотрим интеграцию, объём звонков и целевой CR.

ASR и TTS: распознавание и синтез речи для голосового бота

Голосовой бот состоит из трёх компонентов: ASR (распознавание речи), NLU (понимание намерения), TTS (синтез ответа). Качество каждого из них критично для итоговой конверсии.

ASR (Automatic Speech Recognition): используем Whisper large-v3 или Yandex SpeechKit в зависимости от требований к latency и конфиденциальности данных. Whisper даёт WER менее 5% на чистой речи, Yandex — лучше справляется с региональными акцентами. Streaming-режим ASR — первый токен за 300–500 мс — снижает ощущение задержки.

TTS (Text-to-Speech): синтез ответа занимает 200–400 мс на фразу. Используем SSML-разметку для управления паузами и интонацией: <break time="0.3s"/> перед ключевыми словами повышает воспринимаемое качество на 20–30%.

Снижение шума: для входящих звонков с фоновым шумом применяем RNNoise (open-source) или Krisp API. Это снижает WER на зашумлённых каналах с 25% до 8%.

Интеграция ASR + TTS добавляет 500–800 мс к общей latency цикла. Мы оптимизируем каждый компонент в связке, добиваясь общего времени ответа бота менее 2 секунд.

Сроки: MVP с 3–5 сценариями — 4–6 недель. Полная система с аналитикой и A/B тестами — 3–4 месяца.

Распознавание и синтез речи: ASR, TTS, клонирование голоса

Заказчик приходит с задачей: транскрибировать 40 000 часов колл-центра за неделю. Штатный облачный ASR (Google Speech-to-Text) выдаёт WER 28% на отраслевой лексике и стоит ощутимо дорого при таких объёмах. Задача — снизить WER ниже 10% и перейти на self-hosted инференс.

Типовые проблемы, с которыми приходят

WER не сходится к нужной метрике. Чаще всего виновата не архитектура, а данные: шумные аудио без нормализации уровня (-23 LUFS вместо стандарта), смешанные языки в одном канале, акцент, специфическая доменная лексика. Whisper large-v3 из коробки даёт WER 8–12% на чистом русском и проваливается до 25–35% на записях с PSTN-артефактами и узкополосным кодеком G.711.

Диаризация ломается при больше двух спикеров. pyannote/speaker-diarization-3.1 работает стабильно при 2–3 говорящих, но DER (Diarization Error Rate) растёт с 6% до 18–22% при 5+ участниках конференции. Проблема усугубляется перекрёстными репликами: по умолчанию min_duration_on=0.1 срезает короткие вставки.

Клонирование голоса — латентность или качество. XTTS v2 (Coqui) даёт натуральный голос, но при потоковой генерации stream_chunk_size=20 первый аудиочанк прилетает через 1.4–2.0 с — неприемлемо для интерактивных сценариев. StyleTTS2 и Kokoro быстрее, но требуют точной подготовки референсного аудио.

Как это решается на практике

Базовый стек для production-пайплайна:

  • ASR: openai/whisper-large-v3 или faster-whisper (CTranslate2-бэкенд, x4 скорость vs оригинал)
  • Диаризация: pyannote.audio 3.x + интеграция через whisperx для выравнивания по словам
  • TTS: XTTS v2 для качества, Edge-TTS или Silero для низкой латентности
  • Клонирование: XTTS v2 (3–6 с референсного аудио) или OpenVoice v2

Типичный пайплайн для колл-центра выглядит так: аудио из очереди Kafka → нормализация ffmpeg -af loudnorm до -23 LUFS → faster-whisper с beam_size=5, vad_filter=Truepyannote диаризация → постпроцессинг (пунктуация через deepmultilingualpunctuation) → запись в PostgreSQL с временными метками.

Кейс из практики. Финтех-компания с 12 000 звонков/день. Исходный WER на русском с банковской лексикой — 22% (Google STT). После fine-tuning whisper-medium на 200 часах размеченных записей через Hugging Face transformers + Seq2SeqTrainer с learning_rate=1e-5, warmup_steps=500 — WER упал до 7.3%. Инференс на одной A10G через faster-whisper с compute_type=float16 обрабатывает 40-минутный звонок за 55 секунд. Итоговая стоимость инференса — $0.0008/мин против $0.016/мин у облачного провайдера.

Дообучение Whisper на доменных данных

Когда общая модель не справляется, fine-tuning — первый инструмент. Минимальный датасет для заметного улучшения — 20–30 часов размеченного аудио в целевом домене. Разметку можно получить через итеративный процесс: прогнать через базовую модель → вручную исправить 10–15% ошибок → переобучить → повторить.

training_args = Seq2SeqTrainingArguments(
    per_device_train_batch_size=16,
    gradient_accumulation_steps=2,
    learning_rate=1e-5,
    warmup_steps=500,
    max_steps=5000,
    fp16=True,
    predict_with_generate=True,
    generation_max_length=225,
)

Важно: при fine-tuning Whisper нужно замораживать encoder первые 1000 шагов (model.freeze_encoder()), иначе акустические признаки разъедутся раньше, чем decoder адаптируется к новой лексике.

Синтез речи: выбор под задачу

Модель Латентность (TTFB) Натуральность MOS Клонирование Языки
XTTS v2 1.2–2.0 с 4.1–4.3 Да, 3 с референса 17
StyleTTS2 0.3–0.6 с 4.0–4.2 Да, требует адаптации en, + fine-tune
Kokoro-82M 0.08–0.15 с 3.7–3.9 Нет en, ja
Silero TTS 0.05–0.1 с 3.4–3.6 Нет ru, en, de, и др.
Edge-TTS ~0.4 с (cloud) 4.0 Нет 100+

Для интерактивных ботов с требованием TTFB < 300 мс — Silero или Kokoro. Для озвучки контента, где важна натуральность — XTTS v2 с потоковой отдачей через WebSocket.

Процесс работы

Начинаем с аудит-сессии: берём 2–4 часа ваших записей, прогоняем через несколько моделей, замеряем WER/CER, смотрим на распределение ошибок по типам (лексические, акустические, язык). Это занимает 1–2 дня и сразу показывает, нужен ли fine-tuning или достаточно пост-обработки.

Далее — выбор архитектуры под ваш throughput: один GPU для 1000 мин/день или кластер с балансировщиком для 100 000+ мин/день. Деплой через Docker-контейнер с FastAPI или Triton Inference Server для батчированного инференса.

Сроки зависят от сложности: базовая интеграция готовой модели — 1–2 недели. Fine-tuning с подготовкой данных и валидацией — 4–8 недель. Полная разработка голосового пайплайна (ASR + диаризация + TTS + мониторинг) — 2–4 месяца.