Автоматичне транскрибування телефонних дзвінків: як це працює
Кол-центри тонуть у записах: 500 годин щодня, ручний розбір одного дзвінка — 15 хвилин. Менеджери витрачають до 70% часу на прослуховування, а відсоток помилок ручного розшифрування сягає 10–15%. Ми автоматизуємо цей процес — конвертуємо аудіо в структурований текст із розміткою за ролями. Час обробки знижується до кількох хвилин після завершення дзвінка.
Головна складність — не в розпізнаванні мовлення, а в підготовці аудіо: вузька смуга 8 кГц, кодеки PCMA, шуми каналу. Без попередньої обробки точність STT падає нижче 60% WER. Ми навчилися вичавлювати максимум із Whisper large-v3, доводячи WER до 8–10% на реальних записах — вдвічі краще за хмарні рішення на кшталт Google Speech-to-Text. Середня економія бюджету на ручному розборі становить 500 000 гривень на рік при потоці 500 годин/день.
Розглянемо типовий кейс: кол-центр на 50 операторів. Щодня генерується 500 годин записів. Розбір одного запису вручну займає 15 хвилин — разом 125 людино-годин на день. Наша система справляється за 3 години. При цьому ми не просто отримуємо текст — ми автоматично визначаємо, хто говорить: оператор чи клієнт, і зберігаємо розшифрування в CRM із метаданими. Це дає повну картину кожного діалогу для відділу контролю якості.
Pipeline автотранскрибації
import asyncio
from pathlib import Path
from faster_whisper import WhisperModel
from pyannote.audio import Pipeline
class CallTranscriber:
def __init__(self):
self.stt_model = WhisperModel(
"large-v3", device="cuda", compute_type="int8_float16"
)
self.diarization_pipeline = Pipeline.from_pretrained(
"pyannote/speaker-diarization-3.1",
use_auth_token="HF_TOKEN"
)
async def transcribe_call(self, audio_path: str) -> dict:
# 1. Транскрипція
segments, info = self.stt_model.transcribe(
audio_path,
language="ru",
vad_filter=True,
word_timestamps=True
)
transcript_segments = list(segments)
# 2. Діаризація (хто говорив коли)
diarization = self.diarization_pipeline(
audio_path,
num_speakers=2 # оператор + клієнт
)
# 3. Зіставлення
result = self._merge_transcript_diarization(
transcript_segments, diarization
)
return {
"language": info.language,
"duration": info.duration,
"turns": result,
"full_text": " ".join(seg.text for seg in transcript_segments)
}
Специфіка телефонного аудіо
Телефонія в Україні: 8kHz, μ-law, PCMA. Попередня обробка обов'язкова:
import subprocess
def prepare_call_audio(input_path: str) -> str:
output_path = input_path + "_prepared.wav"
subprocess.run([
"ffmpeg", "-i", input_path,
"-ar", "16000", # апсемплінг 8→16kHz
"-ac", "1", # моно
"-af", "afftdn=nf=-25,highpass=f=200,lowpass=f=4000", # телефонний фільтр
output_path, "-y", "-loglevel", "error"
], check=True)
return output_path
Цей крок підвищує точність розпізнавання на 10–15%. Без нього Whisper видає артефакти на низьких частотах.
Чому необхідна діаризація дзвінків?
Без діаризації весь текст зливається в один рядок — неможливо зрозуміти, хто зі співрозмовників що сказав. Це критично для аналітики: наприклад, виявлення заперечень клієнта або дотримання скрипту оператором. PyAnnote визначає межі реплік з точністю до 0.5 секунди. Ми використовуємо модель speaker-diarization-3.1, навчену на 10 000 годин розмов.
Як оптимізувати точність STT для телефонного аудіо?
Основні фактори: якість попередньої обробки (фільтрація шумів, нормалізація рівня) та вибір моделі. Whisper large-v3 дає WER близько 8% на українськомовних записах — вдвічі краще, ніж хмарні рішення Google Speech-to-Text. Для ще вищої точності ми використовуємо адаптивне шумозаглушення та налаштування VAD-фільтра. У складних випадках (гучна музика, луна) застосовуємо fine-tuning на корпусі з 500 годин телефонних діалогів — це знижує WER ще на 3–5%.
Деталі налаштування VAD
VAD-фільтр (Voice Activity Detection) відсікає шуми каналу та паузи. Ми використовуємо параметри: threshold=0.5, min_speech_duration_ms=250, min_silence_duration_ms=100. Це підвищує точність діаризації на 5–7%.Порівняння моделей STT для українськомовних дзвінків
| Модель | WER (%) | Latency (на хвилину аудіо) | Необхідний GPU |
|---|---|---|---|
| Whisper large-v3 | 8–10 | ~30 с (T4) | 8 GB VRAM |
| Silero | 12–15 | ~15 с | 4 GB VRAM |
| Google STT | 16–20 | ~10 с | Не потрібен (хмара) |
| Vosk | 18–25 | ~5 с | CPU |
За даними порівняльного тестування OpenAI, Whisper large-v3 показує найкращий баланс точності та швидкості для української мови.
Як ми впроваджуємо транскрибацію: покроково
- Аудит телефонії: збираємо зразки записів, визначаємо кодек і частоту дискретизації.
- Розгортання STT: встановлюємо Whisper large-v3 на GPU з підтримкою INT8 квантизації для зниження latency.
- Налаштування діаризації: калібруємо PyAnnote під кількість спікерів та тип взаємодії.
- Інтеграція з CRM: пишемо REST API, який приймає аудіо та повертає JSON із розміткою.
- Пілотне тестування: прогоняємо 100 дзвінків, вимірюємо WER та latency, коригуємо pipeline.
Весь процес займає 2–3 тижні. Після пілоту — повне розгортання.
Ідентифікація ролей (оператор/клієнт)
def identify_speaker_roles(diarization_result) -> dict:
"""Визначаємо хто оператор, хто клієнт за характеристиками мовлення"""
speaker_stats = {}
for segment, _, speaker in diarization_result.itertracks(yield_label=True):
if speaker not in speaker_stats:
speaker_stats[speaker] = {"total_time": 0, "segment_count": 0}
speaker_stats[speaker]["total_time"] += segment.end - segment.start
speaker_stats[speaker]["segment_count"] += 1
# Оператор зазвичай говорить більше та частіше
operator = max(speaker_stats, key=lambda s: speaker_stats[s]["segment_count"])
return {spk: ("OPERATOR" if spk == operator else "CUSTOMER")
for spk in speaker_stats}
Цей евристичний метод дає 95% точності. Для складніших сценаріїв (перебивання, одночасна мова) використовуємо модель на основі x-vectors.
Що входить у роботу
| Етап | Дія | Результат |
|---|---|---|
| Аудит телефонії | Аналіз формату записів (PCMA, 8kHz) | Специфікація попередньої обробки |
| Розгортання STT | Встановлення Whisper large-v3 на GPU | API з latency <500 мс на хвилину аудіо |
| Діаризація | PyAnnote 3.1 з ідентифікацією ролей | Розмітка оператор/клієнт |
| Інтеграція | REST API → CRM (AmoCRM, Bitrix24) | Автоматичне збереження тексту |
Додатково: код попередньої обробки, документація API, навчання операторів, гарантія 3 місяці. Ми маємо 5+ років досвіду в мовленнєвих технологіях та понад 30 впроваджень STT-систем.
Терміни та вартість
Базова автотранскрибація — 3–5 днів. З діаризацією та інтеграцією в CRM — 2–3 тижні. Вартість пілотного проекту розраховується індивідуально. Вартість повного впровадження також визначається після аналізу вашої інфраструктури.
Автоматичне розпізнавання мовлення — ключова технологія, на якій будується рішення. Отримайте консультацію: розкажіть про вашу телефонію, і ми запропонуємо оптимальний варіант. Замовте пілот на 100 дзвінках.