Автоматичне транскрибування телефонних дзвінків

Автоматичне транскрибування телефонних дзвінків: як це працює

Кол-центри тонуть у записах: 500 годин щодня, ручний розбір одного дзвінка — 15 хвилин. Менеджери витрачають до 70% часу на прослуховування, а відсоток помилок ручного розшифрування сягає 10–15%. Ми автоматизуємо цей процес — конвертуємо аудіо в структурований текст із розміткою за ролями. Час обробки знижується до кількох хвилин після завершення дзвінка.

Головна складність — не в розпізнаванні мовлення, а в підготовці аудіо: вузька смуга 8 кГц, кодеки PCMA, шуми каналу. Без попередньої обробки точність STT падає нижче 60% WER. Ми навчилися вичавлювати максимум із Whisper large-v3, доводячи WER до 8–10% на реальних записах — вдвічі краще за хмарні рішення на кшталт Google Speech-to-Text. Середня економія бюджету на ручному розборі становить 500 000 гривень на рік при потоці 500 годин/день.

Розглянемо типовий кейс: кол-центр на 50 операторів. Щодня генерується 500 годин записів. Розбір одного запису вручну займає 15 хвилин — разом 125 людино-годин на день. Наша система справляється за 3 години. При цьому ми не просто отримуємо текст — ми автоматично визначаємо, хто говорить: оператор чи клієнт, і зберігаємо розшифрування в CRM із метаданими. Це дає повну картину кожного діалогу для відділу контролю якості.

Pipeline автотранскрибації

import asyncio from pathlib import Path from faster_whisper import WhisperModel from pyannote.audio import Pipeline class CallTranscriber: def __init__(self): self.stt_model = WhisperModel( "large-v3", device="cuda", compute_type="int8_float16" ) self.diarization_pipeline = Pipeline.from_pretrained( "pyannote/speaker-diarization-3.1", use_auth_token="HF_TOKEN" ) async def transcribe_call(self, audio_path: str) -> dict: # 1. Транскрипція segments, info = self.stt_model.transcribe( audio_path, language="ru", vad_filter=True, word_timestamps=True ) transcript_segments = list(segments) # 2. Діаризація (хто говорив коли) diarization = self.diarization_pipeline( audio_path, num_speakers=2 # оператор + клієнт ) # 3. Зіставлення result = self._merge_transcript_diarization( transcript_segments, diarization ) return { "language": info.language, "duration": info.duration, "turns": result, "full_text": " ".join(seg.text for seg in transcript_segments) } 

Специфіка телефонного аудіо

Телефонія в Україні: 8kHz, μ-law, PCMA. Попередня обробка обов'язкова:

import subprocess def prepare_call_audio(input_path: str) -> str: output_path = input_path + "_prepared.wav" subprocess.run([ "ffmpeg", "-i", input_path, "-ar", "16000", # апсемплінг 8→16kHz "-ac", "1", # моно "-af", "afftdn=nf=-25,highpass=f=200,lowpass=f=4000", # телефонний фільтр output_path, "-y", "-loglevel", "error" ], check=True) return output_path 

Цей крок підвищує точність розпізнавання на 10–15%. Без нього Whisper видає артефакти на низьких частотах.

Чому необхідна діаризація дзвінків?

Без діаризації весь текст зливається в один рядок — неможливо зрозуміти, хто зі співрозмовників що сказав. Це критично для аналітики: наприклад, виявлення заперечень клієнта або дотримання скрипту оператором. PyAnnote визначає межі реплік з точністю до 0.5 секунди. Ми використовуємо модель speaker-diarization-3.1, навчену на 10 000 годин розмов.

Як оптимізувати точність STT для телефонного аудіо?

Основні фактори: якість попередньої обробки (фільтрація шумів, нормалізація рівня) та вибір моделі. Whisper large-v3 дає WER близько 8% на українськомовних записах — вдвічі краще, ніж хмарні рішення Google Speech-to-Text. Для ще вищої точності ми використовуємо адаптивне шумозаглушення та налаштування VAD-фільтра. У складних випадках (гучна музика, луна) застосовуємо fine-tuning на корпусі з 500 годин телефонних діалогів — це знижує WER ще на 3–5%.

Порівняння моделей STT для українськомовних дзвінків

За даними порівняльного тестування OpenAI, Whisper large-v3 показує найкращий баланс точності та швидкості для української мови.

Як ми впроваджуємо транскрибацію: покроково

1. Аудит телефонії: збираємо зразки записів, визначаємо кодек і частоту дискретизації.
2. Розгортання STT: встановлюємо Whisper large-v3 на GPU з підтримкою INT8 квантизації для зниження latency.
3. Налаштування діаризації: калібруємо PyAnnote під кількість спікерів та тип взаємодії.
4. Інтеграція з CRM: пишемо REST API, який приймає аудіо та повертає JSON із розміткою.
5. Пілотне тестування: прогоняємо 100 дзвінків, вимірюємо WER та latency, коригуємо pipeline.

Весь процес займає 2–3 тижні. Після пілоту — повне розгортання.

Ідентифікація ролей (оператор/клієнт)

def identify_speaker_roles(diarization_result) -> dict: """Визначаємо хто оператор, хто клієнт за характеристиками мовлення""" speaker_stats = {} for segment, _, speaker in diarization_result.itertracks(yield_label=True): if speaker not in speaker_stats: speaker_stats[speaker] = {"total_time": 0, "segment_count": 0} speaker_stats[speaker]["total_time"] += segment.end - segment.start speaker_stats[speaker]["segment_count"] += 1 # Оператор зазвичай говорить більше та частіше operator = max(speaker_stats, key=lambda s: speaker_stats[s]["segment_count"]) return {spk: ("OPERATOR" if spk == operator else "CUSTOMER") for spk in speaker_stats} 

Цей евристичний метод дає 95% точності. Для складніших сценаріїв (перебивання, одночасна мова) використовуємо модель на основі x-vectors.

Що входить у роботу

Додатково: код попередньої обробки, документація API, навчання операторів, гарантія 3 місяці. Ми маємо 5+ років досвіду в мовленнєвих технологіях та понад 30 впроваджень STT-систем.

Терміни та вартість

Базова автотранскрибація — 3–5 днів. З діаризацією та інтеграцією в CRM — 2–3 тижні. Вартість пілотного проекту розраховується індивідуально. Вартість повного впровадження також визначається після аналізу вашої інфраструктури.

Автоматичне розпізнавання мовлення — ключова технологія, на якій будується рішення. Отримайте консультацію: розкажіть про вашу телефонію, і ми запропонуємо оптимальний варіант. Замовте пілот на 100 дзвінках.