Реализация диаризации говорящих (Speaker Diarization) под ключ
Представьте: запись совещания длится час, в ней пять участников, но после транскрибации получаете сплошной текст без атрибуции. Кто сказал бюджет? Кто предложил сроки? Без диаризации расшифровка бесполезна. Мы решаем эту задачу — разделяем аудиодорожку на сегменты по говорящим с точностью до 90–95%.
Диаризация говорящих (speaker diarization) — это pipeline, состоящий из детекции голосовой активности (VAD), сегментации, извлечения эмбеддингов и кластеризации. Современные нейросетевые подходы на базе speaker diarization и pyannote.audio 3.x позволяют достичь DER 5–12% на чистых записях. Разберём, как мы реализуем диаризацию под ключ, какие проблемы возникают на реальных данных и как их решаем.
Почему простая кластеризация не работает?
Классические методы (k-means, агломеративная кластеризация) дают DER 25–40% на реальных записях из-за перекрытия речи, фонового шума и разной громкости участников. Нейросетевые эмбеддинги, обученные на задаче распознавания говорящих (например, ECAPA-TDNN), позволяют получить компактное представление голоса. Именно поэтому мы используем готовые модели вроде pyannote/speaker-diarization-3.1, которые уже предобучены на тысячах часов. Pyannote 3.1 в 2 раза точнее агломеративной кластеризации на стандартных бенчмарках.
Современный стек
pyannote.audio 3.x — state-of-the-art open-source решение с DER (Diarization Error Rate) 7–12% на стандартных датасетах:
from pyannote.audio import Pipeline import torch pipeline = Pipeline.from_pretrained( "pyannote/speaker-diarization-3.1", use_auth_token="HF_TOKEN" ) pipeline.to(torch.device("cuda")) diarization = pipeline( "meeting.wav", min_speakers=2, max_speakers=6 ) for segment, track, speaker in diarization.itertracks(yield_label=True): print(f"[{segment.start:.2f}s → {segment.end:.2f}s] {speaker}") Model card for pyannote/speaker-diarization-3.1 reports DER 5-12% on AMI and DIHARD datasets
Детали настройки VAD
Для детекции голосовой активности мы используем предобученную модель VAD на основе MarbleNet. Пороги активации подбираются индивидуально: слишком низкий порог приводит к ложным срабатываниям на шуме, слишком высокий — к потере тихих реплик. Оптимальное значение SNR для вашего сценария определяется на этапе анализа.
Как объединить диаризацию с ASR?
Слияние с транскрипцией — ключевой этап. Используем Whisper large-v3 для распознавания и сопоставляем сегменты по временным меткам:
from faster_whisper import WhisperModel def transcribe_with_diarization(audio_path: str) -> list[dict]: # 1. Транскрибируем whisper = WhisperModel("large-v3", device="cuda") segments, _ = whisper.transcribe(audio_path, word_timestamps=True) # 2. Диаризуем diarization = pipeline(audio_path) # 3. Сопоставляем по временным меткам result = [] for seg in segments: seg_midpoint = (seg.start + seg.end) / 2 speaker = "UNKNOWN" for turn, _, spk in diarization.itertracks(yield_label=True): if turn.start <= seg_midpoint <= turn.end: speaker = spk break result.append({ "speaker": speaker, "start": seg.start, "end": seg.end, "text": seg.text }) return result На практике точность сопоставления зависит от синхронизации: рассинхрон даже в 100 мс приводит к ошибкам атрибуции. Мы решаем это калибровкой VAD и интерполяцией.
Какие проблемы решаем в реальных проектах?
- Перекрытие речи: когда два спикера говорят одновременно — до 30% длительности встречи. Используем сегментацию с overlap-aware детекцией.
- Шум и разное качество микрофонов: на встречах с удалёнными участниками SNR падает до 5 дБ. Применяем предобработку (Noise Suppression, VoiceFixer).
- Неизвестное количество говорящих: наша система автоматически определяет оптимальное число кластеров через Silhouette score.
- Долгие паузы: VAD склеивает реплики одного говорящего, разделённые паузой до 2 секунд.
Качество по числу говорящих
| Число говорящих | DER (pyannote 3.1) |
|---|---|
| 2 | 5–8% |
| 4 | 8–12% |
| 6 | 12–18% |
| 8+ | 15–25% |
Сравнение с облачными сервисами
| Параметр | pyannote + Whisper | AssemblyAI | Google STT |
|---|---|---|---|
| DER на русских данных | 8–14% | 11–17% | 13–19% |
| Контроль данных | Полный (on-prem) | Нет | Нет |
| Стоимость за час аудио | Фиксированная | По токенам | По минутам |
Сравнение с облачными сервисами показывает, что на русскоязычных данных pyannote + Whisper даёт DER на 3–5 п.п. ниже, чем AssemblyAI или Google STT, при полном контроле над данными. При переходе на on-premise решение вы экономите до 40% бюджета на транскрибацию по сравнению с облачными сервисами.
Процесс работы
- Анализ: принимаем образец аудио (5–10 минут), оцениваем качество, плотность речи, количество говорящих.
- Проектирование pipeline: выбираем модель (pyannote, ECAPA) и гиперпараметры под ваш сценарий (стенограммы встреч, интервью, колл-центры).
- Реализация: интеграция с ASR-системой (Whisper, Vosk, облачные API), сопоставление временных меток.
- Тестирование: замер DER на вашем датасете, итеративная настройка threshold и clustering.
- Деплой: on-premise или в облаке, с мониторингом latency p99 < 2 сек на минуту аудио при batch-обработке.
Что входит в работу
- Анализ аудиозаписей и выбор оптимальной конфигурации
- Разработка и кастомизация pipeline под вашу предметную область
- Интеграция с существующей ASC/CRM через REST API или WebSocket
- Документация по настройке и эксплуатации
- Обучение вашей команды (2–3 часа)
- Поддержка 2 недели после деплоя
Наша командаимеет 5+ лет опыта в NLP и аудиоаналитике, реализовано 20+ проектов по диаризации для клиентов из finance, legal, media. Гарантируем качество: приёмка по DER не выше 15% на оговорённом датасете. Сокращаем затраты на транскрипцию до 30% за счёт on-premise развёртывания.
Сроки: интеграция pyannote + Whisper — 3–5 дней. Оптимизация под конкретный тип записи — до 2 недель. Полный контроль над данными — ещё одно преимущество нашего подхода.
Свяжитесь с нами для детального аудита ваших аудиозаписей. Оцените ваш проект — мы подберём оптимальное решение. Закажите интеграцию под ключ — получите консультацию инженера.