Представьте: в аудиозаписи несколько голосов, и нужно точно определить, кто из них — ваш клиент. Стандартная диаризация лишь разделяет речь по говорящим, но не называет имён. Идентификация говорящего решает эту задачу: по голосовому отпечатку (эмбеддингу) мы находим личность в базе известных дикторов. За 5 лет мы реализовали более 20 проектов по идентификации говорящего для банков, call-центров и security-систем. Гарантируем точность выше 95% в промышленных условиях. Мы внедряем такие системы под ключ — от прототипа до продакшена с миллионами голосов.
Проблемы, которые решаем
- Низкая точность в шумной среде — стандартные модели падают на уличных записях. Наш пайплайн включает VAD (Voice Activity Detection) и предобработку: ресемплинг до 16 кГц, нормализацию громкости, удаление тишины. Например, в проекте для call-центра мы снизили EER с 4.2% до 1.1% только за счёт корректного VAD.
- Медленный поиск по большим базам — линейный перебор эмбеддингов неэффективен при >10 000 голосов. Используем FAISS с индексом IVF, что даёт скорость поиска <5 мс на миллион векторов. Для базы в 2 млн голосов мы получили latency p99 8 мс. Это привело к снижению затрат на серверное оборудование на 40%.
- Чувствительность к длительности записи — короткие фразы (<2 секунд) снижают качество. Мы предлагаем адаптивный трешхолд и накопление эмбеддингов из нескольких сегментов. В одном из кейсов удалось достичь точности 91% на фрагментах по 1.5 секунды.
Если вы столкнулись с одной из этих проблем — свяжитесь с нами, и мы предложим решение.
Как работает идентификация говорящего?
Система состоит из трёх этапов:
- Регистрация (enrollment) — для каждого диктора собираем 3-10 аудиосэмплов, извлекаем эмбеддинги через ECAPA-TDNN и усредняем.
- Поиск (inference) — на лету вычисляем эмбеддинг из аудио, сравниваем с базой через косинусное расстояние.
- Decision — если сходство > threshold (например, 0.75), возвращаем имя, иначе 'UNKNOWN'.
Audio → VAD → Speaker Encoder → Embedding → Similarity Search → Identity
(ECAPA-TDNN) (d-vector) (cosine / ANN)
Почему ECAPA-TDNN?
ECAPA-TDNN на 30% лучше предыдущего стандарта x-vector по EER (Equal Error Rate) на VoxCeleb1 — EER 0.87% против 1.2%. Он устойчивее к шумам и разным длительностям. В лёгких сценариях (до 1000 дикторов) можно обойтись x-vector, но для SOTA-точности мы выбираем ECAPA-TDNN.
Сравнение подходов к извлечению эмбеддингов:
| Метод | EER (VoxCeleb1) | Размерность | Время инференса (GPU) | Требования к памяти |
|---|---|---|---|---|
| i-vector | 5.2% | 400 | — | 200 MB |
| x-vector | 1.2% | 512 | 5 ms | 50 MB |
| ECAPA-TDNN | 0.87% | 192 | 8 ms | 20 MB |
Извлечение speaker embeddings
from speechbrain.pretrained import SpeakerRecognition
import torchaudio
import torch
# ECAPA-TDNN — state-of-the-art архитектура
model = SpeakerRecognition.from_hparams(
source="speechbrain/spkrec-ecapa-voxceleb",
savedir="tmp_spkrec"
)
def get_embedding(audio_path: str) -> torch.Tensor:
signal, sr = torchaudio.load(audio_path)
if sr != 16000:
signal = torchaudio.functional.resample(signal, sr, 16000)
embedding = model.encode_batch(signal)
return embedding.squeeze()
# Регистрация нового говорящего
def register_speaker(name: str, audio_samples: list[str]):
embeddings = [get_embedding(p) for p in audio_samples]
mean_embedding = torch.stack(embeddings).mean(0)
return mean_embedding # сохраняем в базу
Поиск по базе голосов
import faiss
import numpy as np
# Индекс для быстрого поиска (миллионы голосов)
index = faiss.IndexFlatIP(192) # cosine similarity через inner product
speaker_names = []
def add_speaker(name: str, embedding: torch.Tensor):
emb_np = embedding.numpy().reshape(1, -1)
faiss.normalize_L2(emb_np)
index.add(emb_np)
speaker_names.append(name)
def identify_speaker(audio_path: str, threshold: float = 0.75) -> str:
embedding = get_embedding(audio_path).numpy().reshape(1, -1)
faiss.normalize_L2(embedding)
distances, indices = index.search(embedding, k=1)
score = float(distances[0][0])
if score >= threshold:
return speaker_names[indices[0][0]]
return "UNKNOWN"
Пример из практики: аутентификация в call-центре
Крупный банк хотел внедрить голосовую аутентификацию клиентов при звонке в поддержку. Основные требования: точность >95% на фразах длительностью 3-5 секунд и latency <200 мс. Мы развернули пайплайн на базе ECAPA-TDNN + FAISS IVF100000. После сбора 10 голосовых сэмплов на каждого из 5000 клиентов и калибровки threshold на отложенной выборке, целевые метрики были достигнуты: точность >95% при FAR 1.2%. Проект был внедрён за 3 недели. Наш многолетний опыт в области идентификации говорящего позволил минимизировать риски и обеспечить стабильную работу системы.
Как масштабируется база голосов?
EER ECAPA-TDNN на VoxCeleb1: 0.87% — промышленный уровень. При использовании 10+ секунд записи для регистрации: точность >95% при threshold 0.8. Для баз голосов до 10⁶ используем FAISS с различными индексами. Ниже приведено сравнение индексов FAISS.
| Индекс | Точность Recall@1 | Время поиска (1M векторов) | Память (1M векторов) |
|---|---|---|---|
| FlatIP | 100% | 80 ms | 768 MB |
| IVF100000 | 99.2% | 5 ms | 770 MB |
| HNSW64 | 99.5% | 2 ms | 810 MB |
Threshold определяет баланс precision/recall. Для задач аутентификации (высокая безопасность) используйте 0.85–0.9, для задач поиска (высокий recall) — 0.7–0.75. Рекомендуем отложить 20% данных для валидации.
Как мы внедряем систему: пошагово
- Аудитория и сбор данных — анализ сценариев использования, сбор голосовых сэмплов клиентов (согласие на обработку).
- Проектирование архитектуры — выбор модели (ECAPA-TDNN / x-vector), настройка FAISS-индекса, определение threshold.
- Реализация — написание пайплайна, интеграция с вашим API/приложением (REST, gRPC).
- Тестирование — валидация на реальных записях, метрики precision/recall, нагрузочное тестирование.
- Деплой и поддержка — размещение на сервере/в облаке, мониторинг latency, обучение вашей команды.
Что входит в работу
- Исходный код пайплайна идентификации (Python, PyTorch)
- FAST API-сервер для идентификации и регистрации
- Документация по развёртыванию и настройке
- Интеграция с вашим приложением (1-2 точки входа)
- Обучение команды (2 часа онлайн)
- Поддержка в течение 1 месяца после сдачи
Сроки реализации
Базовая система идентификации: от 1 недели. С FAISS-индексом и управлением базой голосов: от 2 недель. Полный цикл с интеграцией и тестированием: 2-4 недели.
Свяжитесь с нами для консультации и оценки вашего проекта — подберём оптимальное решение под вашу задачу. Получите бесплатную оценку за 1 рабочий день. Оставьте заявку — мы проведем демонстрацию работы системы на ваших данных.