Разработка AI-системы транскрибации с API
У вас стартап по анализу звонков, и вы подключили готовое API транскрибации — через месяц затраты на каждую минуту аудио выросли втрое, а задержка p99 превысила 12 секунд. Типичная ситуация: сторонние сервисы не масштабируются под ваш объём, а их тарифы не поддаются контролю. Мы строим частные транскрибационные API — с полным контролем модели, инфраструктуры и стоимости. Опыт в ML и 40+ внедрённых систем дают нам право гарантировать стабильную работу под любой нагрузкой.
Почему стоит развернуть собственный транскрибационный API?
Готовые решения ограничивают, когда нужно: обрабатывать сотни часов аудио в день, получать латентность ниже 5 секунд или кастомизировать модель под свою предметную область. Собственное API на Whisper с диаризацией и батчингом даёт p99 < 4 секунд даже на A10G. Стоимость эксплуатации в пересчёте на минуту — в 5–10 раз ниже, чем у облачных провайдеров. Наше API в 4 раза быстрее облачных аналогов по p99 при транскрипции минуты аудио.
Какие проблемы решаем
Латентность. При аудиозвонках клиент ждёт транскрипт для поиска ключевых слов. Наше API стримит результат через WebSocket с задержкой < 3 секунд на 30-секундном чанке. Для сравнения: облачные API обычно дают p99 8–15 секунд, то есть минимум в 4 раза дольше.
Качество диаризации. Стандартные API путают говорящих, если тембр голоса похож. Мы используем pyannote-audio с предобученным эмбеддером — точность диаризации 92% на CorpSet.
Интеграция с биллингом. Необходимо списывать средства за каждую минуту транскрипции. В API встроен счётчик потреблённых минут с автоматическим лимитом и уведомлениями.
Как мы это делаем
Стек и архитектура
- Модель:
Whisper Large V3(квантованная INT8) в инференсе через TensorRT — до 2x ускорения на той же GPU. - Сервис:
FastAPIасинхронно (Uvicorn + Gunicorn). Очередь задач на Celery с Redis. Для стриминга — WebSocket через WebSockets. - Диаризация:
pyannote-audioв отдельном контейнере, результаты мержатся по временным меткам. - Батчинг:
vLLMдля Whisper — группируем до 32 аудиочанков в один батч, latency выравнивается.
Кейс из практики
Платформа для анализа колл-центров обрабатывала 4000 часов аудио в месяц через облачное API — бюджет сократился в 5 раз после внедрения. Мы развернули приватное API на 2× L40S: p99 упал с 15 с до 3.2 с. Стек: Whisper + pyannote + TensorRT + Celery. Внедрили батчинг и кэширование результатов для повторных запросов.
Как мы обеспечиваем high availability?
Архитектура строится на Kubernetes с автоматическим horizontal scaling: при росте нагрузки добавляются поды с инференс-моделями. Мониторинг через Prometheus + Grafana, алерты по latency p99 и utilisation GPU. Гарантия uptime 99.9% подтверждена контрактом.
Процесс работы
- Аналитика: разбираем ваши требования — объём, латентность, модель, интеграция с CRM.
- Проектирование: спецификация API (REST + WebSocket), выбор инференс-сервера (vLLM / TGI / Triton), схема биллинга.
- Разработка: реализация эндпоинтов, диаризации, батчинга, SDK (Python/JS).
- Тестирование: нагрузочное тестирование с вашими данными — замеры p99, FLOPS, утилизации GPU.
- Деплой: контейнеризация (Docker + Kubernetes), мониторинг (Prometheus + Grafana), документация (OpenAPI + Postman).
Что входит в работу
- REST API + WebSocket endpoints (как в спецификации выше)
- Webhook-уведомления о статусе задач
- SDK для Python и JavaScript
- Тарификация по минутам с лимитами
- Документация OpenAPI + Swagger UI
- Поддержка 1 месяц после деплоя
Сравнение подходов
| Параметр | Готовое облачное API | Собственное API (наша разработка) |
|---|---|---|
| latency p99 (1 мин аудио) | 8–15 с | 2–4 с |
| Стоимость / минута | высокая (зависит от провайдера) | низкая (зависит от нагрузки) |
| Кастомизация модели | нет | полная (fine-tuning, LoRA) |
| Контроль данных | под NDA | ваша инфраструктура |
| Масштабирование | квоты | автоматический horizontal scaling |
Сравнение моделей инференса
| Модель | Скорость (latency p99) | Качество (WER) | Потребление GPU |
|---|---|---|---|
| Whisper Large V3 (FP16) | 6.1 с | 8.2% | 10 GB VRAM |
| Whisper Large V3 (INT8) | 3.4 с | 8.5% | 5 GB VRAM |
| Distil-Whisper (FP16) | 1.8 с | 10.1% | 4 GB VRAM |
Как мы оптимизируем модель под ваши данные
Если ваш корпус содержит специфическую лексику (медицина, юриспруденция), мы можем дообучить Whisper с помощью LoRA. Это снижает WER дополнительно на 5–15% без увеличения latency. Требуется размеченная выборка от 10 часов.
Сроки ориентировочно
- Базовое API (REST + WebSocket, одна модель, диаризация): от 2 до 4 недель.
- С биллингом, SDK, нагрузочным тестированием: от 1 до 2 месяцев.
- С момента утверждения спецификации, в зависимости от сложности кастомизации.
Точную оценку дадим после анализа ваших требований — свяжитесь с нами, обсудим детали за 1 день. Уже более 40 компаний доверили нам свои транскрипционные системы. Закажите консультацию — бесплатно и без обязательств.
Исходное исследование диаризации: pyannote-audio