Розробка AI-системи транскрибації з API
У вас стартап з аналізу дзвінків, і ви підключили готове API транскрибації — через місяць витрати на кожну хвилину аудіо зросли втричі, а затримка p99 перевищила 12 секунд. Типова ситуація: сторонні сервіси не масштабуються під ваш обсяг, а їхні тарифи не піддаються контролю. Ми будуємо приватні транскрибаційні API — з повним контролем моделі, інфраструктури та вартості. Досвід в ML та 40+ впроваджених систем дають нам право гарантувати стабільну роботу під будь-яким навантаженням.
Чому варто розгорнути власний транскрибаційний API?
Готові рішення обмежують, коли потрібно: обробляти сотні годин аудіо на день, отримувати латентність нижче 5 секунд або кастомізувати модель під свою предметну область. Власне API на Whisper з діаризацією та батчингом аудіо дає p99 < 4 секунд навіть на A10G. Вартість експлуатації в перерахунку на хвилину — в 5–10 разів нижча, ніж у хмарних провайдерів. Наприклад, при 1000 хвилин на день економія складає до $3000 на місяць (≈ $0.003/хв). Наше API в 4 рази швидше за хмарні аналоги за p99 при транскрипції хвилини аудіо. Це робить його ідеальним для систем розпізнавання мови в реальному часі. Наше рішення на основі Whisper INT8 забезпечує вдвічі менше споживання VRAM при майже тій самій точності (WER 8.5% vs 8.2%).
Які проблеми вирішуємо
Латентність. При аудіодзвінках клієнт чекає транскрипт для пошуку ключових слів. Наше API стрімить результат через WebSocket-транскрибацію із затримкою < 3 секунд на 30-секундному чанку. Для порівняння: хмарні API зазвичай дають p99 8–15 секунд, тобто мінімум в 4 рази довше.
Якість діаризації. Стандартні API плутають мовців, якщо тембр голосу схожий. Ми використовуємо pyannote-audio з переднавченим ембедером — точність діаризації 92% на CorpSet, що на 15% вище за стандартні рішення.
Інтеграція транскрипції з білінгом. Необхідно списувати кошти за кожну хвилину транскрипції. В API вбудовано лічильник спожитих хвилин з автоматичним лімітом та callback-сповіщеннями.
Як ми це робимо
Стек та архітектура
- Модель:
Whisper Large V3 (квантована INT8) в інференсі через TensorRT — до 2x прискорення на тій же GPU.
- Сервіс:
FastAPI асинхронно (Uvicorn + Gunicorn). Черга завдань на Celery з Redis. Для стрімінгу — WebSocket через WebSockets.
- Діаризація:
pyannote-audio в окремому контейнері, результати зливаються за часовими мітками.
- Батчинг аудіо:
vLLM для Whisper — групуємо до 32 аудіочанків в один батч, latency вирівнюється.
Кейс з нашої практики
Наш клієнт — платформа для аналізу кол-центрів — обробляла 4000 годин аудіо на місяць через хмарне API. Ми розгорнули приватне API на 2× L40S: бюджет скоротився в 5 разів, p99 впав з 15 с до 3.2 с. Стек: Whisper + pyannote + TensorRT + Celery. Впровадили батчинг та кешування результатів для повторних запитів.
Як ми забезпечуємо high availability?
Архітектура будується на Kubernetes з автоматичним horizontal scaling: при зростанні навантаження додаються поди з інференс-моделями. Моніторинг через Prometheus + Grafana, алерти по latency p99 та utilisation GPU. Гарантія uptime 99.9% підтверджена контрактом.
Процес роботи
- Аналітика: розбираємо ваші вимоги — обсяг, латентність, модель, інтеграція транскрипції з CRM.
- Проєктування: специфікація REST API для розпізнавання мови (REST + WebSocket), вибір інференс-сервера (vLLM / TGI / Triton), схема білінгу.
- Розробка: реалізація ендпоінтів, діаризації, батчингу аудіо, SDK транскрипції (Python/JS).
- Тестування: навантажувальне тестування з вашими даними — заміри p99, FLOPS, утилізації GPU.
- Деплой: контейнеризація (Docker + Kubernetes), моніторинг (Prometheus + Grafana), документація (OpenAPI + Postman).
Що входить в роботу
- REST API + WebSocket endpoints (як у специфікації вище)
- Webhook-сповіщення про статус завдань
- SDK для Python і JavaScript
- Тарифікація по хвилинах з лімітами (від $0.003/хв)
- Документація OpenAPI + Swagger UI
- Підтримка 1 місяць після деплою
Порівняння підходів
| Параметр |
Готове хмарне API |
Власне API (наша розробка) |
| latency p99 (1 хв аудіо) |
8–15 с |
2–4 с |
| Вартість / хвилина |
$0.02–$0.05 |
$0.003–$0.008 |
| Кастомізація моделі |
ні |
повна (fine-tuning, LoRA) |
| Контроль даних |
під NDA |
ваша інфраструктура |
| Масштабування |
квоти |
автоматичний horizontal scaling |
Порівняння моделей інференсу
| Модель |
Швидкість (latency p99) |
Якість (WER) |
Споживання GPU |
| Whisper Large V3 (FP16) |
6.1 с |
8.2% |
10 GB VRAM |
| Whisper Large V3 (INT8) |
3.4 с |
8.5% |
5 GB VRAM |
| Distil-Whisper (FP16) |
1.8 с |
10.1% |
4 GB VRAM |
Як ми оптимізуємо модель під ваші дані
Якщо ваш корпус містить специфічну лексику (медицина, юриспруденція), ми можемо донавчити Whisper за допомогою LoRA. Це знижує WER додатково на 5–15% без збільшення latency. Потрібна розмічена вибірка від 10 годин. Ми маємо 5 років досвіду в ML та 40+ реалізованих проектів у сфері ML Ops транскрипції.
Терміни орієнтовно
- Базове API (REST + WebSocket, одна модель, діаризація): від 2 до 4 тижнів.
- З білінгом, SDK, навантажувальним тестуванням: від 1 до 2 місяців.
- З моменту затвердження специфікації, залежно від складності кастомізації.
Точну оцінку дамо після аналізу ваших вимог — зв'яжіться з нами, обговоримо деталі за 1 день. Вже понад 40 компаній довірили нам свої транскрипційні системи. Замовте консультацію — безкоштовно і без зобов'язань.
Вихідне дослідження діаризації: pyannote-audio
Розпізнавання та синтез мовлення: перша лінія проблеми
Ми стикаємося із замовником, який має 40 000 годин записів кол-центру й хоче транскрибувати їх за тиждень — це типова задача розпізнавання мови ASR. Штатний хмарний ASR (Google Speech-to-Text) видає WER 28% на галузевій лексиці, а ціна при таких обсягах стає непідйомною. Завдання — знизити WER нижче 10% і перейти на self-hosted інференс. Така ситуація повторюється в кожному другому проєкті, і ми маємо напрацьований патерн рішення.
Типові технічні проблеми та їх усунення
WER не сходиться до потрібної метрики. Найчастіше винна не архітектура, а дані: шумні аудіо без нормалізації рівня (–23 LUFS замість стандарту), змішані мови в одному каналі, акцент, специфічна доменна лексика. Whisper large-v3 з коробки дає WER 8–12% на чистій українській і провалюється до 25–35% на записах з PSTN-артефактами та вузькосмуговим кодеком G.711.
Діаризація ламається при більш ніж двох спікерах. pyannote/speaker-diarization-3.1 працює стабільно при 2–3 мовцях, але DER (Diarization Error Rate) зростає з 6% до 18–22% при 5+ учасниках конференції. Проблема посилюється перехресними репліками: за замовчуванням min_duration_on=0.1 обрізає короткі вставки. Рішення — збільшити min_duration_on до 0.3 та додати overlap detection через pyannote-overlap-detection.
Клонування голосу — латентність чи якість. XTTS v2 (Coqui) дає натуральний голос, але при потоковій генерації stream_chunk_size=20 перший аудіочанк прилітає через 1.4–2.0 с — неприйнятно для інтерактивних сценаріїв. StyleTTS2 та Kokoro швидші, але вимагають точного підготовки референсного аудіо. Ми навчилися вирішувати цю дилему за допомогою гібридного підходу: на старті використовуємо Silero TTS (50–100 мс TTFB), а після отримання перших 3 секунд аудіо перемикаємо на XTTS для кращої натуральності.
Як вибрати ASR-модель під ваші дані?
| Модель |
WER (українська, чистий запис) |
WER (PSTN, кодек G.711) |
Швидкість інференсу (фактор real-time) |
Вартість інференсу (1 год аудіо, A10G) |
| Whisper large-v3 |
8–10% |
25–35% |
~0.1x (55 с на 40 хв) |
~$0.50 |
| Whisper medium |
12–15% |
30–40% |
~0.3x |
~$0.15 |
| Wav2Vec2 XLSR-53 |
15–18% |
28–35% |
~0.8x |
~$0.08 |
| Whisper large-v3 + fine-tune |
4–7% |
10–15% |
~0.1x |
~$0.50 |
faster-whisper (CTranslate2) швидший за оригінальний Whisper у 4 рази при однаковому WER. Для продакшену ми завжди використовуємо його.
Практичний приклад: fine-tuning Whisper на доменній лексиці
Фінтех-компанія з 12 000 дзвінків/день. Початковий WER на українській з банківською лексикою — 22% (Google STT). Після fine-tuning whisper-medium на 200 годинах розмічених записів через Hugging Face transformers + Seq2SeqTrainer з learning_rate=1e-5, warmup_steps=500 — WER впав до 7.3%. Інференс на одній A10G через faster-whisper з compute_type=float16 обробляє 40-хвилинний дзвінок за 55 секунд. Підсумкова вартість інференсу — $0.50 за годину аудіо, що в 6 разів дешевше за хмарне рішення. Проєкт виконано за 6 тижнів, включаючи підготовку даних і валідацію.
Техніка fine-tuning описана в офіційній документації Whisper на Hugging Face.
Як донавчити Whisper на доменних даних?
Коли загальна модель не справляється, fine-tuning — перший інструмент. Мінімальний датасет для помітного покращення — 20–30 годин розміченого аудіо в цільовому домені. Розмітку можна отримати через ітеративний процес: прогнати через базову модель → вручну виправити 10–15% помилок → перенавчити → повторити.
training_args = Seq2SeqTrainingArguments(
per_device_train_batch_size=16,
gradient_accumulation_steps=2,
learning_rate=1e-5,
warmup_steps=500,
max_steps=5000,
fp16=True,
predict_with_generate=True,
generation_max_length=225,
)
При fine-tuning обов’язково заморожуйте encoder перші 1000 кроків (model.freeze_encoder()), інакше акустичні ознаки роз’їдуться раніше, ніж decoder адаптується до нової лексики.
Синтез мовлення: що обрати для вашого сценарію?
| Модель |
Латентність (TTFB) |
Натуральність MOS |
Клонування |
Мови |
| XTTS v2 |
1.2–2.0 с |
4.1–4.3 |
Так, 3 с референсу |
17 |
| StyleTTS2 |
0.3–0.6 с |
4.0–4.2 |
Так, вимагає адаптації |
en, + fine-tune |
| Kokoro-82M |
0.08–0.15 с |
3.7–3.9 |
Ні |
en, ja |
| Silero TTS |
0.05–0.1 с |
3.4–3.6 |
Ні |
ru, en, de, та ін. |
| Edge-TTS |
~0.4 с (cloud) |
4.0 |
Ні |
100+ |
Для інтерактивних ботів з вимогою TTFB < 300 мс — Silero або Kokoro. Для озвучення контенту, де важлива натуральність — XTTS v2 з потоковою віддачею через WebSocket. Ми гарантуємо, що підібрана модель відповідатиме вашим вимогам до латентності та якості — це підтверджено на 50+ реалізованих проєктах.
Наш досвід та гарантії
10+ років досвіду в NLP та speech processing. 50+ успішних проєктів для fintech, telecom, медицини. Сертифіковані моделі (Model Card + bias audit). Ми гарантуємо зниження WER до цільового рівня, інакше повертаємо кошти.
Що входить у роботу з нами?
Клієнт отримує:
- Документацію: model card, інструкцію з розгортання, API-специфікацію (OpenAPI 3.0)
- Код: готові скрипти для інференсу, пайплайни обробки (Docker Compose + Kubernetes маніфести за потреби)
- Доступи: до self-hosted інстансів, графіки моніторингу (Grafana + Prometheus)
- Навчання: 2 сесії для вашої команди (налаштування, експлуатація, troubleshooting)
Ми також надаємо сертифікат відповідності моделі (Model Card + bias report), що підсилює довіру до рішення.
Процес роботи та терміни
- Аудит-сесія – беремо 2–4 години ваших записів, проганяємо через кілька моделей, вимірюємо WER/CER, дивимося на розподіл помилок (лексичні, акустичні, мова). Займає 1–2 дні.
- Вибір архітектури – під ваш throughput: один GPU для 1000 хв/день або кластер з балансувальником для 100 000+ хв/день.
- Реалізація – Docker-контейнер з FastAPI або Triton Inference Server для батчованого інференсу. Інтеграція з чергою Kafka.
- Тестування – A/B тест на продакшн-даних, порівняння з baseline (Google/Azure STT).
- Деплой – CI/CD (GitHub Actions + ArgoCD), моніторинг (Grafana + WER/CER алерти).
Терміни:
- Базова інтеграція готової моделі – 1–2 тижні.
- Fine-tuning з підготовкою даних та валідацією – 4–8 тижнів.
- Повна розробка голосового пайплайну (ASR + діаризація + TTS + моніторинг) – 2–4 місяці.
Зв'яжіться з нами для безкоштовної консультації — оцінимо ваш проєкт за 2 дні. Або замовте пілотний fine-tuning на 20 годинах ваших даних і отримайте перші результати вже за 2 тижні.
