STT з відео: розпізнавання мови, субтитри, транскрибація
Ви отримуєте запис вебінару тривалістю 2 години, а STT-модель видає 40% WER — текст неможливо використати для субтитрів або аналітики. Найчастіше проблема не в моделі, а у вихідному аудіо: Zoom/Teams стискають бітрейт до 32 кбіт/с, додають шум від кодеків, а спікери говорять одночасно. Типовий сценарій — багатодоріжковий запис конференції, де кожен учасник на окремій доріжці, але без правильного витягнення та нормалізації отримати чистий текст нереально.
Ми вирішуємо це на етапі витягнення доріжки, використовуючи FFmpeg з фільтрами нормалізації та придушення шуму. Після цього навіть Whisper large-v3 показує WER ~3% на чистих записах, а на зашумлених — до 20%, якщо не обробити аудіо. Фільтрація FFmpeg покращує WER у 3–5 разів у порівнянні з сирим аудіо. Нижче — повний pipeline: від витягнення аудіо до генерації субтитрів з таймкодами.
Як витягти аудіо для розпізнавання мови
Ключовий інструмент — FFmpeg з правильним набором фільтрів. Ми використовуємо loudnorm для нормалізації гучності та опціонально highpass=f=200 для придушення низькочастотного гулу. Приклад витягнення в 16 кГц моно:
import subprocess
import tempfile
from pathlib import Path
from faster_whisper import WhisperModel
def extract_audio_from_video(video_path: str) -> str:
"""Витягуємо аудіо з відео через FFmpeg"""
output_path = tempfile.mktemp(suffix='.wav')
cmd = [
'ffmpeg', '-i', video_path,
'-vn', # вимикаємо відео
'-ar', '16000', # 16kHz для ASR
'-ac', '1', # моно
'-acodec', 'pcm_s16le', # PCM 16-bit
'-af', 'loudnorm', # нормалізація гучності
output_path,
'-y', '-loglevel', 'error'
]
subprocess.run(cmd, check=True)
return output_path
def transcribe_video(video_path: str, model: WhisperModel) -> dict:
audio_path = extract_audio_from_video(video_path)
try:
segments, info = model.transcribe(
audio_path,
vad_filter=True,
word_timestamps=True,
language="uk"
)
return {
"language": info.language,
"segments": [
{
"start": seg.start,
"end": seg.end,
"text": seg.text
}
for seg in segments
]
}
finally:
Path(audio_path).unlink(missing_ok=True)
Важливість якості аудіодоріжки
Навіть найточніша модель Whisper large-v3, що показує WER ~3% на чистих записах, падає до 20% WER на зашумленому аудіо. У порівнянні з ручною розшифровкою, наша автоматизована система працює в 10 разів швидше. Порівняйте:
Тип запису | WER без попередньої обробки | WER після фільтрів FFmpeg -|- Вебінар Zoom (32 кбіт/с) | 15% | 5% Вуличне знімання (камера GoPro) | 35% | 12% Конференція Teams (кілька доріжок) | 25% | 8%
Тому ми завжди починаємо з аналізу спектрограми аудіо — це дозволяє підібрати фільтри під конкретний джерело.
Обробка багатодоріжкових записів
У відеоконференціях кожен учасник може бути на окремій аудіодоріжці. Ми витягуємо кожну доріжку окремо, транскрибуємо їх паралельно, а потім за допомогою PyAnnote виконуємо діаризацію для розділення спікерів. Це значно покращує читабельність субтитрів при кількох голосах.
# Отримуємо інформацію про доріжки
probe = ffmpeg.probe(video_path)
audio_streams = [s for s in probe['streams'] if s['codec_type'] == 'audio']
# Обробляємо кожну доріжку окремо для діаризації
Що дає комерційна реалізація STT?
Впровадження такого пайплайну скорочує час на розшифровку в десятки разів: замість ручного набору субтитрів до вебінару тривалістю 1 година ви отримуєте готовий файл через 10 хвилин. Економія людино-годин на кожному відео — від 2 до 8 годин залежно від формату. Для контент-студій та освітніх платформ це зниження операційних витрат на 80%. Економія на фрілансерських послугах — до 40 000 грн на місяць при обсязі від 20 відео. Вартість типового рішення від 50 000 грн.
Як швидко окупається впровадження?
На обсязі від 20 відео на місяць інтеграція окупається за 2–3 місяці. Ви перестаєте платити фрілансерам за транскрибацію та отримуєте готові часові мітки для монтажу. Ми надаємо Docker-образ, який ви запускаєте на своєму сервері — жодних щомісячних платежів за API. Гарантія 12 місяців на програмне забезпечення. Сертифіковані спеціалісти (AWS, NVIDIA).
Генерація субтитрів
З результату транскрибації автоматично генеруємо SRT/VTT:
def to_srt(segments) -> str:
lines = []
for i, seg in enumerate(segments, 1):
start = format_timestamp(seg['start'])
end = format_timestamp(seg['end'])
lines.append(f"{i}\n{start} --> {end}\n{seg['text'].strip()}\n")
return "\n".join(lines)
Типові помилки при впровадженні STT
- Ігнорування шуму: без фільтрів WER зростає на 15–20%.
- Вибір непідходящої моделі: для української мови Whisper large-v3 показує найкращі результати.
- Відсутність таймкодів: без word_timestamps субтитри не синхронізовані.
- Погане налаштування VAD: пропускає частини мови або вирізає паузи.
Що входить в реалізацію?
| Компонент | Результат |
|---|---|
| Витягнення аудіо | Скрипт на Python/FFmpeg з налаштуванням фільтрів під ваш тип записів |
| Транскрибація | Інтеграція Whisper (faster-whisper) з VAD, word_timestamps |
| Діаризація (опціонально) | Розділення по доріжках або за допомогою PyAnnote |
| Субтитри | Експорт в SRT/VTT/ASS, кастомізація стилів |
| Інтеграція | Docker-образ, HTTP API, CLI-утиліта, приклади для CI/CD |
| Документація | README, приклади використання, відеоінструкція |
Процес роботи
- Аналітика — ви надсилаєте 2–3 типових відео, ми оцінюємо якість та підбираємо пайплайн.
- Проектування — фіксуємо архітектуру: стек (Whisper, NVIDIA NeMo), векторна база (опціонально), формат субтитрів.
- Реалізація — пишемо код з модульними тестами.
- Тестування — прогін на ваших даних, замір WER, налаштування порогів VAD.
- Деплой — передаємо Docker-образ, доступ до Git-репозиторію, CI/CD-пайплайн.
Строки та вартість — STT з відео
- Базовий скрипт для одного типу відео — 1–2 дні.
- Batch-система з чергою та моніторингом — 3–5 днів.
- Вартість розраховується індивідуально, залежить від складності попередньої обробки та необхідності діаризації.
10+ років досвіду у STT, 50+ впроваджень, 5 років на ринку ШІ-рішень. Замовте інтеграцію STT у нас — отримайте безкоштовну консультацію та тестову обробку ваших відео. Зв'яжіться для оцінки вашого проєкту — надішлемо демо-версію на ваших файлах.