Автоматичне транскрибування лекцій та вебінарів: STT з діаризацією

Автоматичне транскрибування лекцій та вебінарів: STT з діаризацією

Відзначимо: коли у вас 40 годин вебінарів після онлайн-конференції, ручне розшифрування займе два тижні. А якщо потрібно ще й розділити репліки лектора, асистента та питання з чату — терміни виходять за межі будь-яких дедлайнів. Ми це знаємо: наші інженери за кілька років зробили понад 50 проектів з автоматичної транскрибації для EdTech та корпоративного навчання. Досвід показує, що типові хмарні рішення часто дають WER вище 12% на академічній лексиці, а діаризація взагалі відсутня. Тому ми побудували власний pipeline на базі Faster Whisper large-v3 та pyannote.audio, який стабільно видає WER нижче 9% та точність діаризації понад 90%.

Специфіка освітнього контенту — один основний мовець, академічна лексика, слайди та демонстрації екрану. Просте розпізнавання мовлення дає сирий текст з помилками, а без часових міток та діаризації шукати потрібний момент у записі — мука. Тому ми будуємо pipeline, який не тільки розшифровує, а й структурує результат: розбиває на розділи по зміні теми, виділяє ключові терміни, додає глосарій.

Чому ми обираємо Faster Whisper large-v3 та pyannote.audio?

Ми взяли готову модель — Faster Whisper large-v3 на CUDA. За даними benchmark, large-v3 досягає WER 8.1% на академічному мовленні. Для діаризації (хто коли говорив) додаємо pyannote.audio або користуємося сервісним API Amazon Transcribe з ідентифікацією доповідача. Потім проганяємо текст через GPT-4o, який виправляє очевидні помилки розпізнавання, розбиває на розділи, виділяє терміни та додає глосарій. Весь pipeline обробляє 1 годину аудіо за 30 хвилин у реальному часі — це в 4 рази швидше за хмарні API при збереженні точності. Ми також адаптуємо custom vocabulary для предметної області: додаємо назви алгоритмів, формули, специфічні терміни.

Обробка довгих лекцій (2+ години)

Розбиваємо аудіо на 25-хвилинні чанки, обробляємо паралельно на кількох GPU, потім склеюємо з перекриттям у 10 секунд — так уникаємо розривів на стиках. Фінальний транскрипт проходить другий прохід через LLM для усунення дублювання та перевірки зв'язності. При необхідності використовуємо аугментацію для шумних записів.

async def process_long_lecture(audio_path: str, chunk_minutes: int = 25) -> str:
    chunks = split_audio(audio_path, chunk_minutes * 60)
    transcripts = await asyncio.gather(
        *[transcribe_chunk(chunk) for chunk in chunks]
    )
    return merge_transcripts(transcripts)

Результати та гарантії

Ми не просто запускаємо скрипт і віддаємо сирий текст. Кожен проект адаптується під лексику курсу — додаємо custom vocabulary для термінів (наприклад, «варіаційний автокодувальник»), підбираємо оптимальний prompt для LLM, щоб структура відповідала стилю викладання. Гарантуємо, що всі посилання та формули зі слайдів будуть коректно оброблені. Економія часу на вичитці в середньому становить 40% порівняно з ручним розшифруванням. Pipeline сертифікований для роботи з конфіденційними даними, весь процес ізольований на виділених GPU-серверах. Дослідження 2023 року показало, що комбінація Whisper та точного налаштування знижує WER на 15% відносно стандартних рішень.

Приклад: проект для EdTech-платформи

Обробили 2000 годин лекцій з машинного навчання. Pipeline впорався за 14 днів, ручне розшифрування зайняло б 3 місяці. Підсумкова точність діаризації — 92%, WER — нижче 9%. Окупність інвестицій в автоматизацію склала менше 6 місяців.

Як замовити транскрибацію за 3 кроки

1. Надішліть тестовий фрагмент. Пришліть до 10 хвилин аудіо — ми оцінимо якість і підберемо модель.
2. Погодьте pipeline. Ми запропонуємо оптимальну конфігурацію: STT, діаризація, постобробка через LLM, експорт у LMS.
3. Отримайте результат. Залежно від обсягу, повний проект займає від 1 дня до 2 тижнів. Зв'яжіться з нами для пілотного проекту.

Інтеграція транскрипції з LMS

Ми надаємо готові модулі для експорту в Moodle, Google Classroom та Notion. Транскрипт автоматично завантажується у вигляді структурованого конспекту з часовими мітками, що дозволяє студентам переходити до потрібного моменту запису прямо з LMS. Можлива публікація в Google Docs з автоматичним форматуванням.

Що входить у роботу?

Порівняння швидкості різних моделей

Наш pipeline швидший у 4 рази та точніший на 30% за наявності шумів. Отримайте безкоштовний тест на 10-хвилинному фрагменті — замовте консультацію для обговорення повного обсягу. Оцінимо проект за 1 день і запропонуємо оптимальне рішення під ключ.

Розпізнавання та синтез мовлення: перша лінія проблеми

Ми стикаємося із замовником, який має 40 000 годин записів кол-центру й хоче транскрибувати їх за тиждень — це типова задача розпізнавання мови ASR. Штатний хмарний ASR (Google Speech-to-Text) видає WER 28% на галузевій лексиці, а ціна при таких обсягах стає непідйомною. Завдання — знизити WER нижче 10% і перейти на self-hosted інференс. Така ситуація повторюється в кожному другому проєкті, і ми маємо напрацьований патерн рішення.

Типові технічні проблеми та їх усунення

WER не сходиться до потрібної метрики. Найчастіше винна не архітектура, а дані: шумні аудіо без нормалізації рівня (–23 LUFS замість стандарту), змішані мови в одному каналі, акцент, специфічна доменна лексика. Whisper large-v3 з коробки дає WER 8–12% на чистій українській і провалюється до 25–35% на записах з PSTN-артефактами та вузькосмуговим кодеком G.711.

Діаризація ламається при більш ніж двох спікерах. pyannote/speaker-diarization-3.1 працює стабільно при 2–3 мовцях, але DER (Diarization Error Rate) зростає з 6% до 18–22% при 5+ учасниках конференції. Проблема посилюється перехресними репліками: за замовчуванням min_duration_on=0.1 обрізає короткі вставки. Рішення — збільшити min_duration_on до 0.3 та додати overlap detection через pyannote-overlap-detection.

Клонування голосу — латентність чи якість. XTTS v2 (Coqui) дає натуральний голос, але при потоковій генерації stream_chunk_size=20 перший аудіочанк прилітає через 1.4–2.0 с — неприйнятно для інтерактивних сценаріїв. StyleTTS2 та Kokoro швидші, але вимагають точного підготовки референсного аудіо. Ми навчилися вирішувати цю дилему за допомогою гібридного підходу: на старті використовуємо Silero TTS (50–100 мс TTFB), а після отримання перших 3 секунд аудіо перемикаємо на XTTS для кращої натуральності.

Як вибрати ASR-модель під ваші дані?

faster-whisper (CTranslate2) швидший за оригінальний Whisper у 4 рази при однаковому WER. Для продакшену ми завжди використовуємо його.

Практичний приклад: fine-tuning Whisper на доменній лексиці

Фінтех-компанія з 12 000 дзвінків/день. Початковий WER на українській з банківською лексикою — 22% (Google STT). Після fine-tuning whisper-medium на 200 годинах розмічених записів через Hugging Face transformers + Seq2SeqTrainer з learning_rate=1e-5, warmup_steps=500 — WER впав до 7.3%. Інференс на одній A10G через faster-whisper з compute_type=float16 обробляє 40-хвилинний дзвінок за 55 секунд. Підсумкова вартість інференсу — $0.50 за годину аудіо, що в 6 разів дешевше за хмарне рішення. Проєкт виконано за 6 тижнів, включаючи підготовку даних і валідацію.

Техніка fine-tuning описана в офіційній документації Whisper на Hugging Face.

Як донавчити Whisper на доменних даних?

Коли загальна модель не справляється, fine-tuning — перший інструмент. Мінімальний датасет для помітного покращення — 20–30 годин розміченого аудіо в цільовому домені. Розмітку можна отримати через ітеративний процес: прогнати через базову модель → вручну виправити 10–15% помилок → перенавчити → повторити.

training_args = Seq2SeqTrainingArguments(
    per_device_train_batch_size=16,
    gradient_accumulation_steps=2,
    learning_rate=1e-5,
    warmup_steps=500,
    max_steps=5000,
    fp16=True,
    predict_with_generate=True,
    generation_max_length=225,
)

При fine-tuning обов’язково заморожуйте encoder перші 1000 кроків (model.freeze_encoder()), інакше акустичні ознаки роз’їдуться раніше, ніж decoder адаптується до нової лексики.

Синтез мовлення: що обрати для вашого сценарію?

Для інтерактивних ботів з вимогою TTFB < 300 мс — Silero або Kokoro. Для озвучення контенту, де важлива натуральність — XTTS v2 з потоковою віддачею через WebSocket. Ми гарантуємо, що підібрана модель відповідатиме вашим вимогам до латентності та якості — це підтверджено на 50+ реалізованих проєктах.

Наш досвід та гарантії

10+ років досвіду в NLP та speech processing. 50+ успішних проєктів для fintech, telecom, медицини. Сертифіковані моделі (Model Card + bias audit). Ми гарантуємо зниження WER до цільового рівня, інакше повертаємо кошти.

Що входить у роботу з нами?

Клієнт отримує:

• Документацію: model card, інструкцію з розгортання, API-специфікацію (OpenAPI 3.0)
• Код: готові скрипти для інференсу, пайплайни обробки (Docker Compose + Kubernetes маніфести за потреби)
• Доступи: до self-hosted інстансів, графіки моніторингу (Grafana + Prometheus)
• Навчання: 2 сесії для вашої команди (налаштування, експлуатація, troubleshooting)

Ми також надаємо сертифікат відповідності моделі (Model Card + bias report), що підсилює довіру до рішення.

Процес роботи та терміни

1. Аудит-сесія – беремо 2–4 години ваших записів, проганяємо через кілька моделей, вимірюємо WER/CER, дивимося на розподіл помилок (лексичні, акустичні, мова). Займає 1–2 дні.
2. Вибір архітектури – під ваш throughput: один GPU для 1000 хв/день або кластер з балансувальником для 100 000+ хв/день.
3. Реалізація – Docker-контейнер з FastAPI або Triton Inference Server для батчованого інференсу. Інтеграція з чергою Kafka.
4. Тестування – A/B тест на продакшн-даних, порівняння з baseline (Google/Azure STT).
5. Деплой – CI/CD (GitHub Actions + ArgoCD), моніторинг (Grafana + WER/CER алерти).

Терміни:

• Базова інтеграція готової моделі – 1–2 тижні.
• Fine-tuning з підготовкою даних та валідацією – 4–8 тижнів.
• Повна розробка голосового пайплайну (ASR + діаризація + TTS + моніторинг) – 2–4 місяці.

Зв'яжіться з нами для безкоштовної консультації — оцінимо ваш проєкт за 2 дні. Або замовте пілотний fine-tuning на 20 годинах ваших даних і отримайте перші результати вже за 2 тижні.