Реализация Batch STT: распознавание речи из аудиофайлов

Batch STT на архивах: где ломается обработка

Обработка архива записей обычно стартует одинаково: скрипт перебирает файлы и отправляет каждый на распознавание отдельным запросом. Пока записей десятки, схема работает. На корпусе в сотни часов аудио она упирается в таймаут распознавания: длинная запись не успевает вернуться в отведённое окно, соединение рвётся, и теряется не часть результата, а весь файл целиком. Причём сбой воспроизводится на одних и тех же записях — совещаниях, интервью, длинных звонках, то есть именно там, где расшифровка нужнее всего.

Второе узкое место — потеря очереди задач. Когда перебор идёт в одном процессе, любой перезапуск обнуляет состояние: неизвестно, какие файлы уже обработаны, а какие нет. Следующий проход берёт всё заново, дублирует готовые расшифровки, снова натыкается на тот же таймаут — и не сдвигается с места. Если файлы перед этим разбирались по частям, к проблеме добавляется склейка: фрагменты одной записи перемешиваются, метки времени сбиваются, и текст перестаёт соответствовать звуку.

Остаток архива закрывают ручной расшифровкой. Это самая дорогая часть работы: она не масштабируется, привязывает людей к часам аудио и всё равно не даёт единого корпуса — разметка говорящих, метки времени и структура диалога в разных файлах оформлены по-разному. В итоге получается не архив, готовый к поиску и анализу, а набор разрозненных текстов с пропусками.

Каждый из этих сбоев лечится архитектурой, а не терпением: разбиение длинных записей на смысловые сегменты, постановка задач в очередь с журналом состояния, повтор с продолжением вместо повтора с нуля и сборка сегментов обратно в целую расшифровку. Дальше разбираем, как это закрывается на уровне реализации.

Что даёт обработка архива аудиозаписей целиком

Пакетная расшифровка меняет постановку задачи: не отдельный файл по кнопке, а весь архив за один прогон. Планировщик разбирает накопленные записи на задания, раскладывает их по очереди и отдаёт обработчикам столько параллельных потоков, сколько выдерживает инфраструктура. Архив, который при ручной вычитке растягивался на недели, закрывается за часы — процесс запускают один раз и не следят за ним.

Главная разница — в классе отказов. При поштучной обработке сбой одного файла или обрыв связи с моделью останавливает работу и требует ручного перезапуска, а недоделанное копится в незаметный хвост. В пакетном режиме задание помечается неуспешным, уходит в повторную попытку с нарастающей паузой, а очередь двигается дальше. По итогу прогона есть отчёт: сколько записей распознано, сколько отклонено и почему.

Предсказуемая нагрузка — не побочный эффект, а условие. Ограничение параллелизма и окна запуска не дают архиву вытеснить остальные сервисы, поэтому длинный массив не превращается в скачок задержек у смежных систем. Это и есть ответ на стоимость простоя: ресурсы заняты ровно на время прогона, а не растянуты тонким слоем на неделю.

Что зафиксировать в чек-листе: время обработки архива от запуска до отчёта, доля записей, закрытых без вмешательства человека, и поведение очереди при недоступности внешнего сервиса. Эти три величины показывают, воспроизводится ли результат на следующем массиве или прошлый успех был случайным.

Варианты запуска Batch STT и их ограничения

Схема запуска batch STT важнее выбора модели: она определяет, сколько ручной работы остаётся вокруг распознавания и что происходит, если обработка упала на середине архива. Ниже — четыре варианта, между которыми выбирают на практике; работаем с открытыми моделями вроде Whisper и обвязку подбираем под конкретный сценарий.

Общее ограничение подхода: пакетное распознавание не даёт результата в реальном времени, а при росте объёма узким местом становится не модель, а постановка задач и хранение расшифровок. На разборе задачи смотрим на размер архива, частоту поступления записей и требования к срокам — и предлагаем схему, а не набор скриптов.

Как мы строим конвейер расшифровки аудио

Конвейер расшифровки — это не запуск модели на отдельном файле, а поток задач с предсказуемым временем прохождения и повторяемым качеством. Пока порядок этапов не зафиксирован, каждый новый архив разбирают вручную, а результат держится на одном человеке. Ниже — как выглядит наша работа от приёмки записей до передачи системы.

1. Аудит архива и качества звука. Инвентаризируем контейнеры, длительность, число каналов, долю записей с шумом, музыкой или телефонным сжатием. На контрольной выборке измеряем разборчивость — она определяет, где нужна предобработка, а где модель справится как есть.
2. Схема очередей. Длинные записи режем на сегменты и раскладываем по потокам: свежие обращения с высоким приоритетом, архивные выгрузки — фоном. Число параллельных задач подбираем так, чтобы очередь не росла быстрее, чем разбирается.
3. Настройка повторных попыток. Временные сбои — недоступность хранилища, превышение времени ожидания — отделяем от постоянных: битый контейнер, пустая дорожка. Первые повторяем с нарастающей задержкой и лимитом, вторые уходят в карантин с причиной, а не теряются молча.
4. Контроль качества распознавания. Считаем долю слов с низкой уверенностью, сверяем с эталонной расшифровкой на контрольной выборке, следим за стабильностью таймкодов. Порог, ниже которого запись уходит на ручную проверку, согласуем до запуска.
5. Передача в эксплуатацию. Отдаём конфигурацию, схему очередей, регламент перезапуска и панель метрик. Ваши инженеры прогоняют свой архив самостоятельно — дальше конвейер работает без нашего участия.

Что входит в поставку: схемы и регламенты

Передаём не только настроенный конвейер, но и всё, что нужно, чтобы он жил без нас: параметры обработки, схему прохождения записи, политики доступа и регламенты на случай сбоя. Каждый артефакт согласуем на приёмке — инженер заказчика должен уметь запустить повторную обработку и объяснить, почему конкретный файл распознан неполно.

• Конфигурации конвейера — параметры сегментации по тишине, выбор модели под язык и качество канала, словари доменных терминов, пороги уверенности, при которых фрагмент уходит на повторное распознавание.
• Схема обработки — как запись проходит путь от загрузки до готовой расшифровки: постановка в очередь, нормализация громкости, разбиение на фрагменты, сборка результата, выдача через файловое хранилище или уведомление о готовности.
• Политики доступа к записям — роли и области видимости, сроки хранения аудио и текстов, шифрование при передаче и на диске, журнал обращений к чувствительным материалам.
• Форматы выдачи — расшифровка с таймкодами и разметкой говорящих, плюс текстовый и субтитровый варианты; фиксируем структуру полей, чтобы её можно было загрузить в учётную систему без ручной правки.
• Регламент разбора сбоев — каталог типовых отказов (битый файл, перекрытие голосов, шум, незнакомый язык), порядок эскалации, правила идемпотентного перезапуска, чтобы повтор не задваивал результаты.
• Документация по эксплуатации — инструкции по запуску пакета, схема размещения компонентов, порядок обновления словарей и контрольный набор записей для проверки после изменений.
• Мониторинг и отчётность — метрики доли успешно обработанных файлов, времени ожидания в очереди и объёма ручной доработки; оповещения уходят ответственному до того, как очередь встанет.

Кейс: архив колл-центра и время расшифровки

Заказчик — контакт-центр с непрерывной записью всех линий. В архиве колл-центра к моменту старта лежало около 12 000 часов аудио, а расшифровывалось вручную не более 4% — то есть только выборка, которую успевали разобрать операторы контроля качества.

Доля автоматически расшифрованных записей была нулевой: любой поиск по содержанию разговора означал прослушивание. Разбор одной записи занимал десятки минут, поэтому причина роста повторных обращений в накопленном массиве просто не находилась.

Что изменили

Собрали конвейер пакетного распознавания (batch STT): файлы из хранилища режутся на сегменты, нормализуются по громкости, к каждому подтягиваются метаданные звонка — линия, оператор, время, тег кампании. Задачи идут очередью, а результат пишется по ключу записи, поэтому повторный запуск сегмента после сбоя не создаёт дубль в базе и не ломает прогон. За основу взяли открытое семейство моделей Whisper и дообучили его на размеченных звонках с отраслевой лексикой, названиями тарифов и аббревиатурами.

Что стало

Весь архив разобран за трое суток вместо месяцев выборочной работы, охват — 100% записей. Доля ошибок распознавания на потоке упала с 11% до 4,5%, а ручных вмешательств стало около шести десятков в месяц против почти двух тысяч: оператор подключается только к спорным именам, адресам и цифрам.

Новые звонки попадают в поиск в течение часа после разговора. Выгрузка теперь идёт по фразам и тегам сразу по всему массиву, и контроль качества опирается на метрики до и после, а не на прослушивание наугад.

Чем обработка архива отличается от потоковой расшифровки

Потоковая расшифровка и разбор архива решают одну задачу — превратить речь в текст, но оптимизируют разные величины. В потоке запись режется на короткие окна, и результат отдаётся по мере поступления: точностью и полнотой контекста жертвуют ради минимальной задержки обработки. Пакетное распознавание (batch STT) работает с файлом целиком, поэтому очередь планируют по доступным ресурсам, а не по секундомеру.

Потоковая схема нужна там, где текст требуется в момент речи: субтитры, подсказки оператору, контроль разговора онлайн. Цена — обрезанный контекст на границах окон, чувствительность к паузам и шуму, невозможность вернуться и уточнить уже отданный фрагмент. Разбор архива таких ограничений не имеет: файл известен целиком, поэтому доступны повторные проходы, нормализация звука, разделение по говорящим и сверка с глоссарием предметной области.

На накопленных массивах — записи звонков, интервью, медиатека, выгрузки за период — выигрывает именно пакетная обработка. Здесь важна не задержка обработки, а пропускная способность и воспроизводимость: один и тот же файл при повторном прогоне даёт тот же текст, а обновлённую модель или словарь терминов можно применить ко всему архиву сразу. Задержка в минуты и часы для отчётности и поиска по записям не критична.

Критерии применимости сводятся к трём вопросам. Нужен результат в момент речи или допустимо дождаться окончания обработки партии? Требуется ли переобработка — например, применить уточнённый глоссарий к старым записям? Насколько однороден вход: длинные файлы без чётких границ фраз надёжнее отдавать пакетной схеме. Часто выбирают гибрид: черновая расшифровка потоком для навигации, финальная — пакетным разбором архива.

Технические сомнения перед стартом проекта

Качество расшифровки определяют не только модель, но и то, что подаётся на вход. Пакетное распознавание (batch STT) обрабатывает файлы целиком, поэтому работа начинается с разбора архива: уровень шума, число говорящих, длительность пауз, формат и качество исходников.

Часть вопросов повторяется почти на каждой технической встрече — отвечаем до старта, чтобы оценка точности распознавания опиралась на измерения, а не на обещания.

В записях смешаны языки и диалекты — распознавание не запутается?

Язык определяем по сегментам, а не по файлу целиком, поэтому переключение внутри одного диалога отрабатывает корректно. Для диалектов и отраслевой лексики добавляем словари и дообучение на вашем материале — доля подстановок «похожих» слов падает. Основной язык задаём явно, чтобы короткие реплики не уводили модель.

Архив частично расшифрован, а аудио чувствительное. Что с повторной обработкой и передачей?

Повторно ничего не считаем: ведём журнал по контрольной сумме файла и настройкам обработки, поэтому неизменённые записи пропускаются, а заново запускаются только новые или изменённые. На массиве в десятки тысяч часов это разница между ночным прогоном и неделями вычислений. Аудио передаётся по защищённому каналу в хранилище с ограниченным доступом и журналом обращений; если запись не должна покидать ваш периметр, контур разворачиваем на вашей инфраструктуре — наружу уходят только результаты расшифровки.

Обсудим задачу и вернёмся с планом работ

Чтобы оценка объёма была предметной, а не «вилкой на глаз», на старте полезно получить от вас образцы записей и статистику по архиву. Разбор занимает несколько дней: наши инженеры слушают фрагменты, смотрят длительность, число говорящих и качество звука, считают долю материала, которая потребует отдельной обработки. На выходе вы получаете план работ с этапами и границами ответственности, а не общее «сделаем».

Что прислать, чтобы разговор сразу шёл по делу:

• 5-10 образцов из разных партий — студийная запись, звонок, шумное помещение: по ним видно реальную сложность
• объём: сколько часов аудио в месяц и как быстро растёт архив
• требования к результату — только текст, разметка по говорящим, метки времени, формат выгрузки
• список терминов, имён и сокращений, которые нужно распознавать точно
• схему поступления материалов: разовая выгрузка архива, регулярные папки, обмен с вашей системой
• ограничения по инфраструктуре: где считается batch STT — в вашем контуре или на нашей стороне

Дальше фиксируем этапы, сроки и критерии приёмки на пилотной партии, после чего переходим к полному объёму. Опишите задачу и пришлите материалы — вернёмся с оценкой объёма и планом работ.