Fine-tuning Whisper для доменной речи: обучение Speech-to-Text

Whisper fine-tuning: где ломается распознавание доменной речи

Базовая модель обучена на широком массиве бытовой речи: диктовка, переписка, лекции, подкасты. На отраслевом материале она не «не слышит» — она уверенно подставляет близкие по звучанию общеупотребительные слова вместо терминов, а на аббревиатурах и латинских наименованиях теряет структуру фразы целиком.

Ошибки в узких терминах распределены неравномерно: чем реже слово встречалось в обучающем массиве, тем выше шанс подмены. Но расшифровка нужна именно ради этих слов — обозначения деталей, артикулы, названия препаратов, юридические формулировки. Качество расшифровки записей при этом выглядит приемлемым в среднем: сводная метрика по всему тексту в норме, а критичные фрагменты специалист переслушивает вручную, потому что доверять им нельзя.

Второй слой — акустика. Записи из шумных помещений, дальний микрофон, несколько говорящих, региональные акценты и слитная речь дают ту же картину: модель сглаживает начала и окончания слов, склеивает реплики и неверно расставляет границы сегментов. Именно здесь доменный Whisper fine-tuning даёт наибольший выигрыш: распознавание доменной речи настраивается на реальный звук, а не на студийный эталон.

Разбираем, как это закрывается: доменный корпус записей, словарь замен для терминов и имён, аугментация шумом и оценка по доле ошибок именно в отраслевых словах, а не по среднему по тексту.

Эффект дообучения: меньше ошибок в терминах и шуме

Замер эффекта делаем на отложенной выборке — записях, которые не попали в обучение. Иначе метрика показывает запоминание корпуса, а не обобщение. Сравниваем долю ошибок на бытовой и доменной речи: разрыв между этими цифрами — та часть, которую закрывает дообучение модели распознавания речи.

Основной выигрыш — на отраслевой лексике. Базовая Whisper на длинных составных терминах, аббревиатурах и латинице внутри русской фразы подставляет близкие по звучанию слова. После дообучения такие подстановки уходят: модель собирает термин целиком, а снижение доли ошибок идёт неравномерно — на общем тексте на единицы процентов, на профильном заметно сильнее.

Устойчивость к шуму и акценту растёт за счёт разнообразия записей. Если в корпус попали цех, улица, разговор через гарнитуру и несколько дикторов с разной манерой речи, модель перестаёт «сыпаться» на одном типе условий. Это важнее средней точности: система остаётся рабочей там, где запись изначально далека от студийной.

Практический счёт — не только доля ошибок, но и объём ручной правки. Смотрим долю сегментов, которые редактор оставляет без изменений, и распределение правок по типам. Чаще всего уходит класс ошибок с подстановкой терминов — именно он съедает больше всего времени при вычитке. Остаются пунктуация и имена собственные, которых не было в обучающих данных.

Локальные правки, словарь подсказок и дообучение: что выбрать

Доменная речь ломает модель неодинаково: где-то акустика совпадает, а расходятся только написания терминов и аббревиатур, где-то меняется сам рисунок — слитный темп диспетчера, латиница внутри русской фразы, узкополосный микрофон. Поэтому адаптацию строят по слоям и выбирают по источнику ошибки, а не по внешней солидности способа.

Отправная точка — замер: расшифровать контрольную выборку, разметить ошибки и разделить их на акустические и орфографические. Соотношение этих групп и показывает, какой слой даст отдачу.

Что выбирают на практике

Постобработка и словарь дают отдачу при преобладании орфографических ошибок: правки живут в конвейере и не требуют пересборки модели. Дообучение Whisper берут при устойчивых акустических ошибках и наличии размеченного корпуса: веса подстраиваются под домен, но вместе с ними появляется обязанность хранить корпус, держать повторяемый контур обучения и метрики на контрольной выборке. Без этого откат на базовую версию невозможен, а деградация на общей речи проявляется незаметно.

Этапы проекта: от аудита записей до передачи модели

Маршрут от архива записей до модели в эксплуатации разбит на этапы с измеримыми критериями приёмки. Если показатель на контрольной выборке не улучшается, возвращаемся на шаг назад — обычно к схеме разметки.

1. Аудит архива записей. Слушаем выборку, считаем суммарную длительность, долю чистых каналов, типы шума и наложения речи. Итог — карта данных: каких сценариев не хватает для обучения.
2. Схема разметки и глоссарий. Фиксируем правила транскрибирования, написание аббревиатур и имён, чтобы аннотаторы не расходились в спорных местах.
3. Подготовка корпуса. Приводим записи к единому формату, режем по паузам, убираем дубли и делим массив на обучающую, валидационную и отложенную части.
4. Разметка аудио. Контрольную долю расшифровок перепроверяет второй аннотатор; расхождения возвращаются в глоссарий, а не остаются в датасете.
5. Fine-tuning Whisper. Сравниваем частичное и полное дообучение, добавляем шум и прореживание канала, следим за метрикой по контрольным точкам.
6. Проверка на контрольной выборке. Считаем долю ошибок отдельно по доменным терминам: общий показатель может быть высоким, а на нужной лексике модель ошибается чаще всего.
7. Передача модели заказчику. Отдаём веса и конфигурацию, скрипт запуска, паспорт качества и инструкцию по развёртыванию, обучаем команду на её записях.

Отложенная часть формируется до обучения — иначе оценка ничего не доказывает. Новый сценарий в эксплуатации ведёт к возврату на этап разметки и дообучению на нём, без пересборки корпуса.

Артефакты, регламенты и доступы после передачи проекта

Передача проекта не заканчивается демонстрацией работающей модели. Заказчик получает комплект, по которому его инженеры смогут сами запускать распознавание, добавлять новые доменные записи и повторять дообучение — с нами или без нас. Ниже — что физически остаётся в репозитории и внутренней документации.

• Конфигурации обучения и распознавания: разбиение аудио на сегменты, нормализация уровня, размер порции данных, скорость обучения, число эпох — из этих файлов воспроизводится текущее качество модели.
• Схема маршрута обработки: путь записи от загрузки до готового текста — где хранится аудио, на каком шаге идёт подготовка, кто и когда видит расшифровку.
• Политики доступа к записям: роли, сроки хранения, правила обезличивания, журнал обращений к аудио и результатам распознавания.
• Документация по модели: доменный словарь и правила замен, метрики на отложенной выборке, перечень предсказуемых ошибок и ограничений по типам речи.
• Регламент повторного дообучения: как собрать новый корпус, как убедиться, что качество не просело на прежних сценариях, при каких условиях обновление откатывается.
• Набор проверочных записей и скрипт сравнения: прогон занимает минуты и показывает падение качества до выката в продуктив.
• Инструкция по эксплуатации: запуск, остановка, обновление словаря, реакция на типовые сбои — на уровне дежурного инженера, без обращения к авторам модели.

Каждый пункт проверяем: комплект принимается по чек-листу, и по нему же можно провести приёмку силами внутренней команды.

Кейс: поддержка распознавания узких терминов до и после

Контакт-центр с плотной доменной лексикой: названия тарифов, юридические оговорки, редкие топонимы и артикулы. Базовая Whisper уверенно писала общую речь, но на терминах давала звуковые подстановки — тариф превращался в похожее по звучанию слово, и расшифровка теряла юридический смысл. Редакторы переслушивали такие фрагменты вручную, и правка съедала больше времени, чем сам разбор обращения.

Что измеряли и на чём сравнивали

Собрали контрольную выборку — 38 часов записей, стратифицированных по каналам связи, темпу речи, акценту и уровню шума. Эти записи не попали ни в обучение, ни в настройку модели, поэтому сравнение «до» и «после» шло на одних и тех же дорожках и не подменялось запоминанием материала.

Что изменилось после дообучения

• Доля неверно распознанных слов: 19,4 % → 6,1 %; на терминах из корпоративного справочника — 34 % → 8 %.
• Расшифровки, ушедшие заказчику без ручной правки: 12 % → 58 %.
• Время правки на час записи: 26 минут → 9 минут.
• Повторные прослушивания спорных фрагментов сократились примерно втрое.

Основа результата — доменный корпус: около 120 часов расшифрованных диалогов, приведённых к единой разметке, плюс словарь редких названий и правила нормализации чисел. Обучение шло с сохранением общей ветви модели, поэтому на разговорной речи без терминов качество не просело — регрессию проверяли отдельным набором бытовых записей.

Чем fine-tuning Whisper отличается от словаря подсказок?

Словарь подсказок работает на этапе декодирования: список терминов и контекстных фраз смещает вероятности при выборе очередного токена. Он помогает, когда модель слышит слово верно, но записывает его иначе — латиницей, слитно, не тем регистром. Акустику подсказка не меняет: если звук разобран неверно, она лишь заставит увереннее выбрать неверный вариант.

Границы постобработки проходят там, где ошибку можно описать правилом на тексте: замена устойчивых сочетаний, нормализация чисел, дат и единиц измерения, разметка реплик по паузам. Пока сбой систематичен и воспроизводится в тексте, этот путь дешевле и быстрее. Но когда правил становится много, они начинают конфликтовать между собой, ложные срабатывания ломают корректные фрагменты, а омофоны разводятся только по смыслу — которого у правила нет. Это и есть ограничение словаря подсказок: он не различает звук, он угадывает написание.

Дообучение нужно, когда ошибки акустические: доменная лексика, непривычное произношение, акцент диктора, узкий канал записи, имена и названия, которые модель устойчиво путает с близкими по звучанию словами. Здесь меняется сама модель — ей показывают пары «аудио — точная расшифровка» на записях вашего домена, и она перестраивает внутренние представления звука.

На практике выбор делают по замеру: на доменном наборе считают долю ошибок в словах и смотрят, какая часть приходится на написание, а какая — на распознавание. Первое закрывают словарём и правилами, второе — только fine-tuning Whisper. Порядок обычно такой: сначала выжать постобработку, затем дообучить остаток — иначе модель будет учиться тому, что уже лечится текстом.

Технические сомнения: сбои, объёмы, безопасность данных

Инженерные сомнения вокруг дообучения модели распознавания речи обычно сводятся к четырём: сколько данных реально нужно, что делать с уже развёрнутым контуром, как защитить аудиоматериалы и не деградирует ли качество со временем. Ниже — как мы отвечаем на каждое.

У нас уже развёрнута модель — её придётся переобучать с нуля?

Нет. Адаптеры обучаются поверх текущей модели, базовые веса остаются нетронутыми — это дешевле и не ломает то, что уже работает. Новая версия сначала идёт в теневой режим: обрабатывает тот же поток параллельно, мы сравниваем долю ошибок на эталонном наборе и только потом переключаем трафик. Откат — возврат на предыдущую контрольную точку.

Как защищаются аудиоматериалы заказчика?

Записи обезличиваются до обучения: вырезаются персональные данные, при необходимости меняется тембр при сохранении фонетики. Данные хранятся в вашем контуре, доступ — по ролям и только у инженеров на задаче, срок хранения фиксируется регламентом. После сдачи корпус удаляется по акту, если это условие заказчика.

Что с деградацией качества распознавания со временем?

Речь меняется: приходят новые термины, продукты, имена. Мы держим мониторинг доли уверенных распознаваний и ежемесячный прогон на эталонном наборе — расхождение сигналит о дрейфе раньше, чем его заметят пользователи. Дообучение на свежих записях возвращает метрики без полной пересборки контура.

Опишите свой сценарий — вернёмся с оценкой объёма корпуса и планом работ.

Обсудим вашу задачу: что нужно от вас для старта

Чтобы вернуться с оценкой и планом проекта, а не с общими соображениями, нам нужен короткий технический контекст. Дообучение Whisper под доменную речь (fine-tuning) упирается не в выбор архитектуры, а в репрезентативность данных: запись студийной начитки не покажет, как модель поведёт себя на шумном канале. Чем раньше мы увидим реальную речь, тем точнее назовём объём работ и метрику приёмки.

Обсудить задачу распознавания удобнее по такому набору:

• Примеры записей из рабочего канала — 20–60 минут на каждый сценарий, как есть: с шумом, перекрытиями, разной громкостью, без предварительной очистки и монтажа.
• Расшифровки к части записей — эталон, по которому мы посчитаем долю ошибок до и после дообучения и покажем эффект в цифрах.
• Словарь терминов заказчика: аббревиатуры, артикулы, названия, топонимы и то, как их произносят вслух — часто именно они дают основную часть ошибок.
• Сценарии использования: кто говорит, в какой обстановке и что делает с текстом дальше — поиск, протокол, выгрузка в учётную систему.
• Ограничения среды: закрытый контур без доступа наружу, пакетная расшифровка архивов или обработка в момент разговора, требования к хранению записей.
• Текущее качество и то, что уже пробовали: где именно сыпется распознавание — имена, числа, профессиональный жаргон, смешение языков.
• Ответственный с вашей стороны: кто подтверждает словарь и принимает результат по согласованной метрике.

С этим набором мы вернёмся с планом: объём и состав данных, схема дообучения, способ проверки на отложенной выборке и порядок внедрения. Опишите задачу — уточним детали и дадим оценку.