Дообучение Whisper под доменную лексику заказчика

Дообучение Whisper: где готовая модель ошибается на домене

Готовая модель распознавания обучена на усреднённой речи: чистая студийная запись, нейтральная лексика, литературная норма. В домене заказчика всё иначе — термины, аббревиатуры, названия изделий и артикулы, которых в обучающем наборе не было. Языковая часть модели уверенно «дописывает» знакомое слово вместо услышанного, и в тексте остаётся правдоподобная, но неверная формулировка.

Классы сбоев повторяются из раза в раз. Отраслевой термин подменяется бытовым, аббревиатура раскрывается наугад, латинское название изделия превращается в набор букв. Отдельный случай — смешение языков: одна английская фраза внутри русской реплики переключает модель, и она переводит остаток.

Шумные записи добавляют второй слой ошибок. На материале из цеха, салона или открытого офиса модель хуже режет реплики, теряет окончания и склеивает слова соседних говорящих. Здесь дообучение whisper даёт наибольший прирост: у модели появляется доменный словарь и устойчивость к неидеальному звуку.

Цена ошибок не в одной строке. Неверный термин ломает поиск по архиву, рушит автоматическую выгрузку в отчёт и заставляет редактора прослушивать запись заново. Поэтому доля строк, которые правят руками, растёт вместе с плотностью отраслевой лексики.

Дальше — из-за чего именно универсальная модель спотыкается на домене и как распознавание отраслевой лексики закрывается: свой словарь, дообучение на ваших записях и замер ошибок транскрибации до и после.

Что даёт адаптация модели: измеримые изменения

Базовая модель обучена на общей речи и на доменной лексике ошибается предсказуемо: аббревиатуры, названия изделий, артикулы и фамилии она подменяет близкими по звучанию словами. Ошибки не размазаны по тексту — они концентрируются в одном классе терминов, и именно на них уходит основное время правки. После дообучения Whisper на размеченных записях заказчика меняются измеримые величины, а не «качество в целом».

Что фиксируем до и после — на отложенной выборке из тех же записей:

• Доля верно распознанных терминов — растёт с 70–80% до 95%+ на словаре, который раньше правили руками.
• Время правки расшифровки — сокращается с 30–40 до 5–10 минут на час записи: редактор проверяет смысл, а не угадывает слова.
• Доля ошибок на редкой лексике — уходит как класс: похожие по звучанию термины перестают путаться между собой.
• Ошибки в цифрах и артикулах — падают до уровня, при котором достаточно выборочной проверки.
• Объём ручной вычитки — сокращается в разы, и её можно поручать корректору, а не профильному специалисту.
• Устойчивость на плохих дорожках — записи с шумом, акцентом и перебиванием дают ту же точность, что и чистые.

Метрики снимаем на выборке, которую модель не видела при обучении: иначе прирост остаётся в отчёте, а не в работе. Отдельно считаем, сколько терминов из словаря заказчика осталось проблемными, — этот список становится планом следующей итерации.

Подходы к дообучению Whisper: сравнение режимов

Адаптация распознавателя под доменную лексику редко начинается с переподготовки. Сначала проверяют настройку декодирования и словари-подсказки: они не меняют веса модели и отключаются одной строкой конфигурации. Если доля ошибок в словах остаётся высокой на диктовке с акцентом или на записи из шумного помещения, нужен другой рычаг — и он уже требует размеченных часов домена и своего контура проверки.

Как выбираем режим

Решение определяется структурой ошибок, а не размером модели. Если распознаватель слышит слово верно, но подставляет не тот термин, хватает декодирования; если слышит неверно на всём домене — нужна работа со звуком. Смешанная картина, типичная для лексики из нескольких языков, закрывается гибридом: словарь снимает редкие формы, донастройка звука вытягивает частотные.

Этапы работы: от аудита записей до сдачи модели

Процесс строим вокруг одного принципа: любое изменение модели подтверждается цифрами на записях, которых она не видела. Поэтому дообучение Whisper начинается не с запуска обучения, а с разбора текущего качества и подготовки корпуса — иначе непонятно, стало ли лучше и за счёт чего.

1. Разбор текущего качества. Прогоняем записи заказчика через базовую модель, считаем долю ошибок по значимым терминам и размечаем типовые провалы: сленг, аббревиатуры, названия изделий, фоновый шум, слитная речь.
2. Сбор аудиокорпуса. Отбираем записи по сценариям — телефонная линия, микрофон в помещении, встречи, — и добираем недостающее: короткие реплики, редкие слова, разные дикторы.
3. Разметка аудиокорпуса. Расшифровка с контролем качества: единый глоссарий терминов, согласованные правила для цифр, имён и латиницы, выборочная перепроверка спорных фрагментов вторым инженером.
4. Схема адаптации. Определяем, что настраиваем — лексику домена, акустику канала или оба направления сразу, — и фиксируем словарь терминов, чтобы модель не «плыла» на знакомых словах.
5. Обучение и итерации. Прогоняем серии на размеченном корпусе, держим в смеси записи общего домена против переобучения и после каждой серии замеряем результат.
6. Проверка на отложенной выборке. Набор записей, не участвовавших в обучении, показывает реальный прирост по терминам и типовым фразам, а не по знакомым примерам.
7. Приёмка качества и передача. Согласуем критерий приёмки по сценариям заказчика, передаём конфигурации, инструкцию запуска и порядок дообучения на новых записях.

Критерий приёмки — не усреднённая разборчивость, а доля верно распознанных терминов и команд на отложенных данных. Такой замер видно на конкретных примерах: раньше термин распознавался как похожее слово, теперь — корректно, даже на шумной записи.

Что передаём на руки: артефакты и регламенты

Передача — не архив с весами, а рабочая связка: модель, доменный словарь и правила нормализации, по которым она готовит текст. Ниже — что именно остаётся у вас в контуре и по каким документам это поддерживается.

• Настроенная модель после дообучения на Whisper с отчётом по качеству: доля ошибок на контрольной выборке записей до и после, разбивка по типам лексики — термины, аббревиатуры, имена собственные.
• Доменный словарь в редактируемом формате: термины, сокращения, названия продуктов и должностей, правила транслитерации. Ваш специалист правит его без обращения к нам.
• Правила нормализации: как приводятся числа, даты, единицы измерения и обращения, что намеренно сохраняется как в речи — чтобы расшифровки читались одинаково во всех системах.
• Схемы развёртывания: где живёт модель, какие каналы доступа, как выкатывается новая сборка без остановки сервиса и как откатиться на предыдущую.
• Политики доступа к данным: кто из сотрудников видит записи и расшифровки, сроки хранения, обезличивание перед обучением, журнал обращений к архиву.
• Документация на модель: карточка модели, границы применимости, известные слабые места, инструкция по запуску и диагностике типовых сбоев.
• Регламент обновления словаря: кто приносит новые термины, с какой периодичностью, как проверяем, что обновление не ухудшило качество на контрольном наборе.

Регламенты пишем под ваши процессы, а не под удобство команды: обновление словаря и переобучение вы сможете проводить сами, а мы остаёмся на поддержке изменений. Опишите задачу — вернёмся с составом артефактов и планом передачи.

Кейс: как изменилось распознавание отраслевых терминов

Заказчик — сервисная компания с распределённой службой поддержки: разговоры с клиентами записывались годами, но извлекать из архива смысл было нечем. Отраслевая лексика — артикулы, аббревиатуры, названия узлов и моделей оборудования — базовой модели Whisper давалась плохо: вместо термина она выдавала созвучное общеупотребительное слово, и реплика теряла смысл.

Что показывали замеры до дообучения

На контрольной выборке из архива доля верно распознанных отраслевых терминов держалась около 62%, причём ошибки были системными: одни и те же названия узлов распознавались неверно в девяти случаях из десяти. Обработка архива записей шла медленно — расшифровка суток аудио занимала почти двое суток, поэтому разбор обращений отставал на недели, а спорные фрагменты операторы разбирали вручную.

Что изменили и что получилось

Мы собрали словарь отраслевых терминов и вариантов их произношения, отобрали записи с выверенной расшифровкой и дообучили модель на этом корпусе. Подсказки словаря подключили на этапе распознавания, а качество замеряли на отложенной части архива, которая не участвовала в обучении, — чтобы метрика отражала реальную точность на домене, а не подгонку под обучающие примеры.

Доля верных терминов на той же контрольной выборке выросла до 94%, а на записях с сильным фоновым шумом — до 88%: модель перестала путать названия узлов между собой. Расшифровка суток аудио сократилась до нескольких часов, а доля записей с ручной правкой упала с трети до одной десятой — операторы занимаются разбором обращений, а не вычиткой текста.

Чем адаптация модели отличается от словарей и постобработки?

Внешние правки работают поверх результата распознавания: словари подсказок смещают выбор модели на этапе декодирования, а постобработка текста меняет уже готовую строку — замена по правилам, поиск по справочнику терминов. Сама модель при этом не меняется: настраивается не то, как она слышит, а то, что мы делаем с её ответом.

Пределы внешних правок видны там, где ошибка зависит от смысла фразы. Правило работает со строкой и не знает, о чём речь: термин, верный в одном предложении, ошибочен в соседнем, поэтому замена по правилам либо срабатывает всегда, либо никогда. Различить случаи можно только по окружению, которого у правила нет.

Второй предел — накопление исключений. Правила добавляются точечно, потом начинают пересекаться, порядок применения становится значимым, а ложные срабатывания появляются там, где текст распознавался верно. Сопровождение такого списка растёт быстрее словаря терминов.

Третий предел — утраченная информация. Если близкие по звучанию термины не различаются акустически, подсказка лишь повышает вероятность нужного варианта, но не восстанавливает пропущенное. Постобработка здесь опаснее: она может заменить верное слово на неверное — незаметно.

Дообучение Whisper на доменной лексике сдвигает само распределение: модель различает термины по звучанию и контексту, а не по списку исключений, и уверенно работает на формулировках, которых в правилах не было. Внешние правки остаются, но уже для нормализации формата, а не как основной механизм точности.

Технические сомнения: данные, качество, поддержка

Главное сомнение по дообучению Whisper — «у нас нет тысяч часов записей». Доменной адаптации столько и не нужно: работают 3-5 часов чистой речи с точной транскрипцией, где размечены именно термины, аббревиатуры и названия продуктов, плюс текстовый словарь лексики. Качество разметки весит больше объёма — час выверенного текста даёт больший прирост на доменных словах, чем десять часов «примерной» расшифровки.

Второй риск — модель потеряет понимание обычной речи. Поэтому мы не перестраиваем её целиком, а дообучаем небольшой надстраиваемый слой поверх базовой модели. В каждый прогон входит контрольный набор общей речи: если доля ошибок на нём выходит за согласованный порог, обновление не принимается, даже когда доменные метрики выросли.

Обновление лексики — регулярная процедура, а не разовая работа. Появляются новые термины: собираем записи, где распознавание ошиблось, доразмечаем, прогоняем короткое дообучение и сверяем с контрольными наборами. Всё внутри вашего закрытого контура — записи, разметка и обучение не покидают инфраструктуру, наружу уходят только веса и метрики качества.

Что если качество на обычной речи всё же просядет?

Мы храним базовую модель нетронутой, поэтому откат — это переключение на неё, без переобучения. Каждый выпуск сопровождается сравнением на общем и доменном наборах, так что просадка видна до ввода в работу, а не после.

Как часто обновлять модель под новую лексику?

Обычно раз в квартал или по накоплению заметного числа ошибок на новых терминах. Цикл короткий: собрать спорные записи, доразметить, дообучить слой, проверить на контрольных наборах и выпустить.

Обсудим вашу задачу и вернёмся с планом адаптации

Первый разбор занимает одну встречу и идёт по вашим данным, а не по общим презентациям. Вы описываете задачу: откуда записи, сколько часов аудио, какие термины, аббревиатуры и названия продуктов модель сейчас искажает. Отдельно смотрим, как ваши специалисты правят расшифровки вручную — эти правки и становятся разметкой, по которой считается качество.

Со стороны заказчика нужны образцы реальных записей с проверенными текстами, перечень доменной лексики и доступ к среде, где будет крутиться дообученная модель. Дальше мы отдаём документ, по которому можно принимать решение без дополнительных уточнений.

• Оценка проекта: сколько часов аудио нужно для дообучения Whisper, сколько итераций закладываем и какое снижение доли ошибок в словах на контрольной выборке считаем результатом.
• Схема подготовки данных: чистка записей, выравнивание по сегментам, разметка терминов, отбор сложных фрагментов в отдельный набор для проверки.
• Порядок работ: этапы, что делаем на каждом, где нужна ваша валидация и на каком шаге можно остановиться без потери уже сделанного.
• План пилотного прогона: дообучаем на вашей лексике, показываем расшифровку контрольных записей рядом с текущим качеством и только после этого запускаем полный цикл.
• Требования к доступам и инфраструктуре: где размещаются аудио, как передаются и как удаляются после обучения.
• Критерии приёмки: набор тестовых записей, метрики и способ их пересчёта вашим инженером.

Опишите задачу и пришлите пару характерных записей — вернёмся с оценкой, схемой и планом работ, включая границы пилотного прогона.