Whisper fine-tuning: де ламається розпізнавання доменного мовлення
Базова модель навчена на широкому масиві побутового мовлення: диктування, листування, лекції, подкасти.
На галузевому матеріалі вона не «не чує» — вона впевнено підставляє близькі за звучанням загальновживані слова замість термінів, а на абревіатурах і латинських найменуваннях втрачає структуру фрази цілком.
Помилки у вузьких термінах розподілені нерівномірно: що рідше слово траплялося в навчальному масиві, то вищий шанс підміни. Але розшифрування потрібне саме заради цих слів — позначення деталей, артикули, назви препаратів, юридичні формулювання.
Якість розшифрування записів при цьому виглядає прийнятною в середньому: зведена метрика по всьому тексту в нормі, а критичні фрагменти фахівець переслуховує вручну, бо довіряти їм не можна.
Другий шар — акустика. Записи з шумних приміщень, далекий мікрофон, кілька мовців, регіональні акценти й злитне мовлення дають ту саму картину: модель згладжує початки й закінчення слів, склеює репліки та неправильно розставляє межі сегментів.
Саме тут доменний Whisper fine-tuning дає найбільший виграш: розпізнавання доменного мовлення налаштовується на реальний звук, а не на студійний еталон.
Розбираємо, як це закривається: доменний корпус записів, словник замін для термінів і імен, аугментація шумом та оцінювання за часткою помилок саме в галузевих словах, а не за середнім по тексту.
Ефект донавчання: менше помилок у термінах і шумі
Вимірювання ефекту робимо на відкладеній вибірці — записах, які не потрапили в навчання. Інакше метрика показує запам'ятовування корпусу, а не узагальнення.
Порівнюємо частку помилок на побутовому й доменному мовленні: розрив між цими цифрами — та частина, яку закриває донавчання моделі розпізнавання мовлення.
Основний виграш — на галузевій лексиці. Базова Whisper на довгих складених термінах, абревіатурах і латиниці всередині російської фрази підставляє близькі за звучанням слова.
Після донавчання такі підстановки зникають: модель збирає термін цілком, а зниження частки помилок відбувається нерівномірно — на загальному тексті на одиниці відсотків, на профільному помітно сильніше.
Стійкість до шуму й акценту зростає завдяки різноманіттю записів. Якщо в корпус потрапили цех, вулиця, розмова через гарнітуру та кілька дикторів із різною манерою мовлення, модель перестає «сипатися» на одному типі умов.
Це важливіше за середню точність: система залишається робочою там, де запис початково далекий від студійного.
Практичний підсумок — не лише частка помилок, а й обсяг ручної правки. Дивимося на частку сегментів, які редактор залишає без змін, і розподіл правок за типами. Найчастіше зникає клас помилок із підстановкою термінів — саме він з'їдає найбільше часу під час вичитки. Залишаються пунктуація та власні назви, яких не було в навчальних даних.
Локальні правки, словник підказок і донавчання: що вибрати
Доменне мовлення ламає модель неоднаково: десь акустика збігається, а розходяться лише написання термінів і абревіатур, десь змінюється сам патерн — злитий темп диспетчера, латиниця всередині російської фрази, вузькосмуговий мікрофон.
Тому адаптацію будують за шарами й обирають за джерелом помилки, а не за зовнішньою солідністю способу.
Відправна точка — вимірювання: розшифрувати контрольну вибірку, розмітити помилки й поділити їх на акустичні та орфографічні. Співвідношення цих груп і показує, який шар дасть віддачу.
| Варіант | Коли підходить | Обмеження |
|---|---|---|
| Постобробка розшифрувань | Помилки передбачувані й зводяться до написання: терміни, артикули, імена | Акустику не лікує: якщо слово розчуте неправильно, правило безсиле. Зростає кількість правил і хибних спрацьовувань |
| Словник термінів і підказки | Довгий список назв і абревіатур, який змінюється без перезбирання моделі | Утримує лише близькі за звучанням слова; перевантажений словник розмиває увагу й ронить точність на решті мовлення |
| Донавчання на корпусі записів | Акустика домену стійка, є розмічені години записів із текстом | Потрібні корпус і розмітка, ризик перенавчання на вузький сценарій; потрібен повторюваний контур навчання |
| Поєднання шарів | Домен живий: словник — під нові терміни, донавчання — під акустику, постобробка — під формат видачі | Дорожче в підтримці: шари версіонуються й перевіряються разом, правка одного ламає метрики іншого |
Що вибирають на практиці
Постобробка й словник дають віддачу за переважання орфографічних помилок: правки живуть у конвеєрі й не потребують перезбирання моделі.
Донавчання Whisper беруть за стійких акустичних помилок і наявності розміченого корпусу: ваги підлаштовуються під домен, але разом із ними з'являється обов'язок зберігати корпус, тримати повторюваний контур навчання й метрики на контрольній вибірці.
Без цього відкат на базову версію неможливий, а деградація на загальному мовленні проявляється непомітно.
Етапи проєкту: від аудиту записів до передачі моделі
Маршрут від архіву записів до моделі в експлуатації розбитий на етапи з вимірюваними критеріями приймання. Якщо показник на контрольній вибірці не покращується, повертаємося на крок назад — зазвичай до схеми розмітки.
- Аудит архіву записів. Слухаємо вибірку, рахуємо сумарну тривалість, частку чистих каналів, типи шуму й накладання мовлення. Підсумок — карта даних: яких сценаріїв не вистачає для навчання.
- Схема розмітки й глосарій. Фіксуємо правила транскрибування, написання абревіатур і імен, щоб анотатори не розходилися в спірних місцях.
- Підготовка корпусу. Приводимо записи до єдиного формату, ріжемо за паузами, прибираємо дублі й ділимо масив на навчальну, валідаційну та відкладену частини.
- Розмітка аудіо. Контрольну частку розшифрувань перевіряє другий анотатор; розбіжності повертаються в глосарій, а не залишаються в датасеті.
- Fine-tuning Whisper. Порівнюємо часткове й повне донавчання, додаємо шум і проріджування каналу, стежимо за метрикою за контрольними точками.
- Перевірка на контрольній вибірці. Рахуємо частку помилок окремо за доменними термінами: загальний показник може бути високим, а на потрібній лексиці модель помиляється найчастіше.
- Передача моделі замовнику. Віддаємо ваги й конфігурацію, скрипт запуску, паспорт якості та інструкцію з розгортання, навчаємо команду на її записах.
Відкладена частина формується до навчання — інакше оцінка нічого не доводить. Новий сценарій в експлуатації веде до повернення на етап розмітки й донавчання на ньому, без перезбирання корпусу.
Артефакти, регламенти й доступи після передачі проєкту
Передача проєкту не закінчується демонстрацією працюючої моделі. Замовник отримує комплект, за яким його інженери зможуть самі запускати розпізнавання, додавати нові доменні записи й повторювати донавчання — з нами чи без нас. Нижче — що фізично залишається в репозиторії та внутрішній документації.
- Конфігурації навчання й розпізнавання: розбиття аудіо на сегменти, нормалізація рівня, розмір порції даних, швидкість навчання, число епох — із цих файлів відтворюється поточна якість моделі.
- Схема маршруту обробки: шлях запису від завантаження до готового тексту — де зберігається аудіо, на якому кроці йде підготовка, хто і коли бачить розшифрування.
- Політики доступу до записів: ролі, строки зберігання, правила знеособлення, журнал звернень до аудіо та результатів розпізнавання.
- Документація щодо моделі: доменний словник і правила замін, метрики на відкладеній вибірці, перелік передбачуваних помилок і обмежень за типами мовлення.
- Регламент повторного донавчання: як зібрати новий корпус, як переконатися, що якість не просіла на попередніх сценаріях, за яких умов оновлення відкочується.
- Набір перевірочних записів і скрипт порівняння: прогін займає хвилини й показує падіння якості до викочування в продуктив.
- Інструкція з експлуатації: запуск, зупинка, оновлення словника, реакція на типові збої — на рівні чергового інженера, без звернення до авторів моделі.
Кожен пункт перевіряємо: комплект приймається за чек-лістом, і за ним самим можна провести приймання силами внутрішньої команди.
Кейс: підтримка розпізнавання вузьких термінів до і після
Контакт-центр із щільною доменною лексикою: назви тарифів, юридичні застереження, рідкісні топоніми й артикули.
Базова Whisper впевнено писала загальне мовлення, але на термінах давала звукові підстановки — тариф перетворювався на схоже за звучанням слово, і розшифрування втрачало юридичний сенс.
Редактори переслуховували такі фрагменти вручну, і правка з'їдала більше часу, ніж сам розбір звернення.
Що вимірювали й на чому порівнювали
Зібрали контрольну вибірку — 38 годин записів, стратифікованих за каналами зв'язку, темпом мовлення, акцентом і рівнем шуму.
Ці записи не потрапили ні в навчання, ні в налаштування моделі, тому порівняння «до» і «після» йшло на одних і тих самих доріжках і не підмінялося запам'ятовуванням матеріалу.
Що змінилося після донавчання
- Частка неправильно розпізнаних слів: 19,4 % → 6,1 %; на термінах із корпоративного довідника — 34 % → 8 %.
- Розшифрування, що пішли замовнику без ручної правки: 12 % → 58 %.
- Час правки на годину запису: 26 хвилин → 9 хвилин.
- Повторні прослуховування спірних фрагментів скоротилися приблизно втричі.
Основа результату — доменний корпус: близько 120 годин розшифрованих діалогів, приведених до єдиної розмітки, плюс словник рідкісних назв і правила нормалізації чисел.
Навчання йшло зі збереженням загальної гілки моделі, тому на розмовному мовленні без термінів якість не просіла — регресію перевіряли окремим набором побутових записів.
Чим fine-tuning Whisper відрізняється від словника підказок?
Словник підказок працює на етапі декодування: список термінів і контекстних фраз зсуває ймовірності під час вибору чергового токена. Він допомагає, коли модель чує слово правильно, але записує його інакше — латиницею, разом, не тим регістром.
Акустику підказка не змінює: якщо звук розібрано неправильно, вона лише змусить упевненіше вибрати неправильний варіант.
Межі постобробки проходять там, де помилку можна описати правилом на тексті: заміна сталих сполучень, нормалізація чисел, дат і одиниць вимірювання, розмітка реплік за паузами. Поки збій систематичний і відтворюється в тексті, цей шлях дешевший і швидший.
Але коли правил стає багато, вони починають конфліктувати між собою, хибні спрацьовування ламають коректні фрагменти, а омофони розводяться лише за змістом — якого в правила немає. Це і є обмеження словника підказок: він не розрізняє звук, він вгадує написання.
Донавчання потрібне, коли помилки акустичні: доменна лексика, незвичне вимовляння, акцент диктора, вузький канал запису, імена й назви, які модель стійко плутає з близькими за звучанням словами.
Тут змінюється сама модель — їй показують пари «аудіо — точне розшифрування» на записах вашого домену, і вона перебудовує внутрішні уявлення звуку.
На практиці вибір роблять за вимірюванням: на доменному наборі рахують частку помилок у словах і дивляться, яка частина припадає на написання, а яка — на розпізнавання. Перше закривають словником і правилами, друге — лише fine-tuning Whisper.
Порядок зазвичай такий: спочатку вижати постобробку, потім донавчити залишок — інакше модель буде вчитися того, що вже лікується текстом.
Технічні сумніви: збої, обсяги, безпека даних
Інженерні сумніви навколо донавчання моделі розпізнавання мовлення зазвичай зводяться до чотирьох: скільки даних реально потрібно, що робити з уже розгорнутим контуром, як захистити аудіоматеріали й чи не деградує якість із часом. Нижче — як ми відповідаємо на кожен.
Скільки годин записів потрібно, щоб модель вивчила доменну лексику?
Поріг залежить від відстані між загальним мовленням і вашим доменом. Для термінології та акценту зазвичай достатньо 10–40 годин чистого мовлення з точною розміткою: далі віддача падає, а ризик перенавчання зростає.
Якщо записів менше, починаємо з аугментації та підмішування синтетики, а якість міряємо на відкладеній вибірці — її не використовуємо під час навчання в жодному запуску.
У нас уже розгорнута модель — її доведеться перенавчати з нуля?
Ні. Адаптери навчаються поверх поточної моделі, базові ваги залишаються незмінними — це дешевше й не ламає те, що вже працює.
Нова версія спочатку йде в тіньовий режим: обробляє той самий потік паралельно, ми порівнюємо частку помилок на еталонному наборі й лише потім перемикаємо трафік. Відкат — повернення на попередню контрольну точку.
Як захищаються аудіоматеріали замовника?
Записи знеособлюються до навчання: вирізаються персональні дані, за потреби змінюється тембр зі збереженням фонетики. Дані зберігаються у вашому контурі, доступ — за ролями й лише в інженерів на задачі, строк зберігання фіксується регламентом. Після здачі корпус видаляється за актом, якщо це умова замовника.
Що з деградацією якості розпізнавання з часом?
Мовлення змінюється: приходять нові терміни, продукти, імена. Ми тримаємо моніторинг частки впевнених розпізнавань і щомісячний прогін на еталонному наборі — розходження сигналізує про дрейф раніше, ніж його помітять користувачі. Донавчання на свіжих записах повертає метрики без повного перезбирання контуру.
Опишіть свій сценарій — повернемося з оцінкою обсягу корпусу та планом робіт.
Обговоримо вашу задачу: що потрібно від вас для старту
Щоб повернутися з оцінкою та планом проєкту, а не із загальними міркуваннями, нам потрібен короткий технічний контекст.
Донавчання Whisper під доменне мовлення (fine-tuning) упирається не у вибір архітектури, а в репрезентативність даних: запис студійної начитки не покаже, як модель поведеться на шумному каналі. Що раніше ми побачимо реальне мовлення, то точніше назвемо обсяг робіт і метрику приймання.
Обговорити задачу розпізнавання зручніше за таким набором:
- Приклади записів із робочого каналу — 20–60 хвилин на кожен сценарій, як є: із шумом, перекриттями, різною гучністю, без попереднього очищення й монтажу.
- Розшифрування до частини записів — еталон, за яким ми порахуємо частку помилок до й після донавчання та покажемо ефект у цифрах.
- Словник термінів замовника: абревіатури, артикули, назви, топоніми й те, як їх вимовляють уголос — часто саме вони дають основну частину помилок.
- Сценарії використання: хто говорить, у якій обстановці й що робить із текстом далі — пошук, протокол, вивантаження в облікову систему.
- Обмеження середовища: закритий контур без доступу назовні, пакетне розшифрування архівів або обробка в момент розмови, вимоги до зберігання записів.
- Поточна якість і те, що вже пробували: де саме сиплеться розпізнавання — імена, числа, професійний жаргон, змішування мов.
- Відповідальний з вашого боку: хто підтверджує словник і приймає результат за узгодженою метрикою.
З цим набором ми повернемося з планом: обсяг і склад даних, схема донавчання, спосіб перевірки на відкладеній вибірці та порядок впровадження. Опишіть задачу — уточнимо деталі й дамо оцінку.
