Дообучення Whisper: де готова модель помиляється на домені
Готова модель розпізнавання навчена на усередненому мовленні: чистий студійний запис, нейтральна лексика, літературна норма. У домені замовника все інакше — терміни, абревіатури, назви виробів і артикули, яких у навчальному наборі не було.
Мовна частина моделі впевнено «дописує» знайоме слово замість почутого, і в тексті залишається правдоподібне, але хибне формулювання.
Класи збоїв повторюються раз за разом. Галузевий термін підмінюється побутовим, абревіатура розкривається навмання, латинська назва виробу перетворюється на набір літер.
Окремий випадок — змішування мов: одна англійська фраза всередині української репліки перемикає модель, і вона перекладає залишок.
Шумні записи додають другий шар помилок. На матеріалі з цеху, салону чи відкритого офісу модель гірше ріже репліки, втрачає закінчення й склеює слова сусідніх мовців.
Саме тут дообучення whisper дає найбільший приріст: у моделі з'являється доменний словник і стійкість до недосконалого звуку.
Ціна помилок не в одному рядку. Хибний термін ламає пошук по архіву, руйнує автоматичне вивантаження у звіт і змушує редактора прослуховувати запис заново. Тому частка рядків, які правлять руками, зростає разом із щільністю галузевої лексики.
Далі — через що саме універсальна модель спотикається на домені та як закривається розпізнавання галузевої лексики: власний словник, дообучення на ваших записах і вимірювання помилок транскрибації до й після.
Що дає адаптація моделі: вимірювані зміни
Базова модель навчена на загальному мовленні й на доменній лексиці помиляється передбачувано: абревіатури, назви виробів, артикули й прізвища вона підмінює близькими за звучанням словами.
Помилки не розмазані по тексту — вони концентруються в одному класі термінів, і саме на них іде основний час правки. Після дообучення Whisper на розмічених записах замовника змінюються вимірювані величини, а не «якість загалом».
Що фіксуємо до й після — на відкладеній вибірці з тих самих записів:
- Частка правильно розпізнаних термінів — зростає з 70–80% до 95%+ на словнику, який раніше правили руками.
- Час правки розшифрування — скорочується з 30–40 до 5–10 хвилин на годину запису: редактор перевіряє зміст, а не вгадує слова.
- Частка помилок на рідкісній лексиці — зникає як клас: схожі за звучанням терміни перестають плутатися між собою.
- Помилки в цифрах і артикулах — падають до рівня, за якого достатньо вибіркової перевірки.
- Обсяг ручної вичитки — скорочується в рази, і її можна доручати коректору, а не профільному фахівцю.
- Стійкість на поганих доріжках — записи з шумом, акцентом і перебиванням дають ту саму точність, що й чисті.
Метрики знімаємо на вибірці, яку модель не бачила під час навчання: інакше приріст залишається у звіті, а не в роботі. Окремо рахуємо, скільки термінів зі словника замовника залишилося проблемними, — цей список стає планом наступної ітерації.
Підходи до дообучення Whisper: порівняння режимів
Адаптація розпізнавача під доменну лексику рідко починається з перенавчання. Спершу перевіряють налаштування декодування та словники-підказки: вони не змінюють ваги моделі й вимикаються одним рядком конфігурації.
Якщо частка помилок у словах залишається високою на диктуванні з акцентом або на записі з шумного приміщення, потрібен інший важіль — і він уже вимагає розмічених годин домену та власного контуру перевірки.
| Режим | Коли підходить | Обмеження |
|---|---|---|
| Налаштування декодування, словник термінів і підказки | Вузька лексика: абревіатури, назви, топоніми; записів мало, канал чистий | Не виправляє звукові помилки; словник підтримується вручну; довжина підказки обмежена |
| Адаптація звукової частини | Кілька годин розмічених записів, стабільний канал і мікрофон | Не вивчить незнайомі словоформи; чутлива до якості розмітки |
| Перенавчання на власних даних | Десятки годин розмітки, вузький домен, висока ціна помилки | Довгий цикл; ризик перенавчання та втрати базової якості; потрібна власна перевірка |
| Гібрид: словник плюс доналаштування звуку | Домен зростає, терміни додаються постійно | Два контури підтримки та зв'язок між ними |
Як обираємо режим
Рішення визначається структурою помилок, а не розміром моделі. Якщо розпізнавач чує слово правильно, але підставляє не той термін, достатньо декодування; якщо чує неправильно на всьому домені — потрібна робота зі звуком.
Змішана картина, типова для лексики з кількох мов, закривається гібридом: словник знімає рідкісні форми, доналаштування звуку витягує частотні.
Етапи роботи: від аудиту записів до здачі моделі
Процес будуємо навколо одного принципу: будь-яка зміна моделі підтверджується цифрами на записах, яких вона не бачила.
Тому дообучення Whisper починається не із запуску навчання, а з розбору поточної якості та підготовки корпусу — інакше незрозуміло, чи стало краще і за рахунок чого.
- Розбір поточної якості. Проганяємо записи замовника через базову модель, рахуємо частку помилок за значущими термінами й розмічаємо типові провали: сленг, абревіатури, назви виробів, фоновий шум, злите мовлення.
- Збір аудіокорпусу. Відбираємо записи за сценаріями — телефонна лінія, мікрофон у приміщенні, зустрічі, — і добираємо те, чого бракує: короткі репліки, рідкісні слова, різні диктори.
- Розмітка аудіокорпусу. Розшифрування з контролем якості: єдиний глосарій термінів, узгоджені правила для цифр, імен і латиниці, вибіркова переперевірка спірних фрагментів другим інженером.
- Схема адаптації. Визначаємо, що налаштовуємо — лексику домену, акустику каналу чи обидва напрями одразу, — і фіксуємо словник термінів, щоб модель не «пливла» на знайомих словах.
- Навчання та ітерації. Проганяємо серії на розміченому корпусі, тримаємо в суміші записи загального домену проти перенавчання й після кожної серії заміряємо результат.
- Перевірка на відкладеній вибірці. Набір записів, що не брали участі в навчанні, показує реальний приріст за термінами та типовими фразами, а не за знайомими прикладами.
- Приймання якості та передача. Узгоджуємо критерій приймання за сценаріями замовника, передаємо конфігурації, інструкцію запуску та порядок дообучення на нових записах.
Критерій приймання — не усереднена розбірливість, а частка правильно розпізнаних термінів і команд на відкладених даних. Такий замір видно на конкретних прикладах: раніше термін розпізнавався як схоже слово, тепер — коректно, навіть на шумному записі.
Що передаємо на руки: артефакти та регламенти
Передача — не архів із вагами, а робоча зв'язка: модель, доменний словник і правила нормалізації, за якими вона готує текст. Нижче — що саме залишається у вас у контурі та за якими документами це підтримується.
- Налаштована модель після дообучення на Whisper зі звітом щодо якості: частка помилок на контрольній вибірці записів до й після, розбивка за типами лексики — терміни, абревіатури, власні назви.
- Доменний словник у редагованому форматі: терміни, скорочення, назви продуктів і посад, правила транслітерації. Ваш фахівець править його без звернення до нас.
- Правила нормалізації: як наводяться числа, дати, одиниці вимірювання та звертання, що навмисно зберігається як у мовленні — щоб розшифрування читалися однаково в усіх системах.
- Схеми розгортання: де живе модель, які канали доступу, як викочується нова збірка без зупинки сервісу й як відкотитися на попередню.
- Політики доступу до даних: хто зі співробітників бачить записи та розшифрування, терміни зберігання, знеособлення перед навчанням, журнал звернень до архіву.
- Документація на модель: картка моделі, межі застосовності, відомі слабкі місця, інструкція із запуску та діагностики типових збоїв.
- Регламент оновлення словника: хто приносить нові терміни, з якою періодичністю, як перевіряємо, що оновлення не погіршило якість на контрольному наборі.
Регламенти пишемо під ваші процеси, а не під зручність команди: оновлення словника й перенавчання ви зможете проводити самі, а ми залишаємося на підтримці змін. Опишіть задачу — повернемося зі складом артефактів і планом передачі.
Кейс: як змінилося розпізнавання галузевих термінів
Замовник — сервісна компанія з розподіленою службою підтримки: розмови з клієнтами записувалися роками, але витягти з архіву сенс не було чим.
Галузева лексика — артикули, абревіатури, назви вузлів і моделей обладнання — базовій моделі Whisper давалася погано: замість терміна вона видавала співзвучне загальновживане слово, і репліка втрачала сенс.
Що показували заміри до дообучення
На контрольній вибірці з архіву частка правильно розпізнаних галузевих термінів трималася близько 62%, причому помилки були системними: ті самі назви вузлів розпізнавалися неправильно в дев'яти випадках із десяти.
Обробка архіву записів ішла повільно — розшифрування доби аудіо займало майже дві доби, тому розбір звернень відставав на тижні, а спірні фрагменти оператори розбирали вручну.
Що змінили і що вийшло
Ми зібрали словник галузевих термінів і варіантів їхньої вимови, відібрали записи з вивіреним розшифруванням і дообучили модель на цьому корпусі.
Підказки словника підключили на етапі розпізнавання, а якість заміряли на відкладеній частині архіву, яка не брала участі в навчанні, — щоб метрика відображала реальну точність на домені, а не підгонку під навчальні приклади.
Частка правильних термінів на тій самій контрольній вибірці зросла до 94%, а на записах із сильним фоновим шумом — до 88%: модель перестала плутати назви вузлів між собою.
Розшифрування доби аудіо скоротилося до кількох годин, а частка записів із ручною правкою впала з третини до однієї десятої — оператори займаються розбором звернень, а не вичиткою тексту.
Чим адаптація моделі відрізняється від словників і постобробки?
Зовнішні правки працюють поверх результату розпізнавання: словники підказок зміщують вибір моделі на етапі декодування, а постобробка тексту змінює вже готовий рядок — заміна за правилами, пошук за довідником термінів.
Сама модель при цьому не змінюється: налаштовується не те, як вона чує, а те, що ми робимо з її відповіддю.
Межі зовнішніх правок видно там, де помилка залежить від змісту фрази. Правило працює з рядком і не знає, про що йдеться: термін, правильний в одному реченні, хибний у сусідньому, тому заміна за правилами або спрацьовує завжди, або ніколи. Розрізнити випадки можна лише за оточенням, якого в правила немає.
Друга межа — накопичення винятків. Правила додаються точково, потім починають перетинатися, порядок застосування стає значущим, а хибні спрацьовування з'являються там, де текст розпізнавався правильно. Супровід такого списку зростає швидше за словник термінів.
Третя межа — втрачена інформація. Якщо близькі за звучанням терміни не розрізняються акустично, підказка лише підвищує ймовірність потрібного варіанта, але не відновлює пропущене. Постобробка тут небезпечніша: вона може замінити правильне слово на неправильне — непомітно.
Дообучення Whisper на доменній лексиці зсуває сам розподіл: модель розрізняє терміни за звучанням і контекстом, а не за списком винятків, і впевнено працює на формулюваннях, яких у правилах не було. Зовнішні правки залишаються, але вже для нормалізації формату, а не як основний механізм точності.
Технічні сумніви: дані, якість, підтримка
Головний сумнів щодо дообучення Whisper — «у нас немає тисяч годин записів». Доменній адаптації стільки й не потрібно: працюють 3-5 годин чистого мовлення з точною транскрипцією, де розмічені саме терміни, абревіатури та назви продуктів, плюс текстовий словник лексики.
Якість розмітки важить більше за обсяг — година вивіреного тексту дає більший приріст на доменних словах, ніж десять годин «приблизного» розшифрування.
Другий ризик — модель втратить розуміння звичайного мовлення. Тому ми не перебудовуємо її повністю, а дообучаємо невеликий надбудовуваний шар поверх базової моделі.
У кожен прогін входить контрольний набір загального мовлення: якщо частка помилок на ньому виходить за узгоджений поріг, оновлення не приймається, навіть коли доменні метрики зросли.
Оновлення лексики — регулярна процедура, а не разова робота. З'являються нові терміни: збираємо записи, де розпізнавання помилилося, дорозмічаємо, проганяємо коротке дообучення й звіряємо з контрольними наборами.
Усе всередині вашого закритого контуру — записи, розмітка й навчання не залишають інфраструктуру, назовні йдуть лише ваги та метрики якості.
Чи можна навчати, не вивантажуючи дані назовні?
Так. Контур розгортається на ваших потужностях або у вашому ізольованому сегменті, доступ інженерів — за узгодженими обліковими записами й журналюється. Передавання аудіозаписів і розшифрувань третім особам не потрібне: ви отримуєте оновлені ваги та звіт за метриками.
Що, якщо якість на звичайному мовленні все ж просяде?
Ми зберігаємо базову модель недоторканою, тому відкат — це перемикання на неї, без перенавчання. Кожен випуск супроводжується порівнянням на загальному та доменному наборах, тож просадка видна до введення в роботу, а не після.
Як часто оновлювати модель під нову лексику?
Зазвичай раз на квартал або за накопиченням помітної кількості помилок на нових термінах. Цикл короткий: зібрати спірні записи, дорозмітити, дообучити шар, перевірити на контрольних наборах і випустити.
Обговоримо вашу задачу і повернемося з планом адаптації
Перший розбір займає одну зустріч і йде за вашими даними, а не за загальними презентаціями. Ви описуєте задачу: звідки записи, скільки годин аудіо, які терміни, абревіатури та назви продуктів модель зараз перекручує.
Окремо дивимося, як ваші фахівці правлять розшифрування вручну — ці правки й стають розміткою, за якою рахується якість.
З боку замовника потрібні зразки реальних записів із перевіреними текстами, перелік доменної лексики та доступ до середовища, де крутитиметься дообучена модель. Далі ми віддаємо документ, за яким можна ухвалювати рішення без додаткових уточнень.
- Оцінка проєкту: скільки годин аудіо потрібно для дообучення Whisper, скільки ітерацій закладаємо і яке зниження частки помилок у словах на контрольній вибірці вважаємо результатом.
- Схема підготовки даних: чистка записів, вирівнювання за сегментами, розмітка термінів, відбір складних фрагментів в окремий набір для перевірки.
- Порядок робіт: етапи, що робимо на кожному, де потрібна ваша валідація і на якому кроці можна зупинитися без втрати вже зробленого.
- План пілотного прогону: дообучаємо на вашій лексиці, показуємо розшифрування контрольних записів поряд із поточною якістю і лише після цього запускаємо повний цикл.
- Вимоги до доступів та інфраструктури: де розміщуються аудіо, як передаються і як видаляються після навчання.
- Критерії приймання: набір тестових записів, метрики та спосіб їхнього перерахунку вашим інженером.
Опишіть задачу й надішліть пару характерних записів — повернемося з оцінкою, схемою та планом робіт, включно з межами пілотного прогону.
