Донавчання TTS: де готовий голос ламається
Базовий голос рівно читає побутові фрази й передбачувано ламається там, де починається ваш домен. Абревіатури переходять у побуквене читання, назви послуг і артикули звучать як випадковий набір складів, числа й одиниці виміру читаються не в тому відмінку.
Довгі переліки втрачають інтонацію вже до третього пункту, а повторювані репліки диктуються з однаковим натиском. Саме на цих фразах зростає частка звернень до підтримки: «робот неправильно називає послугу» звучить помітно частіше, ніж претензія до тембру.
Помилки наголосів — окрема категорія. Загальна модель розставляє їх за частотністю з побутового мовлення, тому галузеві терміни читаються навмання. Вимова термінів ламається й на стиках: латиниця всередині російського тексту, скорочення з самих приголосних, складені слова. Замовник чує не дрібний дефект, а некомпетентність у власному продукті.
Причина технічна. Фонетичний словник і правила нормалізації тексту в базового голосу зібрані на загальній лексиці.
Синтез мовлення під домен потребує іншого: власного словника вимов і наголосів, правил читання чисел, діапазонів, одиниць і абревіатур, розмітки наголосів у навчальному корпусі.
Донавчання TTS закриває це точково — голос доучується на доменних текстах, отримує словник винятків і правила нормалізації, а інтонація переліків налаштовується окремо.
Природність перевіряємо не на слух: сліпе прослуховування на наборі реальних реплік із вашого домену плюс оцінка розбірливості. Далі розбираємо, як це закривається.
Вимірний ефект: розбірливість, відмови, відгук
Якість вимови перевіряємо на розміченому корпусі: імена, топоніми, абревіатури, числівники, рідкісні форми відмінювання. Рахуємо частку фраз, де наголос, пауза або огласовка відхилилися від еталона, — це і є частка помилок вимови.
Донавчання TTS на записах замовника переносить фонетику домену в модель, і помилки на нетипових словах падають у рази, а не «загалом звучить краще».
Розбірливість мовлення вимірюємо в тих каналах, де рішення реально працює. Студійний сигнал, вузькосмуговий телефонний канал і канал із фоновим шумом дають різні оцінки, тому сліпі прослуховування йдуть за шкалою MOS на всіх трьох.
Ключовий показник — розрив між студійною та канальною оцінкою: якщо він тримається в межах десятих, розбірливість не розвалюється в абонента з поганим зв’язком.
Час відгуку синтезу оцінюємо за 95-м і 99-м процентилем, а не за середнім — середнє приховує хвіст. Окремий замір іде під одночасним навантаженням: тримаємо постійну чергу запитів і дивимося, чи зростає затримка лінійно, чи впирається в стелю.
Потокова віддача першого звуку скорочує сприйману паузу до початку відповіді, навіть коли повна фраза збирається довше.
Повторні звернення рахуємо за логами: частка сесій із перепитуванням, частка перемикань на оператора, частка діалогів, де фразу довелося повторити інакше. Якщо ці частки не рухаються після донавчання, причина не в голосі, а в сценарії — і це видно за тими самими цифрами.
Заміри знімаємо на одному й тому самому наборі фраз до і після, щоб зсув був приписаний конкретній зміні, а не сезонності трафіку.
Способи адаптації голосу: порівняння підходів
Розвилка проста: або модель уже звучить майже правильно і її треба «підлікувати» на конкретних словах, або потрібен тембр, якого в неї немає. Адаптація синтезу рідко буває однією дією — на практиці це вибір між трьома шляхами, і кожен упирається у свою стелю.
Критерій вибору: наскільки голос має бути впізнавано вашим і скільки чистого мовлення диктора ви готові віддати на навчання.
| Варіант | Коли підходить | Обмеження |
|---|---|---|
| Словник вимови | Терміни, абревіатури, назви продуктів і числа читаються неправильно, тембр загалом влаштовує | Змінює лише вимову: інтонація, ритм і тембр залишаються попередніми. На злитому мовленні й омонімії правило не рятує — потрібен контекстний розбір |
| Підлаштування голосу (тонке доналаштування поверх готової моделі) | Є 20–60 хвилин студійного запису, потрібен близький тембр у стислі терміни | Голос залишається впізнавано «не вашим»; на вузькій предметній області можливі просідання. Обов’язкова перевірка на доменних текстах, а не лише на контрольній фразі |
| Навчання на власному корпусі | Потрібен унікальний голос диктора й стабільний результат на вашій лексиці | Потребує 5–20 годин розміченого мовлення, рівного мікрофона й єдиної манери читання. Строки й обсяг перевірок вищі, якість тримається рівно на якості корпусу |
Ми не обираємо варіант «на око»: спочатку проганяємо ваш текст через базову модель, фіксуємо, де саме ламається — вимова, інтонація чи тембр, — і лише потім пропонуємо шлях. Підсумок перевіряємо оцінкою розбірливості й сліпим порівнянням на вашому домені, орієнтир — MOS 4.3+.
Етапи інженерної роботи над кастомним голосом
Порядок етапів тут жорсткий: помилка в даних не виправляється ні архітектурою, ні кількістю кроків навчання. Тому більша частина роботи — про записи й розмітку, і лише потім про саму модель.
Від корпусу до моделі в експлуатації
- Аудит корпусу. Слухаємо все, що є: студійні дублі, записи дзвінків, старі ефіри. Рахуємо, скільки годин реально придатні, і позначаємо шум, перевантаження й стороннє мовлення.
- Нормалізація й схема даних. Один формат, сегменти по 5–12 секунд, без перекриттів, із вирівняною гучністю. У кожного фрагмента — диктор, текст і позначка якості.
- Розмітка записів. Транскрипти вичитуємо вручну: числа, імена й абревіатури пишемо так, як їх потрібно вимовляти. Спірні фрагменти йдуть на окреме прослуховування.
- Навчання моделі мовлення. Донавчаємо від базової моделі, змінюючи по одному параметру за ітерацію — інакше незрозуміло, що дало приріст. Перенавчання ловимо на валідаційній вибірці й на мовленні, якого модель не чула.
- Сліпі прослуховування й приймання. Носії мови оцінюють природність, не знаючи, де наш синтез, а де студійний запис. Поріг — MOS 4.3+, окремо перевіряємо питання й зміну інтонації.
- Складні випадки. Числа, дати, рідкісні імена, довгі слова, швидке мовлення — проганяємо сценарії, де синтез ламається найчастіше.
- Передача в експлуатацію. Ваги моделі, налаштування синтезу, словник вимов і набір перевірок — щоб голос можна було оновлювати без нас.
Якщо сліпий тест не дотягує до порогу, повертаємося до розмітки, а не «надолужуємо» якість кроками навчання: рівнішим голос від цього не стане, зате з’явиться ризик втратити вихідне мовлення.
Артефакти проєкту: модель, дані, регламенти
Після проєкту у вас залишається не лише синтезований голос, а й усе, що потрібно для його самостійної експлуатації: дані, складальні скрипти, налаштування синтезу й правила оновлення.
Ми передаємо артефакти так, щоб повторне донавчання на новій порції записів не вимагало повертатися до нас і не зупиняло працюючий сервіс.
- Донавчена модель і проміжні стани кожного прогону — є куди відкотитися, якщо нова версія голосу звучить інакше, ніж очікувалося.
- Навчальний корпус із розміткою й контрольними сумами — фіксує, на яких даних отримано результат, і робить повторний прогін відтворюваним.
- Скрипти підготовки записів і запуску навчання — нова порція реплік обробляється й іде в навчання без ручного складання.
- Конфігурація синтезу — темп, тембр, тривалість пауз, словник вимов імен і термінів; правиться окремо від моделі, перезбирання не потрібне.
- Регламент оновлення голосу — порядок правок і випуску нової версії без зупинки сервісу: тіньова перевірка на частині трафіку, порівняння метрик, перемикання.
- Звіт із якості — оцінки природності до і після, результати сліпих прослуховувань і набір контрольних фраз для повторної перевірки.
- Документація щодо голосу — де лежать дані й модель, які права доступу потрібні, що робити при погіршенні звучання і куди дивитися в першу чергу.
Кейс: голос для лінії підтримки, метрики до і після
Лінія підтримки сервісного напряму працювала на автовідповідачі із синтезом мовлення: робот приймав дзвінок, уточнював категорію звернення й переводив на оператора.
На типових фразах голос звучав рівно, але ламався на доменній лексиці — артикулах, номерах договорів, абревіатурах із внутрішнього довідника. Кожен третій виклик починався з «повторіть, будь ласка», а після розбору запису частина клієнтів передзвонювала на загальну лінію.
Під проєкт зняли шість годин чистих записів двох операторів підтримки: без музики на фоні й накладань, з однаковим темпом мовлення.
Записи розмітили за фразами, окремо зібрали словник вимов для абревіатур і артикулів, а числові ідентифікатори винесли на правила читання за цифрами — модель їх не «додумує».
Синтез підключили до чинної телефонії на Amazon Connect потоковим відтворенням, щоб репліка починалася до повної генерації відповіді.
Заміри до і після
Сліпі прослуховування проводила панель із дванадцяти співробітників, які не брали участі в проєкті: їм давали перемішані записи старого й нового голосу без підпису.
Оцінка розбірливості за шкалою MOS зросла з 3,1 до 4,3, частка неправильних вимов артикулів упала з 18% до 2%, а звернення, де клієнт просив повторити репліку, скоротилися втричі. Помилок у номерах договорів у потоці не залишилося.
Обмеження залишилося одне: голос стійкий на словнику, який був у записах. Для нових товарних лінійок потрібен дозапис довідника вимов — це години роботи, а не повторний цикл навчання моделі.
Чим донавчання TTS відрізняється від налаштування готового голосу?
Різниця в тому, із яким шаром моделі працює інженер. Налаштування готового голосу — це надбудова над словником вимови: фонетичні транскрипції для імен, абревіатур і термінів, розстановка наголосів, правила читання чисел і дат, швидкість, гучність, тривалість пауз.
Такий шар править те, як вимовляється фраза, але не торкається хто її вимовляє: тембр, подача й характер залишаються голосом із коробки.
Донавчання TTS-моделі змінює акустику. Модель учиться відображенню «текст → спектр» на мовленні конкретного диктора й переймає те, що словником не задається: щільність і м’якість змичок, придихання, мікропаузи між словами, рівність гучності на довгих фразах.
Тут же з’являється інтонація в синтезі — мелодика питання й твердження, логічні акценти в переліку, зміна емоційного регістру всередині абзацу. Готовий голос імітує інтонацію усереднено, бо навчений на суміші безлічі дикторів.
Межа між підходами проходить за даними. Словникова настройка не потребує й секунди запису й оборотна за один крок — правила можна відкотити або переписати. Донавчання спирається на корпус: потрібні десятки хвилин чистого мовлення з рівною дикцією й однаковими умовами запису.
Якщо матеріал різнорідний за мікрофоном, кімнатою чи манерою, модель усереднить дефекти й перенесе їх у синтез — лагодити це на етапі інференсу складніше, ніж зібрати нормальний корпус.
Практичний висновок: якщо проблема у вимові конкретних слів — закриваємо словником, донавчання надмірне; якщо потрібен тембр вашого диктора й жива інтонація — лише акустична настройка.
Ми починаємо з аудиту задачі й зразків мовлення: показуємо, що вдасться витягнути з наявних записів, а де потрібен дозапис — і лише після цього рахуємо строки.
Технічні сумніви щодо проєкту: розбір питань
До старту майже завжди виринає один і той самий набір питань: скільки потрібно записів, що буде на рідкісних словах і іменах, як оновлювати голос, коли сервіс уже працює в користувачів, і кому належать права на голос диктора. Нижче — короткі відповіді, як ми вирішуємо це на практиці.
Який обсяг корпусу потрібен для донавчання?
Для стабільного тембру достатньо 3-5 годин чистого студійного мовлення одного диктора з рівною інтонацією, для виразної подачі — 8-12 годин. Важливіша за обсяг однорідність: один мікрофон, одна кімната, однаковий темп.
Записи спочатку проходять перевірку — прибираємо шум, кліпінг і дублі, — і лише потім корпус вважається достатнім.
Чи не просяде якість на рідкісних словах і іменах?
Просяде, якщо рідкісні токени залишити на волю базової моделі. Ми вносимо їх у словник і фонетичні правила, добираємо контексти термінами предметної області й окремо перевіряємо фрази з абревіатурами, числами й назвами. Результат фіксуємо метрикою розбірливості MOS — тримаємо не нижче 4.3 із 5.
Як оновлюється голос, якщо сервіс уже працює?
Нова версія навчається в окремому контурі, проходить перевірку на еталонному наборі й потрапляє в обмежений реліз на частку трафіку. Якщо метрики не просідають, трафік переводиться повністю, а попередня версія залишається для миттєвого відкату. Користувач підміни не помічає — сервіс не зупиняється.
Кому належать права на голос диктора?
Диктор підписує згоду на синтез мовлення з обумовленим строком і областю застосування, права на навчену модель залишаються за замовником. Це фіксується в договорі й передається разом із моделлю — подальші доопрацювання не прив’язані до нас.
Обговоримо задачу: старт і перші кроки щодо голосу
Строки з донавчання голосу визначаються не обсягом записів, а станом матеріалів і тим, наскільки рано узгоджено словник вимов.
Тому першу розмову ми ведемо як технічний розбір: розбираємо сценарії, слухаємо вихідники й одразу говоримо, де якість упреться в дані, а де — у розмітку й постановку наголосів.
Щоб повернутися з оцінкою строків і планом робіт, а не із загальними формулюваннями, до першого дзвінка достатньо підготувати:
- зразки голосу — записи носія в тому тракті, у якому він звучатиме: студійний мікрофон, гарнітура або телефонний канал;
- тексти під озвучення: сценарії голосового меню, скрипти обдзвону, репліки інтерфейсу;
- словник термінів, назв і абревіатур із правильними наголосами й побуквеним читанням;
- вимоги до подачі: темп, тривалість пауз, нейтральна чи емоційна манера;
- точки інтеграції — телефонія, застосунок, кол-центр: від них залежить формат віддачі аудіо;
- обмеження щодо прав на голос і зберігання записів: хто власник, де зберігаємо, у кого доступ;
- контактна особа, яка приймає результат і підписує етапи.
На зустрічі ми розбираємо акустику вихідників, показуємо, яких записів бракує для стійкого результату, і фіксуємо набір фраз, на якому будемо перевіряти якість синтезу.
Після цього матеріали йдуть у роботу: повертаємося з планом за етапами, строками кожного кроку, точками приймання й переліком того, що ви отримуєте на виході — навчену модель, словник вимов, тестовий набір та інструкцію з оновлення голосу.
