Кастомний голос для TTS: навчання на VITS, XTTS, YourTTS

Чому навчання TTS-моделі провалюється на реальному голосі

Демо на десяти хвилинах студійного запису звучить переконливо, і після нього навчання TTS-моделі здається питанням кількох днів. Реальність перевіряється першою ж довгою фразою: замовник вмикає результат і не впізнає себе.

Синтез мовлення власним голосом ламається не на архітектурі, а на даних — і кожна така поломка коштує тижнів перенавчання та зсуву строків запуску.

Основна причина — якість навчального корпусу. Реальні записи надходять із дзвінків і з переговорних кімнат: луна, шум кондиціонера, різна гучність дублів, обрізані початки фраз, накладена музика в заставці.

Три години чистого матеріалу з одного мікрофона в одній акустиці дають упізнаваний тембр, тоді як тридцять годин «як є» розмивають його до усередненого диктора.

Не меншу вагу має розмітка аудіо: якщо межі фраз розставлені по-різному, транскрипт розходиться з мовленням, а частина доріжок містить паузи й вдихи, модель вчиться тягнути звук і ковтати закінчення.

Зведення корпусу до єдиного вигляду — нормалізація рівня, нарізка за фразами, вичитка тексту з пунктуацією — зазвичай займає більше часу, ніж саме навчання.

Друга група збоїв — інтонація та терміни. На коротких репліках голос звучить жваво, але на довгих фразах просодія вирівнюється: фраза вимовляється рівною стрічкою без смислових акцентів, і на слух це виказує синтез швидше за будь-який артефакт.

Окремо провалюються власні назви, абревіатури та латиниця: словник читає їх по літерах або ставить наголос не туди, а збої вимови термінів у галузевому тексті чутно одразу. Лікується це не «доопрацюванням» готової моделі, а словником вимов і додатковими прикладами в корпусі.

Тому робота починається не з коду, а з аудиту записів і розмітки — розбираємо, як це закривається і які перевірки відсікають брак до навчання.

Що дає кастомний голос: ефект у вимірюваних величинах

Власний голос — це донавчання моделі на записах диктора: кілька годин чистої студійної мови задають тембр, а архітектури на кшталт XTTS переносять його на будь-який текст без перезапису. Ефект рахуємо не «на слух», а у величинах.

Розбірливість синтезу та природність інтонації

Розбірливість перевіряємо сліпим прослуховуванням і зворотним розпізнаванням: якщо розшифрування синтезованої доріжки збігається з вихідним текстом, артикуляція не «з’їдена». Інтонація перестає бути рівною — модель ставить паузи та смислові наголоси там, де їх чекає слухач. Частка слів із помилковим наголосом у термінах і власних назвах падає в рази.

Зменшення ручних правок озвучення

Раніше кожен неправильний акцент означав перезапис дубля або склейку в редакторі. Тепер правки зводяться до словника вимов: абревіатури, латиниця та вузькі терміни прописуються один раз, і модель читає їх однаково в усіх матеріалах. Ручна робота стискається до вичитки винятків замість суцільного контролю.

Швидкість випуску аудіоматеріалів

Довгий текст перетворюється на доріжку за хвилини, тому коротка, повна та рекламна версії робляться з одного вихідника, а не записуються заново. Правка на етапі погодження більше не тягне за собою студію — переозвучується лише змінений фрагмент. Єдиний голос бренду при цьому зберігається на всіх носіях, від роликів до автоінформатора.

Підходи до навчання голосу: порівняння та обмеження

Вибір варіанта визначається не бажанням отримати «свій» голос, а обсягом чистих даних диктора та тим, наскільки строго потрібно тримати вимову термінів.

Адаптація чужого голосу й донавчання готової моделі дають результат на коротких записах; навчання з нуля на власному корпусі потребує даних у рази більше, але знімає обмеження ліцензії та тембру.

Окремо фіксуємо вимоги до запису диктора: рівний тон, відсутність луни та перекриттів, єдина манера читання в усіх сесіях. Різна якість записів дає «пливучий» тембр, чутний на довгих фразах.

Словник вимови застосовний до будь-якого варіанта: абревіатури, топоніми та назви продуктів задаються вручну, інакше модель читає їх за загальними правилами.

Обмеження тут важливіші за переваги: вони визначають, який клас дефектів залишиться в готовому голосі. Перед навчанням TTS-моделі ми дивимося ваші записи й говоримо, який варіант на них укладається, а який потребує дозапису.

Як будується робота: від аудиту даних до готового голосу

Навчання голосу — не один запуск, а ланцюжок, де кожен крок спирається на результат попереднього. Помилка на вході — шум у записі, неясні права на голос диктора, неправильна розмітка — не спливе одразу, а проявиться в готовому голосі артефактами та плаваючою інтонацією. Тому ведемо проєкт як конвеєр із прийманням на кожному переході.

1. Аудит аудіоматеріалів і прав. Слухаємо записи, оцінюємо рівень шуму, дублі, паузи, однаковість тембру; перевіряємо документи на використання голосу. На виході — звіт: скільки чистих даних є і що потрібно дозаписати.
2. Підготовка корпусу. Нормалізуємо гучність, прибираємо кліпінг і сторонні шуми, ріжемо довгі паузи, приводимо файли до єдиного формату й нарізаємо на репліки.
3. Розмітка та транскрипція. Звіряємо текст із записом, правимо розбіжності, позначаємо наголоси й паузи. Помилка в транскрипті обертається неправильною вимовою, тому крок проходимо з вичиткою.
4. План навчання голосу. Вибираємо архітектуру синтезу під задачу, фіксуємо кількість кроків, метрики контролю та точки збереження — щоб результат відтворювався, а не залежав від вдалого запуску.
5. Навчання та проміжні прослуховування. Слухаємо фіксований набір фраз через рівні інтервали, порівнюємо варіанти між собою й зупиняємося на найкращому, а не на останньому.
6. Прослуховування та приймання. Збираємо тестовий набір: числа, абревіатури, довгі речення, зміна інтонації. Замовник слухає, зауваження перетворюємо на правки й донавчання.
7. Передача та регламент підтримки. Віддаємо модель, опис параметрів та інструкцію з додавання нових фраз, узгоджуємо порядок перенавчання при зміні текстового домену.

Артефакти проєкту: корпус, конфігурації, документація, регламенти

У замовника залишається не лише файл із вагами, а повний комплект, за яким навчання TTS-моделі можна повторити, а голос — оновити й передати іншій команді без нас. Нижче — що саме входить у передачу і в якому вигляді це задокументовано.

• Підготовлений корпус. Аудіо після чищення та нормалізації, розшифрування з розміткою пауз і наголосів, розбивка на навчальну й перевірну частини, відомості про права на вихідні записи.
• Файли налаштувань. Конфігурації навчання та синтезу із зафіксованими параметрами: швидкість, довжина фрагмента, кількість кроків, зерно генерації. Повторний запуск дає зіставний результат, а не «як вийде».
• Контрольні точки моделі. Проміжні та фінальна версії, скрипти запуску синтезу, вимоги до середовища — скільки пам’яті й яке прискорення потрібне для роботи в реальному часі.
• Документація на голос. Паспорт голосу: діапазон тону, комфортний темп, припустимі емоції та місця, де синтез звучить неприродно. За ним редактор розуміє межі голосу без прослуховування годин записів.
• Правила використання голосу. Згоди диктора, строк і територія дії, перелік тем і форматів, де голос застосовувати не можна. Це захищає від претензій і від упізнаваності в недоречному контексті.
• Порядок оновлення голосу. Регламент: як додавати нові записи, коли перенавчання виправдане, за якими метриками порівнювати нову версію з поточною і за яких значень відкочуватися назад.
• Інструкція для контент-команди. Як готувати текст під синтез: числа, абревіатури, наголоси, паузи та розмітку, плюс типові помилки й приклади «до/після» на реальних фразах.

Кейс: кастомний голос для довідкової служби

Довідкова служба тримала автоінформатор на студійних записах диктора: голос живий, але зміна тарифу чи маршруту тягла за собою перезапис усіх пов’язаних фраз.

Правки накопичувалися до планової сесії, а склейки з окремих файлів звучали рвано — інтонація на стиках не збігалася, абоненти перепитували.

Ми зібрали корпус на тому самому дикторі: близько 12 годин чистої мови в єдиній манері читання, з вирівнюванням рівня та придушенням шуму приміщення.

Розмітку робили в Praat — сегментація до рівня фонем, проставлені наголоси, окремий словник вимови для абревіатур, числівників і назв. Перед прийманням прогнали тестовий набір із реальних звернень і добрали в корпус фрази, які синтез ламав найчастіше.

Вимірювання до і після

Голос перестав бути витратним матеріалом: текст правиться в панелі, а вимова залишається упізнаваною. Частка перезаписів упала до нуля, розбірливість на контрольній вибірці зросла, а спірні слова вирішуються додаванням рядка до словника, а не новою студійною сесією.

Що робити, якщо записи голосу є, а розмітки немає

Сирі записи диктора без розмітки — типовий вхід, а не виняток. Спершу рахуємо акустику: чи рівний рівень, чи немає перевантаження на гучних складах, чи одна кімната й одна позиція мікрофона в усіх файлах, скільки насправді різних голосів, чи є накладення мовлення.

Оцінка придатності матеріалу йде за цими ознаками, а не за тривалістю: три години із шумом і зміною мікрофона дають менше користі, ніж сорок хвилин чистого монологу.

Відновити автоматично можна більшу частину. Розпізнавання мовлення разом із вимушеним вирівнюванням дає транскрипт і межі звуків, а за впевненістю моделі позначаються місця, де текст або межі ненадійні: злитне мовлення, сміх, слова-заповнювачі, перекриття.

Така автоматична розмітка закриває основний обсяг корпусу, а спірні фрагменти йдуть окремим списком на прослуховування.

Далі починається ручна робота, і її не обійти. Перезапис спірних фрагментів робиться в тій самій позиції мікрофона й тій самій манері: диктор повторює слова й фрази з нейтральною інтонацією, добирає те, що розпізналося невпевнено, перекриває обриви.

Тут важливо не «покращувати» голос — зміна темпу й тембру робить фрагмент чужорідним для майбутньої моделі.

План добору даних будується від покриття: яких сполучень звуків, темпів і пауз у матеріалі не вистачає, де закінчується один стиль мовлення й починається інший.

У підсумку залишається корпус із прозорим походженням кожної репліки — видно, що записано в студії, а що вирізано з довгого запису. На такому наборі навчання TTS-моделі йде за фактом вмісту файлів, а не за припущеннями про нього.

Технічні сумніви: якість, строки, права на голос

Сумніви перед навчанням TTS-моделі майже завжди одні й ті самі — від обсягу записів до прав на готовий голос. Короткі відповіді нижче зазвичай знімають їх до старту робіт.

Що робити, якщо вихідники шумні?

Прибираємо гул, клацання, перевантаження та луну приміщення, вирівнюємо рівень, ріжемо за паузами. Записи з різних мікрофонів розносимо по групах і враховуємо під час навчання — інакше тембр «плаває».

Чи збережеться манера мовлення та інтонації?

Так, якщо в наборі є різна подача та живі паузи. На коротких записах виходить усереднений голос, на кількох годинах зберігаються темп, акценти й характерні закінчення фраз.

Як проходить приймання синтезу?

Синтезуємо контрольний набір: числа, абревіатури, імена, довгі речення. Слухаємо разом, оцінюємо розбірливість, інтонацію та стики фраз; поріг частки вдалих фраз узгоджуємо заздалегідь.

Кому належить навчений голос?

Права закріплюємо письмовою згодою диктора: територія, строк і способи використання. Договір визначає, кому належить модель, чи можна передавати її третім особам і що відбувається при відкликанні згоди.

Обговоримо задачу: що потрібно від вас для оцінки та плану

Щоб повернутися з планом робіт і строками з навчання моделі синтезу мовлення, не потрібно готувати технічне завдання чи розмічати аудіо заздалегідь. Достатньо кількох вступних про сценарій і того, які записи голосу у вас уже є. Нижче — мінімум, за яким ми рахуємо обсяг робіт.

• Цільовий сценарій: де звучатиме синтез — озвучення роликів, телефонія, інтерфейс застосунку, голосовий помічник — і типова довжина фрази.
• Референс диктора: 2–3 записи по 10–30 хвилин у тихій кімнаті, підійде й студійний архів. Плюс згода диктора на використання голосу.
• Матеріали, які вже є: студійні дублі, чорнові розшифрування, архівні записи розмов — за ними видно, скільки даних потрібно дозібрати.
• Вимоги до результату: мова й діалект, чи потрібна зміна емоцій і темпу, наскільки критична правильна вимова імен, термінів і чисел.
• Умови запуску: де працює модель — у зовнішній хмарі чи в закритому контурі замовника, яке навантаження в години пік.
• Точки погодження: хто приймає результат і на якому етапі потрібен доступ до ваших тестових фраз.

Далі ми повертаємося з планом робіт, строками та схемою навчання. Перший результат показуємо як пробне прослуховування на ваших фразах — голос чутно до старту проєкту, а не після. Опишіть задачу — зберемо оцінку під ваш сценарій.