Система Text-to-Speech: синтез мовлення з кастомізацією голосу

Синтез мовлення: де ламається якість і що помічає клієнт

Якість синтезу оцінюють не за тембром, а за просодією: де стоять паузи, на яке слово падає фразовий наголос, як змінюється тон до кінця фрази. Модель, навчена на рівному дикторському читанні, тримає однакову інтонацію, і слухач перестає розрізняти смислові блоки.

У голосовому меню або в довгій інструкції це обертається втратою сенсу на слух: людина вимикає озвучення й повертається до тексту.

Другий клас збоїв — фонетика на стиках і підготовка тексту. Закінчення й прийменники проковтуються на швидкому темпі, імена та абревіатури читаються по літерах, числа стають у неправильному відмінку.

Формально фраза вимовлена повністю, але на слух нерозбірлива, тому перевіряємо не лише акустику, а й нормалізацію до подачі в модель синтезу мовлення.

Окрема зона ризику — кастомізація голосу. Клонування за коротким зразком повторює тембр, але не переймає просодію диктора: голос пливе на довгих абзацах, емоційний діапазон звужується, а на термінах звучить чужорідно.

Тому природність звучання ми вимірюємо на реальних текстах замовника, а не на демонстраційних фразах.

У синхронних сценаріях додається розсинхрон із субтитрами: тайминги рахуються за межами фонем, і при неправильній розмітці субтитр з'являється раніше за репліку або відстає від неї, а в дубляжі ламається влучання в артикуляцію.

Кожен із цих дефектів видно в метриках і відтворюваний на тестовому наборі — розбираємо, як це закривається на рівні даних, налаштування просодії та відбраковування дублів.

Що дає кастомний голос: вимірюваний ефект для продукту

Кастомний голос перестає бути питанням смаку, коли його вимірюють. Ми порівнюємо синтез на власному голосовому профілі з базовим диктором за трьома осями: частка розбірливих фраз, час озвучення масиву текстів і кількість повторних звернень до запису. Так ефект стає перевірюваним до релізу, а не оцінюється «на слух».

Розбірливість і впізнаваність бренду

Розбірливість рахуємо за методикою суб'єктивної оцінки Mean Opinion Score: оцінювачі плюс автоматична звірка з еталонною розшифровкою дають частку фраз, зрозумілих без перепитування.

На іменах, абревіатурах і числах кастомний голос тримає її помітно вище за універсального диктора. Впізнаваність бренду — наслідок: слухач розпізнає голос компанії в перші секунди, ще до того, як прозвучить назва.

Швидкість озвучення та повторні звернення

Масив із кількох тисяч коротких реплік озвучується одним прогоном замість багатоденної студійної записи, а правка тексту не потребує нового дубля.

Повторні звернення до запису падають: сенс зчитується з першого прослуховування, частка перепитувань у підтримці знижується кратно, і один і той самий голос працює в рекламі, застосунку та автовідповідачі без розбіжностей.

Підходи до синтезу мовлення: порівняння варіантів за завданням

Вибір способу синтезу мовлення визначається завданням, а не модою на моделі: скільки фраз у словнику, наскільки голос має бути унікальним, чи є доступ до диктора і скільки часу відведено до запуску.

Готові голоси закривають типові сценарії, а кастомізація потрібна там, де голос — частина бренду або носій галузевої термінології. Перед навчанням фіксуємо три параметри: вимоги до вимови імен і термінів, допустиму затримку синтезу в діалозі та юридичну чистоту запису диктора.

Як відрізняються способи синтезу мовлення

Що вибираємо на практиці

Гібридна схема виграє там, де продукт говорить різними голосами: основний контент — на дообученому голосі диктора, короткі службові репліки — на готовому, щоб не витрачати ресурс моделі на однотипні фрази.

Якість приймаємо сліпим прослуховуванням: розбірливість, природність інтонації, помилки в термінах та іменах. Запис диктора плануємо окремим раннім етапом — це найдовша частина підготовки, і переносити її на кінець проєкту не варто.

Порядок робіт: від розбору записів до приймання результату

Мовлення не можна дообучити «на око»: результат залежить від того, що лежить у вихідних записах. Тому порядок робіт починається з інвентаризації — якщо в архіві третина дублів і різний рівень шуму, це з'ясовується до навчання, а не на прийманні.

Аудит, схема, корпус

1. Аудит матеріалів: рахуємо години чистих записів на диктора, знаходимо дублі, перезаписи, фрагменти з музикою та переговорним шумом. На виході — таблиця, скільки матеріалу придатно й де розмітка розходиться з аудіо.
2. Схема рішення: фіксуємо цільовий голос, доменні слова й абревіатури, які система зобов'язана вимовляти правильно, і набір фраз для приймання.
3. Підготовка корпусу: єдиний формат записів, вирівнювання рівня, чистка пауз і клацань, синхронізація тексту з аудіо, словник вимови для чисел і власних назв.

Навчання та приймання

• Навчання моделі: спочатку базова, потім адаптація під цільовий голос. Кожну версію проганяємо на контрольних прикладах — на малому корпусі легко отримати перенавчання й «плаваюче» звучання.
• Перевірка на контрольних прикладах: набір узгоджено заздалегідь і не змінюється — розбірливість, інтонація, числа, латиниця, рідкісні терміни. Оцінка подвійна: машинна метрика плюс сліпе прослуховування.
• Приймання результату: метрики на відкладеній частині корпусу, вивантаження моделі, словника й конфігурації синтезу, документація щодо відтворення результату. Попередня версія залишається на місці — відкат займає хвилини, а не повторне навчання.

Що передаємо на руки: голосова модель і документація

Віддаємо не лише звук, а й усе, чим цей звук керується далі. Склад передачі зібрано так, щоб команда замовника могла змінювати вимову, тексти й стиль подачі своїми руками, не повертаючись до нас за кожною правкою.

Голосова модель і словник вимови

• Навчена голосова модель із карткою: діапазон тембру, темп, розставляння пауз, допустимі стилі читання.
• Словник вимови: наголоси, омографи, абревіатури, топоніми, назви продуктів і посад — правки вносяться без перенавчання.
• Профілі синтезу під сценарії: короткі підказки, довгі тексти, емоційна подача для рекламних вставок.

Регламент, тести та передача

• Регламент оновлень: за якими ознаками запускаємо дообучення, хто затверджує, як повертаємося на попередню версію голосової моделі.
• Набори тестових фраз з еталонними записами — обов'язковий прогін перед кожною зміною моделі або словника.
• Схеми інтеграції: потоковий синтез, пакетна генерація, повторне використання готових фрагментів.
• Інструкції для команди замовника: підключення, типові помилки, що робити при просіданні розбірливості.
• Чек-лист приймання: як перевірити, що нова модель і словник справді застосувалися в робочому контурі.

Кожен пункт закривається демонстрацією на реальних фразах замовника: якщо синтез мовлення звучить інакше, ніж очікувалося, — правка вноситься до підписання передачі.

Приклад впровадження: голосовий помічник і зростання точності відповідей

Голосовий помічник приймав вхідні звернення щодо тарифів, підключень і запису до сервісних центрів — до 1,5 тис. розмов на добу. Вузьким місцем виявився не розбір мовлення, а синтез: частка неправильно озвучених назв сягала 6%, і майже стільки ж реплік клієнт просив повторити.

Вихідна точка

Розпізнавання працювало штатно, тому причину шукали довго. Ламалися наголоси в складених назвах, абревіатури читалися по літерах, а топоніми звучали за загальними правилами моделі, а не так, як їх вимовляють у регіоні.

Підготовка окремого голосу під новий сценарій займала до трьох тижнів: майже весь час ішов на ручну розмітку й правки вимови.

Що дало впровадження

Ми зібрали лексикон вимови: транскрипції, наголошувані склади, правила читання абревіатур і числівників за всією номенклатурою. Голос дообучили на записах диктора зі збереженням тембру, а оновлення проганяємо через приймальний набір із 1,5 тис.

живих фраз — розбіжності потрапляють до регресійного набору. Якість вважаємо не середньою оцінкою за шкалою MOS, а часткою відмов на конкретних назвах.

Порядок переноситься на будь-який сценарій: синтез перевіряють на живій номенклатурі замовника, а не на нейтральних прикладах. Лексикон і регресійний набір залишаються частиною релізу — новий голос не повертає помилки, які вже закрито.

Чим відрізняється клонування голосу від запису диктора?

Це два різні шляхи до одного результату. Запис диктора дає еталонний набір: кожну фразу вимовляє жива людина, а синтез збирає мовлення із записаних фрагментів.

Клонування голосу будує модель тембру за зразками й породжує будь-які фрази, включно з тими, які носій ніколи не вимовляв.

Різниця в обсязі матеріалів — на порядки. Для запису диктора потрібна студійна сесія на кілька годин чистого тексту з щільним фонетичним покриттям, інакше синтез спотикається на рідкісних сполученнях.

Клонуванню достатньо кількох хвилин чистого мовлення — стільки потрібно моделям виду XTTS без дообучення, а до години записів, якщо тембр підганяють під проєкт окремо.

Обмеження в підходів різної природи. Клонування успадковує дефекти зразків: шум, обрізані частоти й різний мікрофон між фрагментами модель переносить у синтез. Запис диктора обмежений людиною — її графіком, утомою та письмовою згодою на використання голосу.

Вибір упирається в сценарій: для оновлюваного контенту й десятків голосів виграє клонування, для еталонної якості — запис.

Часті сумніви перед стартом: строки, права, підтримка

Перед стартом замовники ставлять один і той самий набір запитань — і це правильні запитання. Нижче короткі відповіді щодо кожного: строки, права на модель, приватність записів, акцент і супровід.

Кому належать права на модель?

Модель, її ваги й код підготовки даних передаємо за актом — дообучати можна своєю командою або в іншого підрядника. Записи диктора залишаються у вас.

Куди йдуть тексти й аудіо?

У вашому контурі синтез іде на вашому обладнанні: аудіо й текст не покидають периметр, зовнішні сервіси не задіюються. Журнали запитів знеособлюються.

Що з акцентом і діалектом?

Акцент диктора переноситься разом із тембром — це наслідок навчання на його записах. Потрібна нейтральна вимова — додаємо в корпус еталонне мовлення.

Що відбувається після здачі?

Передаємо документацію й навчаємо вашу команду. Далі — регламент супроводу: контроль якості на потоці, дообучення при зміні тематики, розбір відхилень.

Обговорімо завдання: надішліть приклади записів і вимоги

Синтез мовлення оцінюють за матеріалами, а не за описом: тембр, темп і розбірливість на складних словах визначають і вибір моделі, і строк робіт. Тому наступний крок простий — надіслати те, що вже є на руках.

Що корисно додати до звернення:

• приклади записів — 3–5 фрагментів по 1–3 хвилини на кожен голос, з різною інтонацією: розповідь, запитання, оголошення;
• вимоги до голосу — тембр, темп, стать, вік, акцент, допустимі відхилення; окремо позначте, чи потрібне перенесення стилю на новий голос;
• обсяг озвучення — скільки хвилин або годин синтезується зараз і як корпус буде зростати: разові репліки, потік оголошень або постійно поповнюваний архів;
• сценарії та канали — телефонна лінія, застосунок, мовний інтерфейс, відеоролики; чи потрібні відповіді в реальному часі та діалоги;
• вимова — імена, абревіатури, терміни, числа й одиниці вимірювання, які голос зобов'язаний читати правильно; словник замін, якщо він уже є;
• обмеження — час відгуку, пікове навантаження, робота без зовнішніх сервісів, правила обробки й зберігання даних.

За цими даними збираємо план робіт: етапи, тривалість кожного, склад приймання й те, що потрібно буде від вашого боку. Якщо частина матеріалів поки не готова — опишіть завдання словами, уточнимо деталі й запропонуємо, з чого почати.