Кастомный голос для TTS: обучение на VITS, XTTS, YourTTS

Почему обучение TTS-модели проваливается на реальном голосе

Демо на десяти минутах студийной записи звучит убедительно, и после него обучение TTS-модели кажется вопросом нескольких дней. Реальность проверяется первой же длинной фразой: заказчик включает результат и не узнаёт себя. Синтез речи по своему голосу ломается не на архитектуре, а на данных — и каждая такая поломка стоит недель переобучения и сдвига сроков запуска.

Основная причина — качество обучающего корпуса. Реальные записи приходят с созвонов и из переговорных: эхо, шум кондиционера, разная громкость дублей, обрезанные начала фраз, наложенная музыка в заставке. Три часа чистого материала с одного микрофона в одной акустике дают узнаваемый тембр, тогда как тридцать часов «как есть» размывают его до усреднённого диктора. Не меньше весит разметка аудио: если границы фраз расставлены по-разному, транскрипт расходится с речью, а часть дорожек содержит паузы и вдохи, модель учится тянуть звук и глотать окончания.

Приведение корпуса к единому виду — нормализация уровня, нарезка по фразам, вычитка текста с пунктуацией — обычно занимает больше времени, чем само обучение.

Вторая группа сбоев — интонация и термины. На коротких репликах голос звучит живо, но на длинных фразах просодия выравнивается: фраза произносится ровной лентой без смысловых акцентов, и на слух это выдаёт синтез быстрее любого артефакта. Отдельно проваливаются имена собственные, аббревиатуры и латиница: словарь читает их по буквам или ставит ударение не туда, а сбои произношения терминов в отраслевом тексте слышны сразу. Лечится это не «докруткой» готовой модели, а словарём произношений и добавочными примерами в корпусе.

Поэтому работа начинается не с кода, а с аудита записей и разметки — разбираем, как это закрывается и какие проверки отсекают брак до обучения.

Что даёт кастомный голос: эффект в измеримых величинах

Собственный голос — это дообучение модели на записях диктора: несколько часов чистой студийной речи задают тембр, а архитектуры вроде XTTS переносят его на любой текст без перезаписи. Эффект считаем не «на слух», а в величинах.

Разборчивость синтеза и естественность интонации

Разборчивость проверяем слепым прослушиванием и обратным распознаванием: если расшифровка синтезированной дорожки совпадает с исходным текстом, артикуляция не «съедена». Интонация перестаёт быть ровной — модель ставит паузы и смысловые ударения там, где их ждёт слушатель. Доля слов с ошибочным ударением в терминах и именах собственных падает в разы.

Снижение ручных правок озвучки

Раньше каждый неверный акцент означал перезапись дубля или склейку в редакторе. Теперь правки сводятся к словарю произношений: аббревиатуры, латиница и узкие термины прописываются один раз, и модель читает их одинаково во всех материалах. Ручная работа сжимается до вычитки исключений вместо сплошного контроля.

Скорость выпуска аудиоматериалов

Длинный текст превращается в дорожку за минуты, поэтому короткая, полная и рекламная версии делаются из одного исходника, а не записываются заново. Правка на этапе согласования больше не тянет за собой студию — переозвучивается только изменившийся фрагмент. Единый голос бренда при этом сохраняется на всех носителях, от роликов до автоответчика.

Подходы к обучению голоса: сравнение и ограничения

Выбор варианта определяется не желанием получить «свой» голос, а объёмом чистых данных диктора и тем, насколько строго нужно держать произношение терминов. Адаптация чужого голоса и дообучение готовой модели дают результат на коротких записях; обучение с нуля на своём корпусе требует данных в разы больше, но снимает ограничения лицензии и тембра.

Отдельно фиксируем требования к записи диктора: ровный тон, отсутствие эха и перекрытий, единая манера чтения во всех сессиях. Разное качество записей даёт «плывущий» тембр, слышимый на длинных фразах. Словарь произношения применим к любому варианту: аббревиатуры, топонимы и названия продуктов задаются вручную, иначе модель читает их по общим правилам.

Ограничения здесь важнее преимуществ: они определяют, какой класс дефектов останется в готовом голосе. Перед обучением TTS-модели мы смотрим ваши записи и говорим, какой вариант на них укладывается, а какой потребует дозаписи.

Как строится работа: от аудита данных до готового голоса

Обучение голоса — не один запуск, а цепочка, где каждый шаг опирается на результат предыдущего. Ошибка на входе — шум в записи, неясные права на голос диктора, неверная разметка — не всплывёт сразу, а проявится в готовом голосе артефактами и плавающей интонацией. Поэтому ведём проект как конвейер с приёмкой на каждом переходе.

1. Аудит аудиоматериалов и прав. Слушаем записи, оцениваем уровень шума, дубли, паузы, единообразие тембра; проверяем документы на использование голоса. На выходе — отчёт: сколько чистых данных есть и что нужно дозаписать.
2. Подготовка корпуса. Нормализуем громкость, убираем клиппинг и посторонние шумы, режем длинные паузы, приводим файлы к единому формату и нарезаем на реплики.
3. Разметка и транскрипция. Сверяем текст с записью, правим расхождения, помечаем ударения и паузы. Ошибка в транскрипте оборачивается неверным произношением, поэтому шаг проходим с вычиткой.
4. План обучения голоса. Выбираем архитектуру синтеза под задачу, фиксируем число шагов, метрики контроля и точки сохранения — чтобы результат воспроизводился, а не зависел от удачного запуска.
5. Обучение и промежуточные прослушивания. Слушаем фиксированный набор фраз через равные интервалы, сравниваем варианты между собой и останавливаемся на лучшем, а не на последнем.
6. Прослушивание и приёмка. Собираем тестовый набор: числа, аббревиатуры, длинные предложения, смена интонации. Заказчик слушает, замечания превращаем в правки и дообучение.
7. Передача и регламент поддержки. Отдаём модель, описание параметров и инструкцию по добавлению новых фраз, согласуем порядок переобучения при смене текстового домена.

Артефакты проекта: корпус, конфигурации, документация, регламенты

У заказчика остаётся не только файл с весами, а полный комплект, по которому обучение TTS-модели можно повторить, а голос — обновить и передать другой команде без нас. Ниже — что именно входит в передачу и в каком виде это задокументировано.

• Подготовленный корпус. Аудио после чистки и нормализации, расшифровки с разметкой пауз и ударений, разбивка на обучающую и проверочную части, сведения о правах на исходные записи.
• Файлы настроек. Конфигурации обучения и синтеза с зафиксированными параметрами: скорость, длина фрагмента, число шагов, зерно генерации. Повторный запуск даёт сопоставимый результат, а не «как получится».
• Контрольные точки модели. Промежуточные и финальная версии, скрипты запуска синтеза, требования к окружению — сколько памяти и какое ускорение нужно для работы в реальном времени.
• Документация на голос. Паспорт голоса: диапазон тона, комфортный темп, допустимые эмоции и места, где синтез звучит неестественно. По нему редактор понимает границы голоса без прослушивания часов записей.
• Правила использования голоса. Согласия диктора, срок и территория действия, перечень тем и форматов, где голос применять нельзя. Это защищает от претензий и от узнаваемости в неподходящем контексте.
• Порядок обновления голоса. Регламент: как добавлять новые записи, когда переобучение оправдано, по каким метрикам сравнивать новую версию с текущей и при каких значениях откатываться назад.
• Инструкция для контент-команды. Как готовить текст под синтез: числа, аббревиатуры, ударения, паузы и разметку, плюс типовые ошибки и примеры «до/после» на реальных фразах.

Кейс: кастомный голос для справочной службы

Справочная служба держала автоинформатор на студийных записях диктора: голос живой, но смена тарифа или маршрута тянула за собой перезапись всех связанных фраз. Правки копились до плановой сессии, а склейки из отдельных файлов звучали рвано — интонация на стыках не совпадала, абоненты переспрашивали.

Мы собрали корпус на том же дикторе: около 12 часов чистой речи в единой манере чтения, с выравниванием уровня и подавлением шума помещения. Разметку делали в Praat — сегментация до уровня фонем, проставленные ударения, отдельный словарь произношения для аббревиатур, числительных и названий. Перед приёмкой прогнали тестовый набор из реальных обращений и добрали в корпус фразы, которые синтез ломал чаще всего.

Замеры до и после

Голос перестал быть расходником: текст правится в панели, а произношение остаётся узнаваемым. Доля перезаписей ушла в ноль, разборчивость на контрольной выборке выросла, а спорные слова решаются добавлением строки в словарь, а не новой студийной сессией.

Что делать, если записи голоса есть, а разметки нет

Сырые записи диктора без разметки — типовой вход, а не исключение. Сначала считаем акустику: ровный ли уровень, нет ли перегрузки на громких слогах, одна ли комната и одна ли позиция микрофона во всех файлах, сколько на самом деле разных голосов, есть ли наложения речи. Оценка пригодности материала идёт по этим признакам, а не по длительности: три часа с шумом и сменой микрофона дают меньше пользы, чем сорок минут чистого монолога.

Восстановить автоматически можно большую часть. Распознавание речи вместе с вынужденным выравниванием даёт транскрипт и границы звуков, а по уверенности модели помечаются места, где текст или границы ненадёжны: слитная речь, смех, слова-заполнители, перекрытия. Такая автоматическая разметка закрывает основной объём корпуса, а спорные фрагменты уходят отдельным списком на прослушивание.

Дальше начинается ручная работа, и её не обойти. Перезапись спорных фрагментов делается в той же позиции микрофона и той же манере: диктор повторяет слова и фразы с нейтральной интонацией, добирает то, что распозналось неуверенно, перекрывает обрывы. Здесь важно не «улучшать» голос — смена темпа и тембра делает фрагмент чужеродным для будущей модели.

План добора данных строится от покрытия: каких сочетаний звуков, темпов и пауз в материале не хватает, где кончается один стиль речи и начинается другой. В итоге остаётся корпус с прозрачным происхождением каждой реплики — видно, что записано в студии, а что вырезано из длинной записи. На таком наборе обучение TTS-модели идёт по факту содержимого файлов, а не по предположениям о нём.

Технические сомнения: качество, сроки, права на голос

Сомнения перед обучением TTS-модели почти всегда одни и те же — от объёма записей до прав на готовый голос. Короткие ответы ниже обычно снимают их до старта работ.

Что делать, если исходники шумные?

Убираем гул, щелчки, перегрузку и эхо помещения, выравниваем уровень, режем по паузам. Записи с разных микрофонов разносим по группам и учитываем при обучении — иначе тембр «плавает».

Сохранится ли манера речи и интонации?

Да, если в наборе есть разная подача и живые паузы. На коротких записях выходит усреднённый голос, на нескольких часах сохраняются темп, акценты и характерные окончания фраз.

Как проходит приёмка синтеза?

Синтезируем контрольный набор: числа, аббревиатуры, имена, длинные предложения. Слушаем вместе, оцениваем разборчивость, интонацию и стыки фраз; порог доли удачных фраз согласуем заранее.

Кому принадлежит обученный голос?

Права закрепляем письменным согласием диктора: территория, срок и способы использования. Договор определяет, кому принадлежит модель, можно ли передавать её третьим лицам и что происходит при отзыве согласия.

Обсудим задачу: что нужно от вас для оценки и плана

Чтобы вернуться с планом работ и сроками по обучению модели синтеза речи, не нужно готовить техническое задание или размечать аудио заранее. Достаточно нескольких вводных о сценарии и того, какие записи голоса у вас уже есть. Ниже — минимум, по которому мы считаем объём работ.

• Целевой сценарий: где будет звучать синтез — озвучка роликов, телефония, интерфейс приложения, голосовой помощник — и типичная длина фразы.
• Референс диктора: 2–3 записи по 10–30 минут в тихой комнате, подойдёт и студийный архив. Плюс согласие диктора на использование голоса.
• Материалы, которые уже есть: студийные дубли, черновые расшифровки, архивные записи разговоров — по ним видно, сколько данных нужно дособрать.
• Требования к результату: язык и диалект, нужна ли смена эмоций и темпа, насколько критично верное произношение имён, терминов и чисел.
• Условия запуска: где работает модель — во внешнем облаке или в закрытом контуре заказчика, какая нагрузка в часы пик.
• Точки согласования: кто принимает результат и на каком этапе нужен доступ к вашим тестовым фразам.

Дальше мы возвращаемся с планом работ, сроками и схемой обучения. Первый результат показываем как пробное прослушивание на ваших фразах — голос слышно до старта проекта, а не после. Опишите задачу — соберём оценку под ваш сценарий.