Кастомный голос: дообучение TTS-модели с гарантией MOS 4.3+

Дообучение TTS: где готовый голос ломается

Базовый голос ровно читает бытовые фразы и предсказуемо ломается там, где начинается ваш домен. Аббревиатуры уходят в побуквенное чтение, названия услуг и артикулы звучат как случайный набор слогов, числа и единицы измерения читаются не в том падеже.

Длинные перечисления теряют интонацию уже к третьему пункту, а повторяющиеся реплики диктуются с одинаковым нажимом. Именно на этих фразах растёт доля обращений в поддержку: «робот неправильно называет услугу» звучит заметно чаще, чем претензия к тембру.

Ошибки ударений — отдельная категория. Общая модель расставляет их по частотности из обыденной речи, поэтому отраслевые термины читаются наугад. Произношение терминов ломается и на стыках: латиница внутри русского текста, сокращения из одних согласных, составные слова. Заказчик слышит не мелкий дефект, а некомпетентность в собственном продукте.

Причина техническая. Фонетический словарь и правила нормализации текста у базового голоса собраны на общей лексике. Синтез речи под домен требует другого: своего словаря произношений и ударений, правил чтения чисел, диапазонов, единиц и аббревиатур, разметки ударений в обучающем корпусе.

Дообучение TTS закрывает это точечно — голос доучивается на доменных текстах, получает словарь исключений и правила нормализации, а интонация перечислений настраивается отдельно. Естественность проверяем не на слух: слепое прослушивание на наборе реальных реплик из вашего домена плюс оценка разборчивости. Дальше разбираем, как это закрывается.

Измеримый эффект: разборчивость, отказы, отклик

Качество произношения проверяем на размеченном корпусе: имена, топонимы, аббревиатуры, числительные, редкие формы склонения. Считаем долю фраз, где ударение, пауза или огласовка ушли от эталона, — это и есть доля ошибок произношения. Дообучение TTS на записях заказчика переносит фонетику домена в модель, и ошибки на нетипичных словах падают кратно, а не «в целом звучит лучше».

Разборчивость речи измеряем в тех каналах, где решение реально работает. Студийный сигнал, узкополосный телефонный канал и канал с фоновым шумом дают разные оценки, поэтому слепые прослушивания идут по шкале MOS на всех трёх. Ключевой показатель — разрыв между студийной и канальной оценкой: если он держится в пределах десятых, разборчивость не разваливается у абонента с плохой связью.

Время отклика синтеза оцениваем по 95-му и 99-му процентилю, а не по среднему — среднее скрывает хвост. Отдельный замер идёт под одновременной нагрузкой: держим постоянную очередь запросов и смотрим, растёт задержка линейно или упирается в потолок. Потоковая отдача первого звука сокращает воспринимаемую паузу до начала ответа, даже когда полная фраза собирается дольше.

Повторные обращения считаем по логам: доля сессий с переспросом, доля переключений на оператора, доля диалогов, где фразу пришлось повторить иначе. Если эти доли не двигаются после дообучения, причина не в голосе, а в сценарии — и это видно по тем же цифрам. Замеры снимаем на одном и том же наборе фраз до и после, чтобы сдвиг был приписан конкретному изменению, а не сезонности трафика.

Способы адаптации голоса: сравнение подходов

Развилка простая: либо модель уже звучит почти правильно и её надо «подлечить» на конкретных словах, либо нужен тембр, которого у неё нет. Адаптация синтеза редко бывает одним действием — на практике это выбор между тремя путями, и каждый упирается в свой потолок. Критерий выбора: насколько голос должен быть узнаваемо вашим и сколько чистой речи диктора вы готовы отдать на обучение.

Мы не выбираем вариант «на глаз»: сначала прогоняем ваш текст через базовую модель, фиксируем, где именно ломается — произношение, интонация или тембр, — и только потом предлагаем путь. Итог проверяем оценкой разборчивости и слепым сравнением на вашем домене, ориентир — MOS 4.3+.

Этапы инженерной работы над кастомным голосом

Порядок этапов здесь жёсткий: ошибка в данных не исправляется ни архитектурой, ни числом шагов обучения. Поэтому большая часть работы — про записи и разметку, и только потом про саму модель.

От корпуса до модели в эксплуатации

1. Аудит корпуса. Слушаем всё, что есть: студийные дубли, записи звонков, старые эфиры. Считаем, сколько часов реально пригодны, и помечаем шум, перегрузки и постороннюю речь.
2. Нормализация и схема данных. Один формат, сегменты по 5–12 секунд, без перекрытий, с выровненной громкостью. У каждого фрагмента — диктор, текст и пометка качества.
3. Разметка записей. Транскрипты вычитываем вручную: числа, имена и аббревиатуры пишем так, как их нужно произносить. Спорные фрагменты уходят на отдельное прослушивание.
4. Обучение модели речи. Дообучаем от базовой модели, меняя по одному параметру за итерацию — иначе непонятно, что дало прирост. Переобучение ловим на валидационной выборке и на речи, которой модель не слышала.
5. Слепые прослушивания и приёмка. Носители языка оценивают натуральность, не зная, где наш синтез, а где студийная запись. Порог — MOS 4.3+, отдельно проверяем вопросы и смену интонации.
6. Сложные случаи. Числа, даты, редкие имена, длинные слова, быстрая речь — прогоняем сценарии, где синтез ломается чаще всего.
7. Передача в эксплуатацию. Веса модели, настройки синтеза, словарь произношений и набор проверок — чтобы голос можно было обновлять без нас.

Если слепой тест не дотягивает до порога, возвращаемся к разметке, а не «догоняем» качество шагами обучения: ровнее голос от этого не станет, зато появится риск потерять исходную речь.

Артефакты проекта: модель, данные, регламенты

После проекта у вас остаётся не только синтезированный голос, но и всё, что нужно для его самостоятельной эксплуатации: данные, сборочные скрипты, настройки синтеза и правила обновления. Мы передаём артефакты так, чтобы повторное дообучение на новой порции записей не требовало возвращаться к нам и не останавливало работающий сервис.

• Дообученная модель и промежуточные состояния каждого прогона — есть куда откатиться, если новая версия голоса звучит иначе, чем ожидалось.
• Обучающий корпус с разметкой и контрольными суммами — фиксирует, на каких данных получен результат, и делает повторный прогон воспроизводимым.
• Скрипты подготовки записей и запуска обучения — новая порция реплик обрабатывается и уходит в обучение без ручной сборки.
• Конфигурация синтеза — темп, тембр, длительность пауз, словарь произношений имён и терминов; правится отдельно от модели, пересборка не нужна.
• Регламент обновления голоса — порядок правок и выпуска новой версии без остановки сервиса: теневая проверка на части трафика, сравнение метрик, переключение.
• Отчёт по качеству — оценки натуральности до и после, результаты слепых прослушиваний и набор контрольных фраз для повторной проверки.
• Документация по голосу — где лежат данные и модель, какие права доступа нужны, что делать при ухудшении звучания и куда смотреть в первую очередь.

Кейс: голос для линии поддержки, метрики до и после

Линия поддержки сервисного направления работала на автоответчике с синтезом речи: робот принимал звонок, уточнял категорию обращения и переводил на оператора. На типовых фразах голос звучал ровно, но ломался на доменной лексике — артикулах, номерах договоров, аббревиатурах из внутреннего справочника. Каждый третий вызов начинался с «повторите, пожалуйста», а после разбора записи часть клиентов перезванивала на общую линию.

Под проект сняли шесть часов чистых записей двух операторов поддержки: без музыки на фоне и наложений, с одинаковым темпом речи. Записи разметили по фразам, отдельно собрали словарь произношений для аббревиатур и артикулов, а числовые идентификаторы вынесли на правила чтения по цифрам — модель их не «додумывает». Синтез подключили к действующей телефонии на Amazon Connect потоковым воспроизведением, чтобы реплика начиналась до полной генерации ответа.

Замеры до и после

Слепые прослушивания проводила панель из двенадцати сотрудников, не участвовавших в проекте: им давали перемешанные записи старого и нового голоса без подписи. Оценка разборчивости по шкале MOS выросла с 3,1 до 4,3, доля неверных оглашений артикулов упала с 18% до 2%, а обращения, где клиент просил повторить реплику, сократились втрое. Ошибок в номерах договоров в потоке не осталось.

Ограничение осталось одно: голос устойчив на словаре, который был в записях. Для новых товарных линеек нужна дозапись справочника произношений — это часы работы, а не повторный цикл обучения модели.

Чем дообучение TTS отличается от настройки готового голоса?

Разница в том, с каким слоем модели работает инженер. Настройка готового голоса — это надстройка над словарём произношения: фонетические транскрипции для имён, аббревиатур и терминов, расстановка ударений, правила чтения чисел и дат, скорость, громкость, длительность пауз. Такой слой правит то, как произносится фраза, но не трогает кто её произносит: тембр, подача и характер остаются голосом из коробки.

Дообучение TTS-модели меняет акустику. Модель учится отображению «текст → спектр» на речи конкретного диктора и перенимает то, что словарём не задаётся: плотность и мягкость смычек, придыхание, микропаузы между словами, ровность громкости на длинных фразах. Здесь же появляется интонация в синтезе — мелодика вопроса и утверждения, логические акценты в перечислении, смена эмоционального регистра внутри абзаца. Готовый голос имитирует интонацию усреднённо, потому что обучен на смеси множества дикторов.

Граница между подходами проходит по данным. Словарная настройка не требует ни секунды записи и обратима в один шаг — правила можно откатить или переписать. Дообучение опирается на корпус: нужны десятки минут чистой речи с ровной дикцией и одинаковыми условиями записи. Если материал разнороден по микрофону, комнате или манере, модель усреднит дефекты и перенесёт их в синтез — чинить это на этапе инференса сложнее, чем собрать нормальный корпус.

Практический вывод: если проблема в произношении конкретных слов — закрываем словарём, дообучение избыточно; если нужен тембр вашего диктора и живая интонация — только акустическая настройка. Мы начинаем с аудита задачи и образцов речи: показываем, что удастся вытянуть из имеющихся записей, а где потребуется дозапись — и только после этого считаем сроки.

Технические сомнения по проекту: разбор вопросов

До старта почти всегда всплывает один и тот же набор вопросов: сколько нужно записей, что будет на редких словах и именах, как обновлять голос, когда сервис уже работает у пользователей, и кому принадлежат права на голос диктора. Ниже — короткие ответы, как мы решаем это на практике.

Не просядет ли качество на редких словах и именах?

Просядет, если редкие токены оставить на волю базовой модели. Мы вносим их в словарь и фонетические правила, добираем контексты терминами предметной области и отдельно проверяем фразы с аббревиатурами, числами и названиями. Результат фиксируем метрикой разборчивости MOS — держим не ниже 4.3 из 5.

Как обновляется голос, если сервис уже работает?

Новая версия обучается в отдельном контуре, проходит проверку на эталонном наборе и попадает в ограниченный релиз на долю трафика. Если метрики не проседают, трафик переводится полностью, а прежняя версия остаётся для мгновенного отката. Пользователь подмены не замечает — сервис не останавливается.

Кому принадлежат права на голос диктора?

Диктор подписывает согласие на синтез речи с оговорённым сроком и областью применения, права на обученную модель остаются у заказчика. Это фиксируется в договоре и передаётся вместе с моделью — дальнейшие доработки не привязаны к нам.

Обсудим задачу: старт и первые шаги по голосу

Сроки по дообучению голоса определяются не объёмом записей, а состоянием материалов и тем, насколько рано согласован словарь произношений. Поэтому первый разговор мы ведём как технический разбор: разбираем сценарии, слушаем исходники и сразу говорим, где качество упрётся в данные, а где — в разметку и постановку ударений.

Чтобы вернуться с оценкой сроков и планом работ, а не с общими формулировками, к первому созвону достаточно подготовить:

• образцы голоса — записи носителя в том тракте, в котором он будет звучать: студийный микрофон, гарнитура или телефонный канал;
• тексты под озвучку: сценарии голосового меню, скрипты обзвона, реплики интерфейса;
• словарь терминов, названий и аббревиатур с правильными ударениями и побуквенным чтением;
• требования к подаче: темп, длительность пауз, нейтральная или эмоциональная манера;
• точки интеграции — телефония, приложение, колл-центр: от них зависит формат отдачи аудио;
• ограничения по правам на голос и хранению записей: кто владелец, где храним, у кого доступ;
• контактное лицо, которое принимает результат и подписывает этапы.

На встрече мы разбираем акустику исходников, показываем, каких записей не хватает для устойчивого результата, и фиксируем набор фраз, на котором будем проверять качество синтеза.

После этого материалы уходят в работу: возвращаемся с планом по этапам, сроками каждого шага, точками приёмки и перечнем того, что вы получаете на выходе — обученную модель, словарь произношений, тестовый набор и инструкцию по обновлению голоса.