Настройка Azure Neural TTS: голоса, SSML, потоковый синтез

Почему Azure Neural TTS звучит роботом на живых фразах

На тестовой фразе Azure Neural TTS звучит чисто, а на живой реплике — ломается: ударение уезжает, пауза встаёт посреди словосочетания, к концу длинного абзаца темп плывёт. Заказчик слышит это в первом же ролике, а команда потом переозвучивает фрагменты вручную, потому что править готовую дорожку дороже, чем переделать разметку.

Первый источник дефектов — ударения в омографах, именах и аббревиатурах. Синтезатор выбирает вариант по частотной модели, а не по смыслу фразы, поэтому в тексте про недвижимость «замок» прочитается как строение, а название компании — по буквам. Это лечится не правкой сценария, а словарём произношений и разметкой ударений на этапе подготовки текста.

Второй — просодия: точки и запятые дают одинаковые паузы там, где нужна смысловая, перечисления и вводные читаются на одном дыхании. В диалоге добавляется потеря темпа: реплики синтезируются по отдельности, и интонация вопроса не стыкуется с ответом. Третий — обрывы на длинных репликах: если резать текст по границе запроса, интонационный контур рвётся посередине, и слушатель слышит склейку.

Все три дефекта проявляются только на живом материале — на сценарных фразах их не поймать. Дальше разбираем, как это закрывается: подбор голоса под задачу, словари и просодическая разметка, потоковый синтез без разрывов фразы.

Что даёт настроенный синтез речи: тон, темп, естественность

Настроенный синтез проверяем не на одной красивой фразе, а на контрольной выборке реплик: служебных, длинных, с числами и аббревиатурами. Естественность синтеза здесь — измеримая величина: доля реплик, понятых слушателем с первого раза, без переспроса. До настройки она проседает именно на длинных фрагментах, где теряется интонационный контур и человек просит повторить.

Ровный темп и паузы в озвучке — второй пункт проверки. Разметка пауз идёт по смысловым границам, а не по формальным знакам: реплика из нескольких предложений звучит как одно высказывание, и слушатель успевает обработать мысль до следующей. Паузы перестают быть случайными и встают там, где действительно заканчивается смысл, а не предложение.

Третий пункт — единое звучание голоса на всех каналах. Один и тот же голос в автоответчике, приложении и обучающей записи должен совпадать по высоте, скорости и манере произнесения терминов. Если абонент слышит двух разных дикторов, он перестаёт узнавать сервис, и вся настройка теряет смысл.

Четвёртый — понимание речи на слух в шумной среде и в записи. Прослушивания на одной и той же выборке показывают, сколько раз просят повторить и сколько команд выполняют после первого озвучивания. На выходе получаем не «более живой голос», а предсказуемый результат: ровный темп в длинных репликах, единое звучание на всех каналах и меньшую долю переспросов в диалоге.

Способы синтеза речи: сравнение режимов и ограничений

Режим синтеза выбирают не по красоте звучания, а по профилю нагрузки. Один и тот же голос в реальном времени отдаёт аудио частями, пакетный синтез ставит задачу в очередь, а заранее подготовленные реплики уходят мгновенно. Ниже — рабочие варианты и то, где каждый упирается в ограничения.

Разметка — второй слой ограничений. Паузы, темп, ударения, произношение аббревиатур и чисел поддерживаются не везде: полный набор дают серверные нейронные голоса, потоковые и локальные сценарии — частично. Поэтому подготовку текста к озвучке ведём до синтеза: нормализуем числа и сокращения, расставляем паузы, и только потом выбираем голос — иначе правка задним числом ломает уже собранный предсинтез.

Перед запуском прогоняем нагрузочный тест на профиле, близком к боевому: сколько одновременных сессий держит потоковый режим, как ведёт себя очередь при пике, что происходит с готовыми фразами при смене голоса. Ограничения квот и длины запроса в Azure Neural TTS задаются на уровне сервиса и различаются по режимам — это фиксируем в схеме заранее, вместе с буферами, повторами и правилами инвалидации.

Как проходит настройка Neural TTS под ваш сценарий

Настройка синтеза — это не выбор голоса из каталога. Neural TTS ровно звучит на нейтральных фразах и ломается на длинных числах, аббревиатурах, латинице и названиях — а именно они чаще всего и попадают в реплики. Поэтому начинаем с аудита того, что система будет произносить в реальности, а не с демонстрационных примеров.

1. Аудит сценариев озвучки. Выгружаем реальные тексты: реплики диалога, номера заказов, адреса, единицы измерения, термины. Помечаем типы фраз, которые звучат неверно, — это карта работ.
2. Подбор голоса и стиля. Сравниваем кандидатов на одних и тех же фразах из вашей выборки, а не на эталонных примерах поставщика: слушаем худшие случаи, а не лучшие.
3. Словарь произношений. Заводим правила для аббревиатур, дат, чисел, телефонов и названий: где читать по буквам, где по слогам, где менять ударение.
4. Разметка SSML. Настраиваем паузы, темп, интонацию вопроса и утверждения, смену голоса внутри реплики — там, где смысл важнее ровности звучания.
5. Потоковый синтез. Разбиваем ответ на фрагменты и отдаём первый в звук, не дожидаясь конца текста: голосовой бот начинает говорить сразу, а не после полной генерации.
6. Проверка озвучки на реальных фразах. Прогоняем эталонную выборку, слушаем и фиксируем регрессионный набор — после каждой правки словаря он проверяется заново.
7. Передача настроек. Отдаём словари, шаблоны разметки, справочник голосов и тестовый набор: ваша команда добавляет новые фразы, не пересобирая всё заново.

Профили голосов, правила произношения и регламенты

Каждое внедрение синтеза речи заканчивается не показом голоса, а комплектом артефактов, которыми команда заказчика пользуется дальше без нас. Ниже — минимальный набор, который передаём вместе с работающей интеграцией на Azure Neural TTS.

• Наборы голосов под сценарии. Для каждого канала — телефония, озвучка видео, короткие уведомления — зафиксированы диктор, темп и манера; смена голоса в одном канале не задевает остальные.
• Словари произношения терминов. Бренды, аббревиатуры, артикулы и единицы измерения вынесены из кода в отдельный файл: правка произношения не требует новой сборки приложения.
• Правила нормализации текста. Описано, как числа, даты, латиница и дефисы превращаются в произносимую строку, — чтобы артикул «А-1024» не читался как вычитание.
• Схема подключения синтеза. Куда обращается сервис-потребитель, как передаются ключи, где буферизуется звук и что происходит при обрыве связи или задержке ответа.
• Регламент эксплуатации. Лимиты по объёму символов, порядок ротации ключей, поведение при деградации сервиса и ответственный за изменения голосового состава.
• Набор эталонных фраз. Три-четыре десятка записей с ожидаемым результатом: после правки словаря или голоса прогон показывает, что именно изменилось.

Конфигурации, словари и схему передаём в репозитории, а не описанием в переписке: изменения голосового состава проходят ревью и откатываются так же, как код.

Кейс: как убрали обрывы и роботизированную интонацию

Голосовой ассистент в поддержке озвучивал статусы заявок и подсказки операторам прямо в момент разговора. Синтез шёл через Azure Neural TTS, но на потоковой выдаче длинные фразы рвались: человек слышал начало и тишину. Доля реплик, которые абонент не разбирал с первого раза, доходила до 13%.

Треть обращений в поддержку была про обрывы речи. Время до первого звука в диалоге доходило до двух секунд — абонент успевал повторить вопрос, и сценарий терял нить.

Что изменили

• Тексты перевели в SSML: расставили паузы между смысловыми блоками, ограничили темп на длинных номерах заявок, добавили словарь произношений для аббревиатур и артикулов.
• Выдачу перевели на потоковый синтез с предзагрузкой первого фрагмента — звук стартует, не дожидаясь разбора всей фразы.
• Частые реплики вынесли в локальный буфер готовых фраз, голос синхронизировали с брендом по тембру и темпу.
• Добавили телеметрию: время до первого фрагмента, доля прерываний и переспросов по каждой фразе, с автоматическим откатом на предыдущий профиль голоса при деградации.

После доработки обрывы в потоке — 0,4% против 12%, переспросы — 4%, время до первого звука — 0,3–0,4 с. Обращения в поддержку по качеству озвучки сократились втрое, и диалог стал отвечать в темпе разговора, а не после паузы.

Чем потоковый синтез отличается от пакетного

Пакетный синтез работает с текстом, который известен целиком: движок получает весь блок и возвращает готовый аудиофайл. Задержка до первого звука здесь складывается из времени генерации всего фрагмента, зато воспроизведение идёт без разрывов, а результат можно прослушать и забраковать до публикации.

Потоковый синтез отдаёт звук частями по мере поступления текста — движок начинает говорить, пока остальная часть ответа ещё только формируется. Azure Neural TTS поддерживает оба режима, и разница между ними не в качестве голоса, а в том, в какой момент приходит звук. Именно поток даёт озвучку в реальном времени: задержка ответа голосом падает до десятых долей секунды вместо секунд.

Выбор определяется тем, кто ждёт звука. Если аудио уходит в файл, в подкаст или в запись разговора — пакетный режим дешевле по ресурсам и проще в отладке, там задержка не видна получателю. Если человек слушает ответ в момент разговора, пакетная генерация слышна как пауза: пользователь воспринимает её как «система зависла» и переспрашивает, что ломает сценарий целиком.

На практике гибрид закрывает почти все задачи: короткие служебные фразы и приветствия синтезируются заранее и лежат готовыми, а содержательная часть — ответ на вопрос, фрагмент документа, имя — уходит потоком. Так основной сценарий отвечает мгновенно, а длинные редкие реплики не занимают память заранее подготовленными файлами.

Вопросы, которые задают перед настройкой синтеза

Перед настройкой синтеза на Azure Neural TTS всплывают одни и те же вопросы — про риски, а не про технологию: что придётся переделывать, как это отразится на выпущенном контенте и кто отвечает за результат.

Что будет с уже настроенным синтезом при миграции?

Переносим словарь произношений, шаблоны разметки и логику реплик, затем сверяем старый и новый голос на эталонных фразах. Переключение идёт по частям, откат на прежний сервис доступен до конца сверки.

Где будет звучать озвучка — на всех устройствах?

Синтез отдаёт обычный аудиофайл или поток, поэтому запись звучит и на смартфонах, и на старых плеерах, и в умных колонках. Отдельно проверяем разборчивость на слабых динамиках.

Кто готовит тексты к озвучке?

Можем взять на себя: расставляем ударения, раскрываем сокращения, превращаем таблицы и числа в читаемые фразы, вычищаем служебные пометки. Если тексты готовит ваша редакция, отдаём правила оформления и словарь.

Кто отвечает за произношение названий и терминов?

Термины, бренды и аббревиатуры заносим в словарь произношений и фиксируем эталонную запись. Приёмка идёт на выборке: вы слушаете спорные фрагменты и подтверждаете их до публикации.

Обсудим задачу синтеза речи под ваш продукт

Чтобы оценка проекта синтеза опиралась на ваши данные, а не на средние цифры, достаточно небольшого набора материалов. Опишите задачу озвучки так, как она живёт в продукте: где звучит голос, кто его слышит и что происходит при задержке реплики. По ним мы вернёмся с планом внедрения синтеза и сроком.

• Примеры реальных текстов: реплики из продукта, а не выдержки из документации — на них видны длина фраз, числа, аббревиатуры и вставки, которые чаще всего ломают произношение.
• Сценарии озвучки с нагрузкой: сколько реплик в час в пике, сколько голосов звучит одновременно, какой отклик допустим — от этого зависит, что синтезируется заранее, а что отдаётся потоком.
• Требования к голосам: язык, темп, тембр, нужен ли собственный диктор и запись для клонирования, какие роли должны звучать по-разному.
• Условия работы продукта: телефония, мобильное приложение, офлайн-устройство или колл-центр — и какие каналы связи с сервисом синтеза там доступны.
• Что уже есть: текущая схема озвучки, узкие места, жалобы пользователей, метрики разборчивости.
• Проблемные фразы: 5–10 примеров с паузами, ударениями, названиями брендов и терминами, которые сейчас звучат неверно.
• Ограничения по данным: можно ли отправлять тексты во внешний сервис, нужна ли обработка на вашей стороне.

Часть пунктов обычно отсутствует — это нормально: что-то уточним на созвоне, что-то закроем тестовым прогоном на ваших репликах. Пришлите то, что есть, — разберём сценарии озвучки и вернёмся с оценкой и планом.