Text-to-Speech система: синтез речи с кастомизацией голоса

Синтез речи: где ломается качество и что замечает клиент

Качество синтеза оценивают не по тембру, а по просодии: где стоят паузы, на какое слово падает фразовое ударение, как меняется тон к концу фразы. Модель, обученная на ровном дикторском чтении, держит одинаковую интонацию, и слушатель перестаёт различать смысловые блоки. В голосовом меню или в длинной инструкции это оборачивается потерей смысла на слух: человек выключает озвучку и возвращается к тексту.

Другой класс сбоев — фонетика на стыках и подготовка текста. Окончания и предлоги проглатываются на быстром темпе, имена и аббревиатуры читаются по буквам, числа встают в неверный падеж. Формально фраза произнесена целиком, но на слух неразборчива, поэтому проверяем не только акустику, но и нормализацию до подачи в модель синтеза речи.

Отдельная зона риска — кастомизация голоса. Клонирование по короткому образцу повторяет тембр, но не перенимает просодию диктора: голос плывёт на длинных абзацах, эмоциональный диапазон сужается, а на терминах звучит чужеродно. Поэтому естественность звучания мы измеряем на реальных текстах заказчика, а не на демонстрационных фразах.

В синхронных сценариях добавляется рассинхрон с субтитрами: тайминги считаются по границам фонем, и при неверной разметке подпись появляется раньше реплики или отстаёт от неё, а в дубляже ломается попадание в артикуляцию. Каждый из этих дефектов виден в метриках и воспроизводим на тестовом наборе — разбираем, как это закрывается на уровне данных, настройки просодии и отбраковки дублей.

Что даёт кастомный голос: измеримый эффект для продукта

Кастомный голос перестаёт быть вопросом вкуса, когда его измеряют. Мы сравниваем синтез на собственном голосовом профиле с базовым диктором по трём осям: доля разборчивых фраз, время озвучки массива текстов и число повторных обращений к записи. Так эффект становится проверяемым до релиза, а не оценивается «на слух».

Разборчивость и узнаваемость бренда

Разборчивость считаем по методике субъективной оценки Mean Opinion Score: оценщики плюс автоматическая сверка с эталонной расшифровкой дают долю фраз, понятых без переспроса. На именах, аббревиатурах и числах кастомный голос держит её заметно выше универсального диктора. Узнаваемость бренда — следствие: слушатель опознаёт голос компании в первые секунды, ещё до того, как прозвучит название.

Скорость озвучки и повторные обращения

Массив из нескольких тысяч коротких реплик озвучивается одним прогоном вместо многодневной студийной записи, а правка текста не требует нового дубля. Повторные обращения к записи падают: смысл считывается с первого прослушивания, доля переспросов в поддержке снижается кратно, и один и тот же голос работает в рекламе, приложении и автоответчике без расхождений.

Подходы к синтезу речи: сравнение вариантов по задаче

Выбор способа синтеза речи определяется задачей, а не модой на модели: сколько фраз в словаре, насколько голос должен быть уникальным, есть ли доступ к диктору и сколько времени отведено до запуска. Готовые голоса закрывают типовые сценарии, а кастомизация нужна там, где голос — часть бренда или носитель отраслевой терминологии. Перед обучением фиксируем три параметра: требования к произношению имён и терминов, допустимую задержку синтеза в диалоге и юридическую чистоту записи диктора.

Как отличаются способы синтеза речи

Что выбираем на практике

Гибридная схема выигрывает там, где продукт говорит разными голосами: основной контент — на дообученном голосе диктора, короткие служебные реплики — на готовом, чтобы не расходовать ресурс модели на однотипные фразы. Качество принимаем слепым прослушиванием: разборчивость, естественность интонации, ошибки в терминах и именах. Запись диктора планируем отдельным ранним этапом — это самая долгая часть подготовки, и переносить её на конец проекта не стоит.

Порядок работ: от разбора записей до приёмки результата

Речь нельзя дообучить «на глаз»: результат зависит от того, что лежит в исходных записях. Поэтому порядок работ начинается с инвентаризации — если в архиве треть дублей и разный уровень шума, это выясняется до обучения, а не на приёмке.

Аудит, схема, корпус

1. Аудит материалов: считаем часы чистых записей на диктора, находим дубли, перезаписи, фрагменты с музыкой и переговорным шумом. На выходе — таблица, сколько материала пригодно и где разметка расходится с аудио.
2. Схема решения: фиксируем целевой голос, доменные слова и аббревиатуры, которые система обязана произносить верно, и набор фраз для приёмки.
3. Подготовка корпуса: единый формат записей, выравнивание уровня, чистка пауз и щелчков, синхронизация текста с аудио, словарь произношений для чисел и имён собственных.

Обучение и приёмка

• Обучение модели: сначала базовая, затем адаптация под целевой голос. Каждую версию прогоняем на контрольных примерах — на малом корпусе легко получить переобучение и «плавающее» звучание.
• Проверка на контрольных примерах: набор согласован заранее и не меняется — разборчивость, интонация, числа, латиница, редкие термины. Оценка двойная: машинная метрика плюс слепое прослушивание.
• Приёмка результата: метрики на отложенной части корпуса, выгрузка модели, словаря и конфигурации синтеза, документация по воспроизведению результата. Предыдущая версия остаётся на месте — откат занимает минуты, а не повторное обучение.

Что передаём на руки: голосовая модель и документация

Отдаём не только звук, но и всё, чем этот звук управляется дальше. Состав передачи собран так, чтобы команда заказчика могла менять произношение, тексты и стиль подачи своими руками, не возвращаясь к нам за каждой правкой.

Голосовая модель и словарь произношений

• Обученная голосовая модель с карточкой: диапазон тембра, темп, расстановка паузы, допустимые стили чтения.
• Словарь произношений: ударения, омографы, аббревиатуры, топонимы, названия продуктов и должностей — правки вносятся без переобучения.
• Профили синтеза под сценарии: короткие подсказки, длинные тексты, эмоциональная подача для рекламных вставок.

Регламент, тесты и передача

• Регламент обновлений: по каким признакам запускаем дообучение, кто утверждает, как возвращаемся на предыдущую версию голосовой модели.
• Наборы тестовых фраз с эталонными записями — обязательный прогон перед каждым изменением модели или словаря.
• Схемы интеграции: потоковый синтез, пакетная генерация, повторное использование готовых фрагментов.
• Инструкции для команды заказчика: подключение, типовые ошибки, что делать при просадке разборчивости.
• Чек-лист приёмки: как проверить, что новая модель и словарь действительно применились в рабочем контуре.

Каждый пункт закрывается демонстрацией на реальных фразах заказчика: если синтез речи звучит иначе, чем ожидалось, — правка вносится до подписания передачи.

Пример внедрения: голосовой помощник и рост точности ответов

Голосовой помощник принимал входящие обращения по тарифам, подключениям и записи в сервисные центры — до 1,5 тыс. разговоров в сутки. Узким местом оказался не разбор речи, а синтез: доля неверно озвученных названий доходила до 6%, и почти столько же реплик клиент просил повторить.

Исходная точка

Распознавание работало штатно, поэтому причину искали долго. Ломались ударения в составных названиях, аббревиатуры читались по буквам, а топонимы звучали по общим правилам модели, а не так, как их произносят в регионе. Подготовка отдельного голоса под новый сценарий занимала до трёх недель: почти всё время уходило на ручную разметку и правки произношения.

Что дало внедрение

Мы собрали лексикон произношений: транскрипции, ударные слоги, правила чтения аббревиатур и числительных по всей номенклатуре. Голос дообучили на записях диктора с сохранением тембра, а обновления прогоняем через приёмочный набор из 1,5 тыс. живых фраз — расхождения уходят в регрессионный набор. Качество считаем не средней оценкой по шкале MOS, а долей отказов на конкретных названиях.

Порядок переносится на любой сценарий: синтез проверяют на живой номенклатуре заказчика, а не на нейтральных примерах. Лексикон и регрессионный набор остаются частью релиза — новый голос не возвращает ошибки, которые уже закрыты.

Чем отличается клонирование голоса от записи диктора?

Это два разных пути к одному результату. Запись диктора даёт эталонный набор: каждую фразу произносит живой человек, а синтез собирает речь из записанных фрагментов. Клонирование голоса строит модель тембра по образцам и порождает любые фразы, включая те, что носитель никогда не произносил.

Разница в объёме материалов — на порядки. Для записи диктора нужна студийная сессия на несколько часов чистого текста с плотным фонетическим покрытием, иначе синтез спотыкается на редких сочетаниях. Клонированию хватает нескольких минут чистой речи — столько нужно моделям вида XTTS без дообучения, а до часа записей, если тембр подгоняют под проект отдельно.

Ограничения у подходов разной природы. Клонирование наследует дефекты образцов: шум, обрезанные частоты и разный микрофон между фрагментами модель переносит в синтез. Запись диктора ограничена человеком — его графиком, усталостью и письменным согласием на использование голоса.

Выбор упирается в сценарий: для обновляемого контента и десятков голосов выигрывает клонирование, для эталонного качества — запись.

Частые сомнения перед стартом: сроки, права, поддержка

Перед стартом заказчики задают один и тот же набор вопросов — и это правильные вопросы. Ниже короткие ответы по каждому: сроки, права на модель, приватность записей, акцент и сопровождение.

Кому принадлежат права на модель?

Модель, её веса и код подготовки данных передаём по акту — дообучать можно своей командой или у другого подрядчика. Записи диктора остаются у вас.

Куда уходят тексты и аудио?

В вашем контуре синтез идёт на вашем оборудовании: аудио и текст не покидают периметр, внешние сервисы не задействуются. Журналы запросов обезличиваются.

Что с акцентом и диалектом?

Акцент диктора переносится вместе с тембром — это следствие обучения на его записях. Нужен нейтральный выговор — добавляем в корпус эталонную речь.

Что происходит после сдачи?

Передаём документацию и обучаем вашу команду. Дальше — регламент сопровождения: контроль качества на потоке, дообучение при смене тематики, разбор отклонений.

Обсудим задачу: пришлите примеры записей и требования

Синтез речи оценивают по материалам, а не по описанию: тембр, темп и разборчивость на сложных словах определяют и выбор модели, и срок работ. Поэтому следующий шаг простой — прислать то, что уже есть на руках.

Что полезно приложить к обращению:

• примеры записей — 3–5 фрагментов по 1–3 минуты на каждый голос, с разной интонацией: повествование, вопрос, объявление;
• требования к голосу — тембр, темп, пол, возраст, акцент, допустимые отклонения; отдельно пометьте, нужен ли перенос стиля на новый голос;
• объём озвучки — сколько минут или часов синтезируется сейчас и как корпус будет расти: разовые реплики, поток объявлений или постоянно пополняемый архив;
• сценарии и каналы — телефонная линия, приложение, речевой интерфейс, видеоролики; нужны ли ответы в реальном времени и диалоги;
• произношение — имена, аббревиатуры, термины, числа и единицы измерения, которые голос обязан читать правильно; словарь замен, если он уже есть;
• ограничения — время отклика, пиковая нагрузка, работа без внешних сервисов, правила обработки и хранения данных.

По этим данным собираем план работ: этапы, длительность каждого, состав приёмки и то, что потребуется от вашей стороны. Если часть материалов пока не готова — опишите задачу словами, уточним детали и предложим, с чего начать.