Кастомний голос для TTS: навчання на VITS, XTTS, YourTTS

Синтез мовлення: VITS і XTTS для кастомного голосу

Власна TTS-модель дає повний контроль над голосом, мовою та стилем — без залежності від зовнішніх API і recurring costs. Актуально для створення унікального брендового голосу, синтезу на рідкісних мовах/діалектах, edge-деплою без інтернету. Ми навчили більше 15 моделей для клієнтів із ритейлу, медіа та голосових асистентів — від коротких рекламних джинглів до повноцінних діалогових систем. Гарантуємо досягнення MOS не нижче 4.0.

Чому варто навчати власну TTS-модель?

Готові хмарні TTS (Google, Yandex, Amazon) накладають обмеження: фіксований набір голосів, вартість за кожен запит, прив'язка до інтернету та затримки. Власна модель вирішує ці проблеми: ви отримуєте ексклюзивний голос, що працює офлайн, з контролем емоційного забарвлення та темпу. Наприклад, один із наших клієнтів (агрегатор доставки) заощадив $3 000 на місяць, перейшовши з платного API на свою модель, навчену на 8 годинах голосу диктора. — Клієнт із ритейлу Економія на API-запитах може сягати $50 000 на рік для великих проєктів.

Як вибрати архітектуру TTS?

Для більшості завдань: XTTS v2 для швидкого запуску з мінімумом даних, VITS для повного навчання з чистим датасетом. XTTS v2 при fine-tuning на 6 хвилинах аудіо дає якість, порівнянну з повним VITS на 10 годинах – це підтверджено нашими вимірами MOS. Завдяки багаторічному досвіду ми підбираємо архітектуру під конкретне завдання.

Підготовка датасету

Мінімальні вимоги для якісного результату:

Формат: 22050 Hz, 16-bit, mono WAV Довжина записів: 2–15 секунд кожен Мінімум: 1000 записів (≈2 години) для розбірливого TTS Рекомендується: 3000–5000 записів (≈8–12 годин) для високої якості Текстовий скрипт: UTF-8, одна репліка на рядок 

Структура датасету:

dataset/ ├── wavs/ │ ├── speaker_001.wav │ ├── speaker_002.wav │ └── ... ├── metadata.csv # filename|transcription └── metadata_val.csv # 10% для валідації 

Передобробка та нормалізація:

import librosa import soundfile as sf import numpy as np from pathlib import Path def preprocess_audio_for_tts( input_dir: str, output_dir: str, target_sr: int = 22050 ) -> dict: stats = {"processed": 0, "skipped": 0, "errors": []} Path(output_dir).mkdir(parents=True, exist_ok=True) for wav_path in Path(input_dir).glob("*.wav"): audio, sr = librosa.load(str(wav_path), sr=target_sr, mono=True) # Обрізаємо тишу audio_trimmed, _ = librosa.effects.trim(audio, top_db=20) # Перевіряємо довжину duration = len(audio_trimmed) / target_sr if duration < 1.5 or duration > 15.0: stats["skipped"] += 1 continue # Нормалізація амплітуди audio_normalized = audio_trimmed / (np.max(np.abs(audio_trimmed)) + 1e-8) audio_normalized *= 0.9 # peak -0.9 дБ output_path = Path(output_dir) / wav_path.name sf.write(str(output_path), audio_normalized, target_sr, subtype="PCM_16") stats["processed"] += 1 return stats 

Навчання VITS

Конфігурація config.json для VITS (Coqui TTS):

{ "model": "vits", "run_name": "my_tts_model", "epochs": 1000, "batch_size": 32, "eval_batch_size": 16, "num_loader_workers": 4, "audio": { "sample_rate": 22050, "win_length": 1024, "hop_length": 256, "num_mels": 80, "mel_fmin": 0, "mel_fmax": null }, "datasets": [{ "name": "my_dataset", "path": "dataset/", "meta_file_train": "metadata.csv", "meta_file_val": "metadata_val.csv" }] } 

Запуск навчання:

from TTS.bin.train_tts import main as train_tts from TTS.config.shared_configs import BaseDatasetConfig from TTS.tts.configs.vits_config import VitsConfig from TTS.tts.datasets import load_tts_samples from TTS.tts.models.vits import Vits, VitsAudioConfig from TTS.trainer import Trainer, TrainerArgs audio_config = VitsAudioConfig( sample_rate=22050, win_length=1024, hop_length=256, num_mels=80, mel_fmin=0, mel_fmax=None ) config = VitsConfig( audio=audio_config, run_name="brand_voice_v1", batch_size=32, eval_batch_size=16, epochs=1000, text_cleaner="phoneme_cleaners", use_phonemes=True, phoneme_language="uk-ua", phoneme_cache_path="phoneme_cache/", output_path="checkpoints/", datasets=[BaseDatasetConfig( formatter="ljspeech", meta_file_train="metadata.csv", path="dataset/" )] ) train_samples, eval_samples = load_tts_samples( config.datasets, eval_split=True, eval_split_size=0.1 ) model = Vits(config, ap=None, tokenizer=None, speaker_manager=None) trainer = Trainer( TrainerArgs(), config, output_path="checkpoints/", model=model, train_samples=train_samples, eval_samples=eval_samples ) trainer.fit() 

XTTS v2 fine-tuning (few-shot)

XTTS v2 підтримує fine-tuning з 3–6 хвилинами аудіо:

from TTS.demos.xtts_ft_demo.xtts_demo import train_gpt # Датасет: мінімум 100 записів по 2–6 секунд кожен train_gpt( language="uk", num_epochs=6, batch_size=4, grad_acumm=1, train_csv="dataset/metadata_train.csv", eval_csv="dataset/metadata_eval.csv", output_path="xtts_ft_checkpoints/" ) 

Після fine-tuning інференс із кастомним голосом:

from TTS.api import TTS tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2") tts.tts_to_file( text="Ласкаво просимо до нашої компанії.", speaker_wav="reference_voice.wav", # 3–10 сек еталонного аудіо language="uk", file_path="output.wav", model_path="xtts_ft_checkpoints/best_model.pth" ) 

Як ми підходимо до навчання TTS-моделей

Наш процес включає п'ять етапів:

1. Аналітика: визначаємо цільову аудиторію голосу, вимоги до мови, емоцій, швидкості. Підбираємо архітектуру (VITS, XTTS, YourTTS) під завдання.
2. Збір і підготовка датасету: запис диктора в студії або очищення існуючих записів. Видаляємо шуми, тишу, нормалізуємо. Розмічаємо тексти.
3. Навчання моделі: запускаємо на GPU-кластері, моніторимо метрики (train/val loss, KL loss, grad_norm). Використовуємо ранню зупинку та чекпойнти.
4. Оцінка якості: прослуховуємо синтез через кожні 100 епох, порівнюємо з еталоном. Досягаємо MOS не нижче 4.0.
5. Деплой та інтеграція: конвертуємо в ONNX для edge або розгортаємо як gRPC/REST API. Надаємо документацію та підтримку.

Інфраструктура навчання

Хмарні варіанти: RunPod ($1.5/год для A100), Lambda Cloud ($1.1/год), Vast.ai (~$0.5–0.8/год для A100).

Post-training: деплой моделі

# ONNX експорт для edge-деплою from TTS.utils.synthesizer import Synthesizer synthesizer = Synthesizer( tts_checkpoint="checkpoints/best_model.pth", tts_config_path="checkpoints/config.json" ) # Інференс wav = synthesizer.tts("Тестова фраза для синтезу") synthesizer.save_wav(wav, "test_output.wav") 

Що входить в роботу

• Навчена модель (VITS, XTTS або YourTTS) з досягнутою якістю не нижче MOS 4.0.
• Датасет у чистому вигляді з розміткою та скриптами передобробки.
• Конфігураційні файли та код для відтворення навчання.
• Інференс-скрипти для локального та серверного використання.
• API-обгортка (FastAPI/gRPC) для інтеграції у ваш сервіс.
• Документація з налаштування та експлуатації.
• Підтримка протягом 2 тижнів після передачі.

Терміни: підготовка датасету (запис + розмітка) — 2–4 тижні. Навчання VITS-моделі — 1–2 тижні (GPU). Інтеграція в production-сервіс з API — 1 тиждень. Повний цикл «з нуля до брендового голосу» — 4–6 тижнів. Отримайте консультацію нашого AI-інженера — ми підберемо оптимальну архітектуру та розрахуємо точні терміни. Замовте навчання TTS-моделі для вашого проєкту.