Донавчання моделі TTS на голосі замовника Fine-tuning TTS на голосі конкретної людини дає стабільніший і якісніший результат порівняно з zero-shot клонуванням. Підходить для створення масштабованого брендового голосу з передбачуваною якістю. ### Підготовка даних Мінімальний обсяг для помітного покращення: 30–60 хвилин якісних записів.```
Структура датасета: dataset/ wavs/ 001.wav # 5–15 секунд 002.wav ... metadata.csv # filename|text
```python
import pandas as pd
from pathlib import Path
import soundfile as sf
import numpy as np
def validate_dataset(dataset_dir: str) -> dict:
"""Проверяем датасет перед обучением"""
metadata = pd.read_csv(f"{dataset_dir}/metadata.csv",
sep="|", names=["file", "text"])
stats = {
"total_files": len(metadata),
"total_duration": 0,
"errors": []
}
for _, row in metadata.iterrows():
wav_path = f"{dataset_dir}/wavs/{row['file']}.wav"
if not Path(wav_path).exists():
stats["errors"].append(f"Missing: {wav_path}")
continue
audio, sr = sf.read(wav_path)
duration = len(audio) / sr
stats["total_duration"] += duration
if sr != 22050:
stats["errors"].append(f"Wrong SR {sr}: {wav_path}")
if duration < 1.0 or duration > 15.0:
stats["errors"].append(f"Bad duration {duration:.1f}s: {wav_path}")
stats["total_duration_min"] = stats["total_duration"] / 60
return stats
```### Fine-tuning XTTS v2```python
from trainer import Trainer, TrainerArgs
from TTS.tts.configs.xtts_config import XttsConfig
from TTS.tts.models.xtts import Xtts
config = XttsConfig()
config.load_json("base_xtts_config.json")
# Параметры fine-tuning
config.audio.output_sample_rate = 24000
config.batch_size = 4
config.eval_batch_size = 2
config.num_loader_workers = 4
# Fine-tuning только decoder (быстрее, меньше данных)
config.trainer_args = {
"epochs": 100,
"save_step": 1000,
"print_step": 50,
"eval_split_size": 0.1
}
```### Оцінка якості MOS (Mean Opinion Score) - основна метрика: - Baseline XTTS zero-shot: MOS ~3.8 - Після fine-tuning 30 хв даних: MOS ~4.1-4.3 - Після fine-tuning 60+ хв даних: MOS ~4.3-4.5 Об'єктивні ** **SECS** (Speaker Embedding Cosine Similarity): подібність до оригіналу - **WER на зворотному розпізнаванні**: розбірливість ### Інфраструктура для навчання
| Конфігурація | Час навчання (30 хв. даних) | Вартість | |-------------|-------------------------------|-----------| | 1x A100 80GB | ~3-4 години | ~$15 (RunPod) | | 1x A10G | ~6-8 годин | ~$8 | | 1x RTX 4090 | ~8-12 годин | ~$5 (local) | ### Терміни проекту - Збір та очищення датасету: 1–2 тижні - Навчання та оцінка: 3–5 днів - Інтеграція та A/B тест: 3–5 днів - Разом: 3–4 тижні