Реалізація Zero-Shot Voice Cloning Zero-shot voice cloning клонує голос із кількох секунд аудіо без попереднього навчання – модель «розуміє» голос у inference-time. Сучасні системи досягають SECS > 0.85 (cosine similarity з оригіналом) за 5 секунд референсу. ### Сучасні zero-shot моделі XTTS v2 — найкращий open-source вибір:```python
from TTS.api import TTS import torch
model = TTS("tts_models/multilingual/multi-dataset/xtts_v2").to("cuda")
wav = model.tts(
text="Это синтез с нулевым обучением.",
speaker_wav="reference_3sec.wav", # минимум 3 секунды
language="ru"
)
**YourTTS** - попередник XTTS, але підтримує російську:python
model = TTS("tts_models/multilingual/multi-dataset/your_tts").to("cuda")
**Tortoise TTS** (англійська, вища якість):python
pip install tortoise-tts
from tortoise.api import TextToSpeech
tts = TextToSpeech()
gen = tts.tts_with_preset("Hello world", voice_samples=[...], preset="ultra_fast")
### Вплив довжини референсу на якість | Референс | SECS | MOS | |----------|------|-----| | 3 секунди 0.75-0.80 | 3.5-3.8 | | 6 секунд | 0.82-0.87 | 3.8-4.1 | | 15 секунд | 0.87-0.91 | 4.0-4.3 | | 30+ секунд | 0.90-0.94 | 4.2-4.5 | ### Оптимізація референсного аудіоpython
import librosa
import soundfile as sf
import numpy as np
def prepare_reference_audio(input_path: str, output_path: str): """Оптимизируем референс для лучшего клонирования""" audio, sr = librosa.load(input_path, sr=22050)
# Нормализация громкости
audio = audio / np.max(np.abs(audio)) * 0.95
# Подавление шума через spectral gating
import noisereduce as nr
audio = nr.reduce_noise(y=audio, sr=sr)
# Обрезаем тишину в начале/конце
audio, _ = librosa.effects.trim(audio, top_db=20)
sf.write(output_path, audio, sr)
return len(audio) / sr # длина в секундах
### Batch-клонування для масштабуванняpython
async def clone_voice_batch(
texts: list[str],
reference_audio: str
) -> list[np.ndarray]:
"""Параллельная генерация нескольких фраз одним голосом"""
tasks = [
asyncio.get_event_loop().run_in_executor(
None,
lambda t=text: model.tts(t, speaker_wav=reference_audio, language="ru")
)
for text in texts
]
return await asyncio.gather(*tasks)