Реалізація Speech-to-Speech для синхронного перекладу

Реалізація Speech-to-Speech для синхронного перекладу Синхронний переклад – конференції, міжнародні переговори, прямі ефіри. Вимоги жорсткі: затримка трохи більше 3–5 секунд, висока точність термінології, збереження темпу промови оратора. ### Архітектура синхронного перекладу```

[Speaker] → WebRTC → VAD → Chunker → STT → MT → TTS → [Listeners] ↓ sliding window (2–4 сек) Ключові інженерні рішення: - **Sliding window**: не чекаємо кінця пропозиції, переводимо ковзним вікном в 2–4 секунди - **Anticipation**: починаємо TTS до завершення перекладу - **Speed normalization**: прискорюємо TTS, якщо перекладна мова довша за вихідну ### Sliding window транскрипpython import asyncio from collections import deque

class SynchronousTranslator: def init(self, window_sec: float = 3.0, step_sec: float = 1.0): self.window = window_sec self.step = step_sec self.audio_buffer = deque() self.sample_rate = 16000

async def process_stream(self, audio_generator):
    """Обрабатываем аудио скользящим окном"""
    window_samples = int(self.window * self.sample_rate)
    step_samples = int(self.step * self.sample_rate)

    async for chunk in audio_generator:
        self.audio_buffer.extend(chunk)

        if len(self.audio_buffer) >= window_samples:
            window_audio = list(self.audio_buffer)[:window_samples]
            # Сдвигаем буфер на step
            for _ in range(step_samples):
                if self.audio_buffer:
                    self.audio_buffer.popleft()

            # Транскрибируем и переводим
            yield await self.translate_chunk(bytes(window_audio))

### Адаптація швидкості мовиpython from pydub import AudioSegment, effects

def adapt_speech_speed(audio: bytes, target_duration_sec: float) -> bytes: """Ускоряем/замедляем TTS под темп оригинала""" segment = AudioSegment.from_wav(io.BytesIO(audio)) current_duration = len(segment) / 1000

if current_duration == 0:
    return audio

speed_factor = current_duration / target_duration_sec
speed_factor = max(0.7, min(1.5, speed_factor))  # ограничиваем 0.7–1.5x

# Изменение скорости без изменения питча
adjusted = effects.speedup(segment, playback_speed=speed_factor)
output = io.BytesIO()
adjusted.export(output, format="wav")
return output.getvalue()