Розробка систем Text-to-Video генерації під ключ

Розробка систем Text-to-Video генерації

Уявіть: потрібно створити 30-секундний рекламний ролик для запуску продукту. Зйомки — тиждень, постпродакшн — ще два. Text-to-Video генерація (T2V) скорочує цей процес до годин. Але якість часто страждає: об'єкти мерехтять, фон деформується, сюжет втрачає зв'язність. Це і є проблема часової узгодженості — головний бар'єр для комерційного використання T2V. Комерційні API (Kling, Runway, Luma) та open-source моделі CogVideoX досягли рівня, придатного для професійного контенту, але кожен провайдер має обмеження за якістю, швидкістю та контролем. Ми будуємо мультипровайдерні системи T2V, які комбінують провайдерів з автоматичним fallback, оптимізують промпти та за потреби розгортають self-hosted CogVideoX на ваших GPU.

Чому часова узгодженість критична?

Навіть сучасні моделі генерують артефакти: об'єкти тремтять, моргають, зникають між кадрами. Причина — розрив у розподілі між сусідніми кадрами. Це особливо помітно при довгих відео (більше 5 секунд) або високій динаміці. Без вирішення часової узгодженості відео непридатне для реклами, навчання чи контенту. Ми застосовуємо multi-provider підхід та точне налаштування scheduler'ів.

Як ми вирішуємо проблему часової узгодженості?

Основне джерело артефактів — розрив у розподілі між кадрами. Щоб його мінімізувати, використовуємо multi-provider підхід: система намагається згенерувати відео через одного провайдера, і при помилці або артефактах автоматично перемикається на іншого. Для self-hosted CogVideoX застосовуємо DDIM scheduler з timestep_spacing="trailing" та CPU offload — це дає стабільні 49 кадрів (близько 6 секунд) з прийнятною швидкістю. Додатково калібруємо guidance_scale (6.0–8.0) та кількість кроків (50–100) під конкретний prompt. Згідно з документацією Hugging Face Diffusers, DDIM scheduler дозволяє скоротити кількість кроків інференса на 30–50% без втрати якості.

Мультипровайдерний сервіс

from abc import ABC, abstractmethod
import asyncio
import httpx
from enum import Enum

class VideoProvider(Enum):
    KLING = "kling"
    RUNWAY = "runway"
    LUMA = "luma"
    COGVIDEOX = "cogvideox"

class BaseVideoGenerator(ABC):
    @abstractmethod
    async def generate(self, prompt: str, **kwargs) -> bytes:
        ...

class MultiProviderVideoService:
    def __init__(self, providers: dict[VideoProvider, BaseVideoGenerator]):
        self.providers = providers

    async def generate(
        self,
        prompt: str,
        provider: VideoProvider = VideoProvider.KLING,
        fallback: VideoProvider = VideoProvider.RUNWAY,
        **kwargs
    ) -> bytes:
        try:
            return await self.providers[provider].generate(prompt, **kwargs)
        except Exception as e:
            if fallback and fallback != provider:
                return await self.providers[fallback].generate(prompt, **kwargs)
            raise

    async def generate_batch(
        self,
        prompts: list[str],
        provider: VideoProvider = VideoProvider.KLING,
        max_concurrent: int = 5
    ) -> list[bytes]:
        semaphore = asyncio.Semaphore(max_concurrent)
        async def generate_one(prompt):
            async with semaphore:
                return await self.generate(prompt, provider=provider)
        return await asyncio.gather(*[generate_one(p) for p in prompts])

Оптимізація промптів для T2V

from openai import AsyncOpenAI
client = AsyncOpenAI()

async def enhance_video_prompt(
    user_prompt: str,
    style: str = "cinematic",
    duration: int = 5
) -> str:
    """Розширюємо короткий промпт до повного для відеогенерації"""
    response = await client.chat.completions.create(
        model="gpt-4o",
        messages=[{
            "role": "system",
            "content": f"""Розшир промпт для AI-відеогенерації. Додай:
- Рух камери (slow pan, dolly in, aerial shot тощо)
- Атмосферу та освітлення
- Динаміку сцени (що рухається, як)
- Стиль: {style}
Довжина відео: {duration} секунд. Тільки промпт, англійською мовою."""
        }, {
            "role": "user",
            "content": user_prompt
        }]
    )
    return response.choices[0].message.content.strip()

CogVideoX — self-hosted SOTA

from diffusers import CogVideoXPipeline, CogVideoXDDIMScheduler
import torch

class CogVideoXGenerator(BaseVideoGenerator):
    def __init__(self):
        self.pipe = CogVideoXPipeline.from_pretrained(
            "THUDM/CogVideoX-5b",
            torch_dtype=torch.bfloat16
        )
        self.pipe.scheduler = CogVideoXDDIMScheduler.from_config(
            self.pipe.scheduler.config,
            timestep_spacing="trailing"
        )
        self.pipe.enable_model_cpu_offload()
        self.pipe.vae.enable_tiling()

    async def generate(self, prompt: str, num_frames: int = 49, **kwargs) -> bytes:
        from diffusers.utils import export_to_video
        import tempfile

        video_frames = self.pipe(
            prompt=prompt,
            num_videos_per_prompt=1,
            num_inference_steps=50,
            num_frames=num_frames,
            guidance_scale=6.0,
            generator=torch.Generator("cpu").manual_seed(42)
        ).frames[0]

        with tempfile.NamedTemporaryFile(suffix=".mp4", delete=False) as f:
            export_to_video(video_frames, f.name, fps=8)
            return open(f.name, "rb").read()

Порівняння провайдерів: швидкість та вартість

Ми протестували 5 провайдерів: Kling, Runway, Luma, CogVideoX та Gen-2. Результати — у таблиці нижче.

Kling standard у 2 рази дешевший за Runway Gen-3 при порівнянній якості. Self-hosted CogVideoX дає економію до 40% при обсязі від 1000 відео на місяць. При обсязі 500 відео на місяць мультипровайдерна схема знижує витрати на 30% порівняно з єдиним провайдером.

Коли self-hosted вигідніше?

Self-hosted CogVideoX на власних GPU окупається при обсязі понад 1000 відео на місяць за рахунок відсутності похвилинної оплати. Ви отримуєте повний контроль над моделлю: можете змінювати scheduler, guidance scale, кількість кроків, а також донавчати на своїх даних. Для порівняння, API провайдери обмежують context window (зазвичай 77 токенів) і не дають керувати seed для відтворюваності. CogVideoX підтримує до 49 кадрів (близько 6 секунд) при частоті 8 FPS, що достатньо для тизерів та реклами.

Що входить у розробку під ключ?

1. Аналітика: підбір провайдерів та архітектури під ваші задачі. Оцінюємо latency, бюджет, вимоги до якості.
2. Проектування: мультипровайдерна система з чергами, fallback, кешуванням та моніторингом.
3. Реалізація: інтеграція API, розгортання CogVideoX на серверах (A100/H100), написання коду з використанням PyTorch, Hugging Face Diffusers.
4. Тестування: перевірка часової узгодженості, вимірювання p99 latency, стрес-тести при 100+ паралельних запитах.
5. Деплой: налаштування моніторингу (Prometheus + Grafana), CI/CD для оновлень, автоматичне масштабування.
6. Документація: передача вихідного коду, інструкції для операторів, навчання команди.

Строки та вартість

Базова мультипровайдерна інтеграція з чергою — від 1 тижня. Self-hosted рішення на CogVideoX з оптимізацією інференсу — від 2 тижнів. Fine-tuning моделі під ваш домен — від 4 тижнів. Вартість розраховується індивідуально та варіюється від $15 000 до $50 000 залежно від кількості провайдерів та необхідності self-hosted. Оцінимо ваш проєкт за 1 день — отримайте консультацію інженера та комерційну пропозицію. Зв'яжіться з нами для оцінки проєкту.

Наші компетенції

Ми — команда AI/ML інженерів з досвідом у генеративних моделях (T2V, T2I, LLM). Запустили понад 10 проєктів з генерації відео, використовуючи PyTorch, Hugging Face, LangChain. Гарантуємо якість, дотримання строків та прозорість розробки.