AI-генерація відео: інтеграція API та self-hosted

Розробка систем AI-генерації відео

Студія запросила автоматичне створення 10-секундних рекламних роликів з фото продуктів. Раніше дизайнери монтували вручну — 2 ролики на день. Ми інтегрували API Kling 1.5 та Runway Gen-3, додали чергу з пріоритетами та постобробку. Продуктивність зросла до 50 роликів на день. Це типовий кейс: AI-генерація відео з текстових або зображення-промптів — вже не іграшка, а робочий інструмент для маркетингу, продакшну, геймдеву та освіти.

Які проблеми вирішуємо

• Нестабільна якість: різні промпти дають різний результат. Наша інтеграція з Kling 1.5 дозволяє задавати negative prompt, CFG scale та режим pro для підвищення керованості. Для Runway підбираємо співвідношення 1280:768 та тривалість 10 сек — цього достатньо для коротких рекламних роликів. Kling 1.5 кращий за Runway за керованістю — negative prompt та cfg_scale дають на 30% більше контролю.
• Затримки генерації: при хмарних API час очікування сягає 5 хвилин. Ми будуємо асинхронні пайплайни з WebSocket-сповіщеннями та чергами на Redis. У self-hosted варіанті (CogVideoX на A100) latency знижується до 2 хвилин на 6-секундний кліп.
• Вартість на масштабі: кожен запит до Kling коштує ~$0.10. При 5 000 роликів на місяць це $500. Self-hosted CogVideoX кращий за хмарні API в 2–3 рази за вартістю при великих обсягах — якщо навантаження перевищує 10 000 запитів/міс, рекомендуємо переходити на власні GPU.

Як інтегрувати Kling API?

Для одного маркетплейсу ми реалізували text-to-video та image-to-video через Kling. Код Python з httpx.AsyncClient та asyncio обробляє до 100 паралельних запитів. Приклад класу KlingVideoGenerator нижче.

import httpx
import asyncio
import json

class KlingVideoGenerator:
    def __init__(self, api_key: str):
        self.api_key = api_key
        self.base_url = "https://api.klingai.com/v1"

    async def text_to_video(
        self,
        prompt: str,
        negative_prompt: str = "",
        duration: int = 5,  # 5 або 10 секунд
        aspect_ratio: str = "16:9",  # 16:9, 9:16, 1:1
        mode: str = "std",  # std (швидше) або pro (якість)
        cfg_scale: float = 0.5
    ) -> str:
        """Створюємо задачу генерації, повертаємо task_id"""
        async with httpx.AsyncClient() as client:
            resp = await client.post(
                f"{self.base_url}/videos/text2video",
                headers={"Authorization": f"Bearer {self.api_key}"},
                json={
                    "prompt": prompt,
                    "negative_prompt": negative_prompt,
                    "cfg_scale": cfg_scale,
                    "mode": mode,
                    "duration": str(duration),
                    "aspect_ratio": aspect_ratio
                }
            )
            return resp.json()["data"]["task_id"]

    async def image_to_video(
        self,
        image_url: str,
        prompt: str = "",
        duration: int = 5,
        motion_intensity: float = 0.5
    ) -> str:
        async with httpx.AsyncClient() as client:
            resp = await client.post(
                f"{self.base_url}/videos/image2video",
                headers={"Authorization": f"Bearer {self.api_key}"},
                json={
                    "image_url": image_url,
                    "prompt": prompt,
                    "duration": str(duration),
                    "cfg_scale": motion_intensity
                }
            )
            return resp.json()["data"]["task_id"]

    async def wait_for_result(self, task_id: str, timeout: int = 300) -> str:
        """Чекаємо завершення, повертаємо URL відео"""
        async with httpx.AsyncClient() as client:
            for _ in range(timeout // 5):
                await asyncio.sleep(5)
                resp = await client.get(
                    f"{self.base_url}/videos/text2video/{task_id}",
                    headers={"Authorization": f"Bearer {self.api_key}"}
                )
                data = resp.json()["data"]
                if data["task_status"] == "succeed":
                    return data["task_result"]["videos"][0]["url"]
                elif data["task_status"] == "failed":
                    raise RuntimeError(f"Generation failed: {data.get('task_status_msg')}")
        raise TimeoutError(f"Video generation timeout after {timeout}s")

Аналогічно інтегрується Runway Gen-3. Різниця — у форматі відповіді та підтримці image-to-video з prompt_image.

Чому варто обрати self-hosted CogVideoX?

Зазначимо: коли обсяг генерацій перевищує 10 000 хвилин на місяць, хмарні API стають дорожчими за GPU-сервер. CogVideoX-5b на A100 (80 GB) видає 49 кадрів за 2 хвилини — це ~6 секунд відео при 8 FPS. Роздільна здатність 720p, але якість наближається до Kling. Ви повністю контролюєте пайплайн, можете донавчати на своїх даних (LoRA) і не платити за кожен запит.

from diffusers import CogVideoXPipeline
import torch

pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-5b",
    torch_dtype=torch.bfloat16
)
pipe.enable_model_cpu_offload()
pipe.vae.enable_tiling()

def generate_video_local(
    prompt: str,
    num_frames: int = 49,  # ~6 сек при 8 fps
    guidance_scale: float = 6.0
) -> str:
    video_frames = pipe(
        prompt=prompt,
        num_videos_per_prompt=1,
        num_inference_steps=50,
        num_frames=num_frames,
        guidance_scale=guidance_scale,
        generator=torch.Generator("cpu").manual_seed(42)
    ).frames[0]

    output_path = "/tmp/output_video.mp4"
    from diffusers.utils import export_to_video
    export_to_video(video_frames, output_path, fps=8)
    return output_path

Як будується процес розробки?

1. Аналітика та вибір моделі — тестуємо Kling, Runway, Sora (якщо доступний), CogVideoX на ваших даних. Збираємо метрики latency p99 та вартість.
2. Проектування архітектури — вирішуємо, який патерн: лише API (швидко) або self-hosted (дешево на масштабі). Документуємо схему.
3. Реалізація інтеграції — пишемо асинхронні клієнти, обробники черг, S3-сховище. Для self-hosted — розгортання з Triton Inference Server та ONNX Runtime для прискорення.
4. Тестування — A/B порівнюємо з ручним монтажем. Заміряємо FID/CLIP та суб'єктивну якість.
5. Деплой та моніторинг — налаштовуємо CI/CD, логування в Loki, алерти в Telegram.

Строки орієнтовно

• Інтеграція одного API (Kling/Runway): від 3 до 5 днів.
• Платформа з кількома провайдерами, чергою та сховищем: від 3 до 4 тижнів.
• Self-hosted CogVideoX + оптимізація: від 4 до 6 тижнів.

Що входить у роботу

• Документація з API та архітектури
• Доступ до репозиторію з кодом
• Навчання команди (2–3 сесії)
• Гарантія 3 місяці на інтеграцію
• Підтримка при релізі (перші 2 тижні)

Порівняння платформ

Застосування по нішах

Якщо вам потрібна AI-генерація відео, зв'яжіться з нами — за 2 дні оцінимо проєкт і запропонуємо оптимальне рішення. Замовте пілотний проєкт і переконайтеся в ефективності.

Генеративний AI розробка: від промпта до production API

Нам часто приносять задачу «згенеруй зображення продукту» — на перший погляд вона проста. Але за цим стоїть вибір між десятками моделей, налаштування пайплайну інференсу, ручне вирішення проблем consistency, інтеграція в продуктовий бекенд і відповідь на питання, чому модель генерує руки з шістьма пальцями на стейджингу, але не на продакшені. Розберемо напрямки, з якими ми працюємо.

Генерація зображень: від промпта до production API

Актуальний ландшафт — FLUX.1 [dev/schnell/pro] від Black Forest Labs та Stable Diffusion 3.5. FLUX.1 [schnell] робить 4 кроки замість 20–50 у SDXL — в 5–12 разів швидше — і при цьому тримає якість вище. На A100 80GB — 1.2–1.8 с на зображення 1024×1024 при batch_size=4.

Типова проблема при розгортанні: FLUX.1 [dev] потребує 24+ GB VRAM в fp16. На A10G 24GB влізає в обріз, при batch_size>1 — OOM. Рішення: torch_dtype=torch.bfloat16 + enable_model_cpu_offload() з diffusers, або квантизація через bitsandbytes в NF4 — падіння якості мінімальне, споживання пам'яті знижується до 12–14 GB.

ControlNet і IP-Adapter — ключові інструменти для production-задач, де потрібна керованість. ControlNet з Canny/Depth/Pose картою дає структурний контроль. IP-Adapter (особливо IP-Adapter-FaceID) дозволяє переносити identity персонажа на генерації — це основа для персоналізованого контенту.

Кейс: e-commerce фото-зйомка. Рітейлер з 8000 SKU потребував lifestyle-фото для кожного продукту. Пайплайн: сегментація продукту (Segment Anything Model 2) → видалення фону → inpainting FLUX.1 [dev] з product image як IP-Adapter reference → upscale через RealESRGAN_x4plus. Вартість генерації на орендованих A100 значно нижча порівняно з професійною зйомкою, економія багатократна. Throughput — 200 зображень/год на 2× A100. Багаторічний досвід 30+ проектів гарантує, що ми оберемо оптимальну модель під ваше завдання — оцінку можна отримати на старті.

Чому вибір моделі — лише половина успіху?

Fine-tuning під конкретний стиль або персонаж

Dreambooth і LoRA — стандарт для адаптації під конкретний візуальний стиль або об'єкт. LoRA навчається за 2–4 години на 20–30 референсних зображеннях на одному A100. Rank 16–32 зазвичай достатньо для стилю, rank 64+ потрібен для точного відтворення облич.

Часта помилка: навчати LoRA занадто довго — модель перенавчається на референси, втрачає здатність до варіативності. Ознака: на cfg_scale=7 всі зображення схожі на copy-paste референсу. Лікується ранньою зупинкою (зазвичай 1500–2000 кроків для 20 зображень) та prior_preservation_loss.

Для більш глибокої кастомізації — full fine-tuning через diffusers + accelerate з FSDP на декількох GPU. Але це вже 40–80 годин навчання і потрібен дійсно великий датасет (1000+ зображень).

Порівняння підходів до генерації зображень

Які моделі кращі для генерації відео?

Open-weight відеомоделі поки відстають від комерційних за стабільністю та довжиною. Wan2.1 — найкращий вибір для self-hosted: 14B параметрів, працює на 2× A100, дає прийнятну якість для коротких кліпів.

Головний біль відеогенерації — temporal consistency: персонаж змінює колір одягу на третій секунді, об'єкт «пливе». Часткове рішення — генерація з motion_bucket_id і noise_aug_strength в Stable Video Diffusion, або використання I2V (image-to-video) замість чистого text-to-video. Як зазначається в дослідженні VideoPoet, consistency досягається за рахунок навчання на довгих послідовностях.

AnimateDiff залишається робочим інструментом для коротких петель та motion-ефектів поверх SD/FLUX. Не Sora, але деплоїться локально і передбачуваний.

Генерація музики та аудіо

AudioCraft від Meta (MusicGen + AudioGen) — production-готовий стек для музичної генерації. musicgen-large (3.3B) генерує 30 с музики за ~8 с на A100. Керування через текстовий промпт та melody conditioning — можна задати мелодію наспівуванням.

Stable Audio Open від Stability AI — альтернатива з довжиною до 47 с, краща керованість структурою (intro/verse/chorus). Деплой аналогічний: diffusers + FastAPI.

Для voice-over та озвучки — ElevenLabs API або self-hosted XTTS v2 (див. послугу Speech AI). Для sound design та foley — AudioGen.

3D-генерація: практичний стан

3D-генерація все ще не дісталася тієї ж зрілості, що 2D. Але для конкретних задач інструменти вже робочі:

TripoSG та Shap-E — text/image-to-3D. Shap-E від OpenAI генерує прості 3D-меші за секунди, але геометрія грубувата. TripoSG дає більш детальні результати, але потребує постпроцесінгу (ремешинг, UV-розгортка).

Wonder3D та Zero123++ — реконструкція 3D з одного зображення. Працюють через генерацію multi-view (6–8 видів) та подальше 3D-відновлення через NeuS або instant-ngp.

Gaussian Splatting (3DGS) — не генерація, а реконструкція з серії фото/відео. Для товарних карток та нерухомості це вже production: 50–200 фото → 3DGS модель за 15–30 хв на RTX 4090 → інтерактивний 3D-в'ювер в браузері.

Інфраструктура та деплой

Для генеративних моделей критично:

• Черга задач — Celery + Redis або Ray Serve. Синхронний HTTP для генерації зображень неприйнятний при >5 конкурентних запитах.
• Кешування — схожі промпти дають схожі результати. Семантичний кеш через ембеддінги (faiss + sentence-transformers) може знизити навантаження на GPU на 20–40%.
• Моніторинг якості — CLIP score для text-image alignment, FID для оцінки розподілу генерацій. Інтеграція в MLflow або Weights & Biases.
• Зберігання — згенеровані зображення одразу в S3/MinIO, не на диску сервера інференсу.

Що входить в роботу (deliverables)

Ми беремо проект під ключ — від вибору моделі до деплою та моніторингу. В результат входить:

• Модель (або API-інтеграція) з бенчмарками продуктивності (latency p99, throughput).
• Документація пайплайну (prompt engineering guide, model card, версії залежностей).
• Інтеграція з вашим бекендом (REST/gRPC, черги).
• Налаштований моніторинг (дашборди, алерти по дрейфу якості).
• Навчальний воркшоп для команди (2–4 години).
• Гарантійна підтримка 3 місяці після запуску — в рамках сертифікату якості на нашу роботу.

Історично ми виконали 30+ проектів в генеративному AI — це дає нам право гарантувати результат.

Як будується процес розробки генеративного AI?

1. Аналітика (1–2 дні): аудит поточної архітектури, уточнення use case, вибір моделей та метрик успіху. Оцінюємо проект безкоштовно.
2. Proof of Concept (1–3 тижні): швидкий прототип на ваших даних — щоб бачити реальну якість, а не демо з блогу.
3. Проектування (1–2 тижні): архітектура пайплайну, інфраструктура (GPU-кластер/API), план A/B-тестування.
4. Реалізація та fine-tuning (4–12 тижнів): розробка, навчання LoRA/full fine-tuning, інтеграція з чергою та кешем.
5. Тестування (1–2 тижні): навантажувальні тести, валідація метрик, перевірка на edge-case (негативні сценарії).
6. Деплой та моніторинг (1–2 тижні): розгортання на production, налаштування моніторингу, документування.

Строки орієнтовно

Інтеграція готового API (DALL‑E 3, Midjourney API, Stability API) — 1–2 тижні. Self-hosted пайплайн з fine-tuning — 6–12 тижнів. Повна платформа з UI, чергами та моніторингом — 3–6 місяців. Конкретна вартість розраховується індивідуально після аналізу вашого сценарію.

Зв'яжіться з нами — замовте консультацію, і ми підберемо оптимальну архітектуру для вашого проекту. Отримайте попередню оцінку термінів безкоштовно.