Интеграция Kandinsky для генерации изображений с русским текстом

Проектируем и внедряем системы искусственного интеллекта: от прототипа до production-ready решения. Наша команда объединяет экспертизу в машинном обучении, дата-инжиниринге и MLOps, чтобы AI работал не в лаборатории, а в реальном бизнесе.
Показано 1 из 1Все 1564 услуг
Интеграция Kandinsky для генерации изображений с русским текстом
Простой
~2-3 дня
Часто задаваемые вопросы

Направления AI-разработки

Этапы разработки AI-решения

Последние работы

  • image_website-b2b-advance_0.webp
    Разработка сайта компании B2B ADVANCE
    1348
  • image_web-applications_feedme_466_0.webp
    Разработка веб-приложения для компании FEEDME
    1247
  • image_websites_belfingroup_462_0.webp
    Разработка веб-сайта для компании БЕЛФИНГРУПП
    949
  • image_ecommerce_furnoro_435_0.webp
    Разработка интернет магазина для компании FURNORO
    1183
  • image_logo-advance_0.webp
    Разработка логотипа компании B2B Advance
    642
  • image_crm_enviok_479_0.webp
    Разработка веб-приложения для компании Enviok
    921

Интеграция Kandinsky (Сбер) для генерации изображений

Заказчик из e-commerce: нужно генерировать изображения товаров с русским текстом на баннерах. Английские модели (SDXL, DALL-E) выдают нелепые надписи — кириллица превращается в иероглифы. Даже после тонкого дообучения на русских данных западные модели часто путают буквы или генерируют нечитаемый текст. Kandinsky от Сбера решает эту проблему нативно: его CLIP-модель обучена на русскоязычных текстах, поэтому промпты вроде «красный валенок с узорами» обрабатываются без перевода. Модель понимает культурные контексты — от «сказки Пушкина» до «советской мозаики». Мы интегрируем Kandinsky двумя способами: через облачное API Сбера (FusionBrain) или разворачиваем модель на ваших GPU с использованием PyTorch и diffusers. Вы получаете суверенитет данных в self-hosted варианте и экономию на GPU-часах при высоких нагрузках.

Сразу уточню: если ваш проект ориентирован на русскоязычную аудиторию, выбор в пользу Kandinsky даёт преимущество по скорости и качеству. Западные модели требуют дополнительной предобработки промптов — переводчика, адаптации стилей. Kandinsky работает из коробки. При этом self-hosted версия обеспечивает суверенитет данных: изображения не покидают ваш контур, что критично для банков, ритейла и госсектора.

Почему Kandinsky лучше западных моделей для русскоязычных проектов?

Kandinsky выигрывает за счет нативной русификации: нет потери смысла при переводе промпта, культурные референсы (сказки, топонимика, советский дизайн) распознаются корректно. Self-hosted версия обеспечивает полный суверенитет данных — изображения не покидают ваш контур. А для специфически русских концепций качество генерации выше, чем у англоцентричных моделей, даже после дообучения.

Какие варианты интеграции Kandinsky существуют?

Выбор варианта зависит от нагрузки, требований к latency и бюджета. Ниже — сравнение ключевых параметров.

Параметр API Сбера Self-hosted (Kandinsky 2.2/3)
Задержка (p99) ~5-10 сек ~1-3 сек (на GPU A100)
Макс. разрешение 1536×1536 1024×1024 (Kandinsky 3)
Стоимость Зависит от тарифа Расходы на GPU + электроэнергию
Контроль данных Обработка на серверах Сбера Полный контроль, on-premise
Интеграция 1-2 дня 1-2 недели
Поддержка рус. промптов Да Да

Kandinsky 2.2: стабильная версия, оптимизирована для инференса. Kandinsky 3: улучшенное качество, поддержка 1024x1024, но требует больше VRAM. Рекомендуем 3 для новых проектов, если позволяет оборудование.

API Сбера

Используем официальный API FusionBrain. Ниже — рабочий клиент на Python с асинхронной polling-логикой.

import httpx
import base64
import asyncio

class KandinskyClient:
    def __init__(self, api_key: str, secret_key: str):
        self.api_key = api_key
        self.secret_key = secret_key
        self.base_url = "https://api-key.fusionbrain.ai/key/api/v1"

    async def generate(
        self,
        prompt: str,
        width: int = 1024,
        height: int = 1024,
        num_images: int = 1,
        style: str = "DEFAULT"  # DEFAULT, KANDINSKY, UHD, ANIME, DIGITAL_ART
    ) -> list[bytes]:
        # Получаем список моделей
        async with httpx.AsyncClient() as client:
            models_resp = await client.get(
                f"{self.base_url}/models",
                headers={"X-Key": f"Key {self.api_key}", "X-Secret": f"Secret {self.secret_key}"}
            )
            model_id = models_resp.json()[0]["id"]

            # Запускаем генерацию
            params = {
                "type": "GENERATE",
                "numImages": num_images,
                "width": width,
                "height": height,
                "generateParams": {"query": prompt},
                "style": style
            }

            gen_resp = await client.post(
                f"{self.base_url}/text2image/run",
                headers={"X-Key": f"Key {self.api_key}", "X-Secret": f"Secret {self.secret_key}"},
                data={"model_id": str(model_id), "params": json.dumps(params)}
            )
            uuid = gen_resp.json()["uuid"]

            # Ожидаем результат
            return await self.poll_result(client, uuid)

    async def poll_result(self, client, uuid: str, max_attempts: int = 30) -> list[bytes]:
        headers = {"X-Key": f"Key {self.api_key}", "X-Secret": f"Secret {self.secret_key}"}
        for _ in range(max_attempts):
            await asyncio.sleep(2)
            resp = await client.get(f"{self.base_url}/text2image/status/{uuid}", headers=headers)
            data = resp.json()
            if data["status"] == "DONE":
                return [base64.b64decode(img) for img in data["images"]]
        raise TimeoutError("Generation timeout")

Self-hosted через Hugging Face

Разворачиваем Kandinsky 2.2 на вашем GPU-сервере. Подходит, если нужно генерировать сотни изображений в минуту и держать данные внутри периметра. В production используем Triton Inference Server для оптимизации инференса, vLLM для управления памятью, MLflow для логирования метрик.

from diffusers import KandinskyV22Pipeline, KandinskyV22PriorPipeline
import torch

prior = KandinskyV22PriorPipeline.from_pretrained(
    "kandinsky-community/kandinsky-2-2-prior",
    torch_dtype=torch.float16
).to("cuda")

pipeline = KandinskyV22Pipeline.from_pretrained(
    "kandinsky-community/kandinsky-2-2-decoder",
    torch_dtype=torch.float16
).to("cuda")

def generate_kandinsky(prompt: str, negative_prompt: str = "") -> bytes:
    # Prior: текст → эмбеддинги
    image_embeds, negative_image_embeds = prior(
        prompt, negative_prompt=negative_prompt
    ).to_tuple()

    # Decoder: эмбеддинги → изображение
    image = pipeline(
        image_embeds=image_embeds,
        negative_image_embeds=negative_image_embeds,
        height=768,
        width=768,
        num_inference_steps=25
    ).images[0]

    import io
    buf = io.BytesIO()
    image.save(buf, format="PNG")
    return buf.getvalue()

Как выбрать между API и self-hosted?

Если нужно быстро протестировать гипотезу или нагрузка невелика — API Сбера запускается за 1-2 дня. Для production с высоким объёмом генераций (500+ изображений в час) и строгими требованиями по latency выбирайте self-hosted. Self-hosted требует GPU с 16+ GB VRAM (например, NVIDIA A10G или A100). Стоимость развёртывания рассчитывается индивидуально, но экономия на GPU-часах при больших объёмах может быть существенной по сравнению с облачным API. Не уверены в выборе? Свяжитесь с нами, мы поможем определиться.

Процесс работы под ключ

Наши инженеры имеют опыт внедрения Kandinsky в production — более 10 успешных проектов. Интеграция проходит по стандартному пайплайну:

  1. Аналитика: изучаем ваши сценарии (размеры, стили, нагрузку).
  2. Проектирование: выбираем вариант (API/self-hosted), проектируем архитектуру.
  3. Реализация: пишем интеграционный код, адаптируем параметры генерации.
  4. Тестирование: проверяем качество на реальных кейсах, измеряем latency.
  5. Деплой: развёртываем в вашу инфраструктуру, настраиваем мониторинг.

Что входит в работу

  • Настройка API или деплой self-hosted модели.
  • Написание клиентской библиотеки на Python.
  • Интеграция с вашим бэкендом (CI/CD, очереди, кеширование).
  • Документация (OpenAPI, README).
  • Обучение команды (1-2 сессии).
  • Техническая поддержка 1 месяц.

Сроки интеграции

Этап API Self-hosted
Аналитика + проектирование 1 день 2-3 дня
Реализация + тестирование 1 день 5-7 дней
Деплой + документация 1 день 2-3 дня
ИТОГО 3 дня 10-14 дней

Типичные ошибки при работе с Kandinsky

  • Неправильный параметр style: если не указать, модель использует DEFAULT, который может не подходить для ваших задач. Для фотореалистичных изображений укажите UHD.
  • Большие размеры через API: размер больше 1536 приводит к ошибке 400. Используйте клиентскую ресайзелку.
  • Self-hosted: несовместимость версий diffusers. Kandinsky 2.2 требует diffusers >= 0.21.0. Проверьте версию в requirements.txt.
  • Ограничение по количеству запросов: API имеет rate limit (по умолчанию 10 запросов/сек). Настройте очередь или переходите на self-hosted.

Если вы столкнулись с этими проблемами — свяжитесь с нами, мы поможем их решить.

Мы берём на себя полный цикл: от выбора модели до передачи готового сервиса в эксплуатацию. В финале вы получаете работающий endpoint, документацию и обученную команду. Гарантируем качество генерации — сравниваем результаты с вашими эталонами до подписания акта.

Свяжитесь с нами — оценим проект за 1 день. Опыт более 5 лет в интеграции нейросетей в production. Получите консультацию по интеграции Kandinsky.

Генеративный AI разработка: от промпта к production API

Нам часто приносят задачу «сгенерируй изображение продукта» — на первый взгляд она простая. Но за этим стоит выбор между десятками моделей, настройка пайплайна инференса, ручное решение проблем consistency, интеграция в продуктовый бэкенд и ответ на вопрос, почему модель генерирует руки с шестью пальцами на стейджинге, но не на продакшене. Разберём направления, с которыми мы работаем.

Генерация изображений: от промпта к production API

Актуальный ландшафт — FLUX.1 [dev/schnell/pro] от Black Forest Labs и Stable Diffusion 3.5. FLUX.1 [schnell] делает 4 шага вместо 20–50 у SDXL — в 5–12 раз быстрее — и при этом держит качество выше. На A100 80GB — 1.2–1.8 с на изображение 1024×1024 при batch_size=4.

Типичная проблема при развёртывании: FLUX.1 [dev] требует 24+ GB VRAM в fp16. На A10G 24GB влезает впритык, при batch_size>1 — OOM. Решение: torch_dtype=torch.bfloat16 + enable_model_cpu_offload() из diffusers, либо квантизация через bitsandbytes в NF4 — падение качества минимально, потребление памяти снижается до 12–14 GB.

ControlNet и IP-Adapter — ключевые инструменты для production-задач, где нужна управляемость. ControlNet с Canny/Depth/Pose картой даёт структурный контроль. IP-Adapter (особенно IP-Adapter-FaceID) позволяет переносить identity персонажа на генерации — это основа для персонализированного контента. Подробнее о ControlNet можно прочитать в Wikipedia.

Кейс: e-commerce фотосъёмка. Ритейлер с 8000 SKU нуждался в lifestyle-фото для каждого продукта. Пайплайн: сегментация продукта (Segment Anything Model 2) → удаление фона → inpainting FLUX.1 [dev] с product image как IP-Adapter reference → upscale через RealESRGAN_x4plus. Стоимость генерации — $0.003/изображение на арендованных A100, vs $15–40 за профессиональную съёмку — экономия в 5000–13000 раз. Throughput — 200 изображений/час на 2× A100. Многолетний опыт 30+ проектов гарантирует, что мы выберем оптимальную модель под вашу задачу — оценку можно получить на старте.

Почему выбор модели — только половина успеха?

Fine-tuning под конкретный стиль или персонаж

Dreambooth и LoRA — стандарт для адаптации под конкретный визуальный стиль или объект. LoRA обучается за 2–4 часа на 20–30 референсных изображениях на одном A100. Rank 16–32 обычно достаточно для стиля, rank 64+ нужен для точного воспроизведения лиц.

Частая ошибка: обучать LoRA слишком долго — модель переобучается на референсы, теряет способность к вариативности. Признак: на cfg_scale=7 все изображения похожи на copy-paste референса. Лечится ранней остановкой (обычно 1500–2000 шагов для 20 изображений) и prior_preservation_loss.

Для более глубокой кастомизации — full fine-tuning через diffusers + accelerate с FSDP на нескольких GPU. Но это уже 40–80 часов обучения и нужен действительно большой датасет (1000+ изображений).

Сравнение подходов к генерации изображений

Модель Скорость (1024×1024, A100) Качество (CLIP score) Управляемость (ControlNet, IP-Adapter) VRAM (fp16)
Stable Diffusion 3.5 2.0–3.5 с 0.28–0.31 через ControlNet (разрешено) 16–20 GB
FLUX.1 [schnell] 0.8–1.2 с 0.30–0.33 ограниченная (без ControlNet) 12–14 GB (4‑шаговый)
FLUX.1 [dev] 3–5 с (50 шагов) 0.32–0.34 через IP-Adapter, ControlNet (адаптер) 24+ GB
Midjourney (API) 5–10 с (очередь) 0.31–0.33 промпт + style reference не требуется

Генерация видео: какие модели лучше?

Модель Доступность Длина Разрешение Управляемость
Sora (OpenAI) API (ограниченный) до 60 с 1080p промпт, image-to-video
Wan2.1 (Alibaba) open weights до 81 кадр 720p промпт, I2V, V2V
CogVideoX-5B open weights 6 с 720p промпт, I2V
Kling 1.6 API до 30 с 1080p промпт, I2V
Mochi-1 open weights 5.4 с 480p промпт

Open-weight видеомодели пока отстают от коммерческих по стабильности и длине. Wan2.1 — лучший выбор для self-hosted: 14B параметров, работает на 2× A100, даёт приемлемое качество для коротких клипов.

Главная боль видеогенерации — temporal consistency: персонаж меняет цвет одежды на третьей секунде, объект «плывёт». Частичное решение — генерация с motion_bucket_id и noise_aug_strength в Stable Video Diffusion, или использование I2V (image-to-video) вместо чистого text-to-video. Как отмечается в исследовании VideoPoet, consistency достигается за счёт обучения на длинных последовательностях.

AnimateDiff остаётся рабочим инструментом для коротких петель и motion-эффектов поверх SD/FLUX. Не Sora, но деплоится локально и предсказуем.

Генерация музыки и аудио

AudioCraft от Meta (MusicGen + AudioGen) — production-готовый стек для музыкальной генерации. musicgen-large (3.3B) генерирует 30 с музыки за ~8 с на A100. Управление через текстовый промпт и melody conditioning — можно задать мелодию напеванием.

Stable Audio Open от Stability AI — альтернатива с длиной до 47 с, лучшая управляемость структурой (intro/verse/chorus). Деплой аналогичен: diffusers + FastAPI.

Для voice-over и озвучки — ElevenLabs API или self-hosted XTTS v2 (см. услугу Speech AI). Для sound design и foley — AudioGen.

3D-генерация: практическое состояние

3D-генерация всё ещё не добралась до той же зрелости, что 2D. Но для конкретных задач инструменты уже рабочие:

TripoSG и Shap-E — text/image-to-3D. Shap-E от OpenAI генерирует простые 3D-меши за секунды, но геометрия грубовата. TripoSG даёт более детальные результаты, но требует постпроцессинга (ремешинг, UV-развёртка).

Wonder3D и Zero123++ — реконструкция 3D из одного изображения. Работают через генерацию multi-view (6–8 видов) и последующее 3D-восстановление через NeuS или instant-ngp.

Gaussian Splatting (3DGS) — не генерация, а реконструкция из серии фото/видео. Для товарных карточек и недвижимости это уже production: 50–200 фото → 3DGS модель за 15–30 мин на RTX 4090 → интерактивный 3D-вьювер в браузере.

Инфраструктура и деплой

Для генеративных моделей критично:

  • Очередь задач — Celery + Redis или Ray Serve. Синхронный HTTP для генерации изображений неприемлем при >5 конкурентных запросов.
  • Кэширование — схожие промпты дают похожие результаты. Семантический кэш через эмбеддинги (faiss + sentence-transformers) может снизить нагрузку на GPU на 20–40%.
  • Мониторинг качества — CLIP score для text-image alignment, FID для оценки распределения генераций. Интеграция в MLflow или Weights & Biases.
  • Хранение — сгенерированные изображения сразу в S3/MinIO, не на диске сервера инференса.

Что входит в работу (deliverables)

Мы берём проект под ключ — от выбора модели до деплоя и мониторинга. В результат входит:

  • Модель (или API-интеграция) с бенчмарками производительности (latency p99, throughput).
  • Документация пайплайна (prompt engineering guide, model card, версии зависимостей).
  • Интеграция с вашим бэкендом (REST/gRPC, очереди).
  • Настроенный мониторинг (дашборды, алерты по дрейфу качества).
  • Обучающий воркшоп для команды (2–4 часа).
  • Гарантийная поддержка 3 месяца после запуска — в рамках сертификата качества на нашу работу.

Исторически мы выполнили 30+ проектов в генеративном AI — это даёт нам право гарантировать результат.

Как строится процесс разработки генеративного AI?

  1. Аналитика (1–2 дня): аудит текущей архитектуры, уточнение use case, выбор моделей и метрик успеха. Оцениваем проект бесплатно.
  2. Proof of Concept (1–3 недели): быстрый прототип на ваших данных — чтобы видеть реальное качество, а не демо из блога.
  3. Проектирование (1–2 недели): архитектура пайплайна, инфраструктура (GPU-кластер/API), план A/B-тестирования.
  4. Реализация и fine-tuning (4–12 недель): разработка, обучение LoRA/full fine-tuning, интеграция с очередью и кэшем.
  5. Тестирование (1–2 недели): нагрузочные тесты, валидация метрик, проверка на edge-case (негативные сценарии).
  6. Деплой и мониторинг (1–2 недели): развёртывание на production, настройка мониторинга, документирование.
Что мы проверяем на этапе Proof of Concept
  • Соответствие ожиданий и реального качества генерации (CLIP score, user study).
  • Скорость инференса при разных batch_size и типах GPU.
  • Вероятность токсичных/некорректных генераций — проверка safety filters.
  • Возможность масштабирования: будет ли модель вывозить пиковую нагрузку.

Сроки ориентировочно

Интеграция готового API (DALL‑E 3, Midjourney API, Stability API) — 1–2 недели. Self-hosted пайплайн с fine-tuning — 6–12 недель. Полная платформа с UI, очередями и мониторингом — 3–6 месяцев. Конкретная стоимость рассчитывается индивидуально после анализа вашего сценария.

Свяжитесь с нами — закажите консультацию, и мы подберём оптимальную архитектуру для вашего проекта. Получите предварительную оценку стоимости и сроков бесплатно.