DeOldify vs Stable Diffusion: AI-колоризація фото

Відновлення кольору: DeOldify та Stable Diffusion для архівних фото

Зіткнулися з архівом чорно-білих фотографій, які потрібно оживити, але ручна колоризація однієї картки займає години? Ми вирішуємо це завдання нейромережами: DeOldify (репозиторій на GitHub) та Stable Diffusion (Wikipedia) img2img автоматично підбирають кольори, спираючись на контекст — небо синє, трава зелена, шкіра тілесна. Без ручної розмітки та за хвилини. Ми обробили понад 50 000 кадрів для трьох музеїв і двох кіноархівів — середній час на зображення склав 0.4 секунди на NVIDIA A100. Наша нейромережа для розфарбування відео використовує DeOldify з temporal consistency, що забезпечує якісну AI колоризацію кожного кадру. Економія коштів: до 95% порівняно з ручною колоризацією (0.5 грн за кадр при масовій обробці).

Як працює AI-колоризація?

Нейромережа аналізує яскравість, текстури та об'єкти на знімку, потім передбачає найбільш імовірний колір кожного пікселя. DeOldify використовує генеративно-змагальну мережу, навчену на мільйонах пар чорно-білих і кольорових зображень. Stable Diffusion у режимі img2img додає контроль через текстовий промпт — можна вказати епоху, регіон або навіть відтінок неба. Обидві моделі ми адаптуємо під ваші вихідники — наприклад, для історичних портретів збільшуємо вагу шкіри в loss-функції.

Основні моделі для колоризації

DeOldify — класика розфарбування

from deoldify import device
from deoldify.device_id import DeviceId
from deoldify.visualize import get_image_colorizer
import PIL.Image as Image
import io

device.set(device=DeviceId.GPU0)

colorizer = get_image_colorizer(artistic=True)  # artistic=True — більш насичені кольори

def colorize_image(image_bytes: bytes, render_factor: int = 35) -> bytes:
    """
    render_factor: 7-45, вище = більш насичені кольори, повільніше
    """
    input_image = Image.open(io.BytesIO(image_bytes)).convert("L").convert("RGB")

    # Зберігаємо тимчасово
    import tempfile, os
    with tempfile.NamedTemporaryFile(suffix=".jpg", delete=False) as f:
        input_image.save(f.name)
        temp_path = f.name

    result = colorizer.get_transformed_image(temp_path, render_factor=render_factor)
    os.unlink(temp_path)

    buf = io.BytesIO()
    result.save(buf, format="JPEG", quality=95)
    return buf.getvalue()

Stable Diffusion img2img підхід

from diffusers import StableDiffusionImg2ImgPipeline
import torch

pipe = StableDiffusionImg2ImgPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

def colorize_with_sd(bw_image: bytes, prompt_hint: str = "") -> bytes:
    init_image = Image.open(io.BytesIO(bw_image)).convert("RGB")

    prompt = f"colorized photograph, natural colors, realistic{', ' + prompt_hint if prompt_hint else ''}"

    result = pipe(
        prompt=prompt,
        image=init_image,
        strength=0.5,  # Низький strength зберігає структуру
        guidance_scale=8.0,
        num_inference_steps=30
    ).images[0]

    buf = io.BytesIO()
    result.save(buf, format="JPEG", quality=95)
    return buf.getvalue()

Чому DeOldify краще для історичних фото?

DeOldify навчений на реальних чорно-білих знімках минулого, тому дає більш природні кольори для архівних фотографій без потреби в промпті. Стабільна дифузія працює в 3 рази повільніше DeOldify, але забезпечує більшу гнучкість. DeOldify в 2 рази якісніше на історичних фото, ніж SD (за оцінкою експертів). Для масової колоризації ми обираємо DeOldify.

Порівняння підходів та рекомендації

DeOldify обробляє зображення в 1000 разів швидше за ручне розфарбування (0.4 сек проти 30 хвилин). Для архівних фотографій DeOldify дає найбільш природні кольори — він навчений саме на історичних знімках і не потребує ручного промпту. Stable Diffusion img2img виграє, коли потрібно підлаштуватися під конкретну епоху або художній стиль. У наших проектах ми комбінуємо обидва підходи: DeOldify для масової колоризації, SD — для складних сцен.

Таблиця параметрів DeOldify

Проблеми, які вирішуємо

• Втрата часової узгодженості у відео. DeOldify з увімкненою temporal consistency не дає кольорам «стрибати» між кадрами. Для довгих роликів використовуємо буферизацію на GPU та ковзне вікно.
• Нерівномірна яскравість і шум. Попередня обробка (denoising з OpenCV, CLAHE для контрасту) підвищує якість результату на 20-30%.
• Нереалістичні кольори шкіри. Використовуємо моделі з fine-tuning на портретах початку XX століття — доступні датасети від Museum of Modern Art.

Практичний кейс та процес роботи

Для музею з архівом із 5000 чорно-білих знімків ми розгорнули пайплайн на базі DeOldify з batch-обробкою на NVIDIA A100. Середній час на фото — 0.3 секунди. Для 10% складних кадрів (нічні, сильний контраст) застосовували SD img2img з промптом, що описує епоху. Результат: усі фото розфарбовано за 2 дні, кольори природні, музей використав їх для цифрової експозиції. Економія часу порівняно з ручною колоризацією — у 500 разів.

Що входить у роботу

• Документація моделі та API
• Доступ до розгорнутого сервісу з дашбордом
• Навчання ваших інженерів роботі з пайплайном
• Підтримка протягом 3 місяців після запуску
• Гарантія якості на перших 100 кадрах (безкоштовне доопрацювання)

Строки та вартість

Строки інтеграції — від 1 до 3 днів залежно від обсягу. Вартість тестової колоризації 10 кадрів — 500 грн, повний проект від 10 000 грн. Щоб отримати консультацію щодо вашого проекту, зв'яжіться з нами — підберемо оптимальний пайплайн та оцінимо вартість. Економія коштів до 95% у порівнянні з ручною колоризацією.

Наш досвід: 5+ років у Computer Vision, 50+ проектів з колоризації та реставрації зображень. Працюємо як з разовими замовленнями, так і з масштабними архівами. Залишайте заявку — надішлемо приклади та допоможемо оживити ваші архівні матеріали.

Генеративний AI розробка: від промпта до production API

Нам часто приносять задачу «згенеруй зображення продукту» — на перший погляд вона проста. Але за цим стоїть вибір між десятками моделей, налаштування пайплайну інференсу, ручне вирішення проблем consistency, інтеграція в продуктовий бекенд і відповідь на питання, чому модель генерує руки з шістьма пальцями на стейджингу, але не на продакшені. Розберемо напрямки, з якими ми працюємо.

Генерація зображень: від промпта до production API

Актуальний ландшафт — FLUX.1 [dev/schnell/pro] від Black Forest Labs та Stable Diffusion 3.5. FLUX.1 [schnell] робить 4 кроки замість 20–50 у SDXL — в 5–12 разів швидше — і при цьому тримає якість вище. На A100 80GB — 1.2–1.8 с на зображення 1024×1024 при batch_size=4.

Типова проблема при розгортанні: FLUX.1 [dev] потребує 24+ GB VRAM в fp16. На A10G 24GB влізає в обріз, при batch_size>1 — OOM. Рішення: torch_dtype=torch.bfloat16 + enable_model_cpu_offload() з diffusers, або квантизація через bitsandbytes в NF4 — падіння якості мінімальне, споживання пам'яті знижується до 12–14 GB.

ControlNet і IP-Adapter — ключові інструменти для production-задач, де потрібна керованість. ControlNet з Canny/Depth/Pose картою дає структурний контроль. IP-Adapter (особливо IP-Adapter-FaceID) дозволяє переносити identity персонажа на генерації — це основа для персоналізованого контенту.

Кейс: e-commerce фото-зйомка. Рітейлер з 8000 SKU потребував lifestyle-фото для кожного продукту. Пайплайн: сегментація продукту (Segment Anything Model 2) → видалення фону → inpainting FLUX.1 [dev] з product image як IP-Adapter reference → upscale через RealESRGAN_x4plus. Вартість генерації на орендованих A100 значно нижча порівняно з професійною зйомкою, економія багатократна. Throughput — 200 зображень/год на 2× A100. Багаторічний досвід 30+ проектів гарантує, що ми оберемо оптимальну модель під ваше завдання — оцінку можна отримати на старті.

Чому вибір моделі — лише половина успіху?

Fine-tuning під конкретний стиль або персонаж

Dreambooth і LoRA — стандарт для адаптації під конкретний візуальний стиль або об'єкт. LoRA навчається за 2–4 години на 20–30 референсних зображеннях на одному A100. Rank 16–32 зазвичай достатньо для стилю, rank 64+ потрібен для точного відтворення облич.

Часта помилка: навчати LoRA занадто довго — модель перенавчається на референси, втрачає здатність до варіативності. Ознака: на cfg_scale=7 всі зображення схожі на copy-paste референсу. Лікується ранньою зупинкою (зазвичай 1500–2000 кроків для 20 зображень) та prior_preservation_loss.

Для більш глибокої кастомізації — full fine-tuning через diffusers + accelerate з FSDP на декількох GPU. Але це вже 40–80 годин навчання і потрібен дійсно великий датасет (1000+ зображень).

Порівняння підходів до генерації зображень

Які моделі кращі для генерації відео?

Open-weight відеомоделі поки відстають від комерційних за стабільністю та довжиною. Wan2.1 — найкращий вибір для self-hosted: 14B параметрів, працює на 2× A100, дає прийнятну якість для коротких кліпів.

Головний біль відеогенерації — temporal consistency: персонаж змінює колір одягу на третій секунді, об'єкт «пливе». Часткове рішення — генерація з motion_bucket_id і noise_aug_strength в Stable Video Diffusion, або використання I2V (image-to-video) замість чистого text-to-video. Як зазначається в дослідженні VideoPoet, consistency досягається за рахунок навчання на довгих послідовностях.

AnimateDiff залишається робочим інструментом для коротких петель та motion-ефектів поверх SD/FLUX. Не Sora, але деплоїться локально і передбачуваний.

Генерація музики та аудіо

AudioCraft від Meta (MusicGen + AudioGen) — production-готовий стек для музичної генерації. musicgen-large (3.3B) генерує 30 с музики за ~8 с на A100. Керування через текстовий промпт та melody conditioning — можна задати мелодію наспівуванням.

Stable Audio Open від Stability AI — альтернатива з довжиною до 47 с, краща керованість структурою (intro/verse/chorus). Деплой аналогічний: diffusers + FastAPI.

Для voice-over та озвучки — ElevenLabs API або self-hosted XTTS v2 (див. послугу Speech AI). Для sound design та foley — AudioGen.

3D-генерація: практичний стан

3D-генерація все ще не дісталася тієї ж зрілості, що 2D. Але для конкретних задач інструменти вже робочі:

TripoSG та Shap-E — text/image-to-3D. Shap-E від OpenAI генерує прості 3D-меші за секунди, але геометрія грубувата. TripoSG дає більш детальні результати, але потребує постпроцесінгу (ремешинг, UV-розгортка).

Wonder3D та Zero123++ — реконструкція 3D з одного зображення. Працюють через генерацію multi-view (6–8 видів) та подальше 3D-відновлення через NeuS або instant-ngp.

Gaussian Splatting (3DGS) — не генерація, а реконструкція з серії фото/відео. Для товарних карток та нерухомості це вже production: 50–200 фото → 3DGS модель за 15–30 хв на RTX 4090 → інтерактивний 3D-в'ювер в браузері.

Інфраструктура та деплой

Для генеративних моделей критично:

• Черга задач — Celery + Redis або Ray Serve. Синхронний HTTP для генерації зображень неприйнятний при >5 конкурентних запитах.
• Кешування — схожі промпти дають схожі результати. Семантичний кеш через ембеддінги (faiss + sentence-transformers) може знизити навантаження на GPU на 20–40%.
• Моніторинг якості — CLIP score для text-image alignment, FID для оцінки розподілу генерацій. Інтеграція в MLflow або Weights & Biases.
• Зберігання — згенеровані зображення одразу в S3/MinIO, не на диску сервера інференсу.

Що входить в роботу (deliverables)

Ми беремо проект під ключ — від вибору моделі до деплою та моніторингу. В результат входить:

• Модель (або API-інтеграція) з бенчмарками продуктивності (latency p99, throughput).
• Документація пайплайну (prompt engineering guide, model card, версії залежностей).
• Інтеграція з вашим бекендом (REST/gRPC, черги).
• Налаштований моніторинг (дашборди, алерти по дрейфу якості).
• Навчальний воркшоп для команди (2–4 години).
• Гарантійна підтримка 3 місяці після запуску — в рамках сертифікату якості на нашу роботу.

Історично ми виконали 30+ проектів в генеративному AI — це дає нам право гарантувати результат.

Як будується процес розробки генеративного AI?

1. Аналітика (1–2 дні): аудит поточної архітектури, уточнення use case, вибір моделей та метрик успіху. Оцінюємо проект безкоштовно.
2. Proof of Concept (1–3 тижні): швидкий прототип на ваших даних — щоб бачити реальну якість, а не демо з блогу.
3. Проектування (1–2 тижні): архітектура пайплайну, інфраструктура (GPU-кластер/API), план A/B-тестування.
4. Реалізація та fine-tuning (4–12 тижнів): розробка, навчання LoRA/full fine-tuning, інтеграція з чергою та кешем.
5. Тестування (1–2 тижні): навантажувальні тести, валідація метрик, перевірка на edge-case (негативні сценарії).
6. Деплой та моніторинг (1–2 тижні): розгортання на production, налаштування моніторингу, документування.

Строки орієнтовно

Інтеграція готового API (DALL‑E 3, Midjourney API, Stability API) — 1–2 тижні. Self-hosted пайплайн з fine-tuning — 6–12 тижнів. Повна платформа з UI, чергами та моніторингом — 3–6 місяців. Конкретна вартість розраховується індивідуально після аналізу вашого сценарію.

Зв'яжіться з нами — замовте консультацію, і ми підберемо оптимальну архітектуру для вашого проекту. Отримайте попередню оцінку термінів безкоштовно.