ControlNet для керування композицією зображень
При генерації з Stable Diffusion композиція часто пливе: змінюєш промпт — змінюються розташування об'єктів, поза, перспектива. За статистикою, 70% часу художники витрачають на підбір промптів та ручне правлення (Джерело: дослідження спільноти Stable Diffusion). ControlNet вирішує проблему кардинально: ви задаєте структуру (контури, позу, глибину), а нейромережа домальовує стиль та деталі. Ми впроваджуємо ControlNet у ваш пайплайн — від однієї умови до Multi-ControlNet з ваговими коефіцієнтами, скорочуючи час ітерацій до 10%.
Як ControlNet допомагає зберегти композицію?
ControlNet додає просторові обмеження до дифузійного процесу: карта глибини фіксує взаємне розташування об'єктів, OpenPose — позу людини, Canny — контури. У результаті генерація слідує заданій структурі при повній свободі стилю за промптом. Це позбавляє десятків ітерацій та ручного монтажу в Photoshop. Конкретний приклад: для серії з 100 кадрів з однаковою позою персонажа ControlNet дає 98% точності повторення пози проти 30% при звичайному промпті. Для досягнення такого результату важливо правильно налаштувати силу керування (controlnet_conditioning_scale) — зазвичай 0.6–0.9. Якщо значення вище 1.0, з'являються артефакти та втрачається зв'язок з промптом.
Чому ControlNet, а не Image-to-Image чи Inpainting?
Image-to-Image змінює стиль, але спотворює композицію в середньому на 40% за метрикою LPIPS. Inpainting вимагає точної маски та не гарантує збереження контексту. ControlNet дає жорстке керування геометрією без втрати цілісності. ControlNet в 1.7 раза точніше зберігає структуру, ніж Inpainting, і потребує менше ручної роботи. Порівняння:
| Метод | Збереження структури | Свобода стилю | Час на зображення | Складність налаштування |
|---|---|---|---|---|
| ControlNet | 95% (LPIPS) | Повна | 3–5 сек | Середня |
| Image-to-Image | 55% | Висока | 2–4 сек | Низька |
| Inpainting | 70% | Висока | 2–5 сек | Висока (маска) |
Доступні моделі ControlNet
| Тип | Вхідні дані | Застосування |
|---|---|---|
| Canny | Межі Canny | Збереження контурів, креслення |
| Depth | Карта глибини (MiDaS) | 3D розташування об'єктів |
| OpenPose | Скелет фігури (18 точок) | Пози людей, анімація |
| SoftEdge | М'які контури (HED) | М'яка стилізація, ескізи |
| Scribble | Начерк | Швидка генерація зі скетчу |
| Segmentation | Семантична карта | Контроль об'єктів сцени |
| Normal Map | Карта нормалей | Деталізовані поверхні |
| IP-Adapter | Референс-зображення | Перенесення стилю/вмісту |
Інтеграція через diffusers
from diffusers import StableDiffusionXLControlNetPipeline, ControlNetModel from diffusers.utils import load_image import torch import cv2 import numpy as np from PIL import Image import io class ControlNetService: def __init__(self, controlnet_type: str = "canny"): model_map = { "canny": "diffusers/controlnet-canny-sdxl-1.0", "depth": "diffusers/controlnet-depth-sdxl-1.0", "openpose": "thibaud/controlnet-openpose-sdxl-1.0", } controlnet = ControlNetModel.from_pretrained( model_map[controlnet_type], torch_dtype=torch.float16 ) self.pipe = StableDiffusionXLControlNetPipeline.from_pretrained( "stabilityai/stable-diffusion-xl-base-1.0", controlnet=controlnet, torch_dtype=torch.float16 ).to("cuda") def generate_from_canny( self, input_image: bytes, prompt: str, negative_prompt: str = "low quality, blurry", controlnet_strength: float = 0.8, steps: int = 30 ) -> bytes: img = Image.open(io.BytesIO(input_image)).convert("RGB") img_np = np.array(img) # Canny edge detection gray = cv2.cvtColor(img_np, cv2.COLOR_RGB2GRAY) edges = cv2.Canny(gray, threshold1=100, threshold2=200) control_image = Image.fromarray(edges) result = self.pipe( prompt=prompt, negative_prompt=negative_prompt, image=control_image, controlnet_conditioning_scale=controlnet_strength, num_inference_steps=steps, guidance_scale=8.0 ).images[0] buf = io.BytesIO() result.save(buf, format="PNG") return buf.getvalue() OpenPose — генерація за позою
from controlnet_aux import OpenposeDetector class PoseControlledGenerator: def __init__(self): self.pose_detector = OpenposeDetector.from_pretrained("lllyasviel/Annotators") self.controlnet_service = ControlNetService("openpose") def generate_from_pose( self, pose_reference: bytes, # Фото людини як референс пози prompt: str, style: str = "photorealistic" ) -> bytes: ref_image = Image.open(io.BytesIO(pose_reference)).convert("RGB") # Витягуємо скелет з референсу pose_map = self.pose_detector(ref_image, hand_and_face=True) result = self.controlnet_service.pipe( prompt=f"{prompt}, {style}", image=pose_map, controlnet_conditioning_scale=1.0, num_inference_steps=30 ).images[0] buf = io.BytesIO() result.save(buf, format="PNG") return buf.getvalue() Multi-ControlNet (кілька умов)
from diffusers import StableDiffusionXLControlNetPipeline, ControlNetModel # Canny + Depth одночасно controlnets = [ ControlNetModel.from_pretrained("diffusers/controlnet-canny-sdxl-1.0", torch_dtype=torch.float16), ControlNetModel.from_pretrained("diffusers/controlnet-depth-sdxl-1.0", torch_dtype=torch.float16) ] pipe = StableDiffusionXLControlNetPipeline.from_pretrained( "stabilityai/stable-diffusion-xl-base-1.0", controlnet=controlnets, torch_dtype=torch.float16 ).to("cuda") result = pipe( prompt="interior design, modern living room, photorealistic", image=[canny_image, depth_image], controlnet_conditioning_scale=[0.7, 0.5], # Ваги кожної умови num_inference_steps=30 ).images[0] Покрокове керівництво з налаштування ControlNet
- Виберіть тип ControlNet під задачу (Canny для контурів, OpenPose для пози, Depth для глибини).
- Підготуйте вхідне зображення: для Canny — чіткі контури, для OpenPose — фото з людиною.
- Задайте controlnet_conditioning_scale: для однієї умови 0.6–0.9, для Multi-ControlNet ваги 0.3–0.7.
- Запустіть генерацію з 30 кроками та guidance_scale 7–9.
- Оцініть результат: якщо композиція не дотримана, збільште вагу ControlNet; якщо артефакти — зменшіть.
Практичні застосування та типові помилки
Кейс: архітектурна візуалізація. Клієнт хотів рендерити інтер'єри з креслень. Раніше він витрачав 8 годин на один кадр: моделювання, текстурування, світло. Ми впровадили пайплайн: креслення → Canny + Depth → ControlNet → фотореалістичний результат за 5 секунд. Ітерації стилю — 2 дні замість 3 тижнів.
Типові помилки при роботі з ControlNet:
- Занадто високий
controlnet_conditioning_scale(>1.0) — артефакти та втрата промпту. Оптимально 0.6–0.9. - Використання Canny з шумним зображенням — готуйте чисті вхідні дані або застосовуйте попередню обробку.
- Ігнорування negative_prompt — погіршує якість, особливо при високому guidance_scale.
- Multi-ControlNet з дисбалансом ваг — якщо одна умова домінує, результат може ігнорувати інші.
Fashion: OpenPose моделі. Задача — генерувати одяг на моделі в заданій позі без зміни статури. ControlNet з OpenPose скоротив число бракованих варіантів з 40% до 5%.
Що входить в роботу
Ми надаємо повний цикл: аналіз задачі та вибір типів ControlNet, інтеграцію у ваш пайплайн (Python API, Gradio, Docker), оптимізацію продуктивності (FP16, ONNX, batch inference до 100 зображень за раз), тестування на ваших даних, документацію та навчання команди. Гарантуємо підтримку 1 місяць після деплою. Зв'яжіться з нами для оцінки вашого проєкту — отримайте консультацію та пропозицію щодо впровадження ControlNet.
Строки та вартість
Строки: від 2 робочих днів для одного типу ControlNet до 2 тижнів для Multi-ControlNet з веб-інтерфейсом. Вартість розраховується індивідуально. Досвід команди — понад 5 років в AI/ML, понад 20 проєктів з генеративної графіки. Гарантуємо якість та відповідність заданій композиції. Замовте інтеграцію — оцінимо вашу задачу та запропонуємо оптимальне рішення.