Розробка AI-системи віртуального розміщення меблів

Розробка AI-системи віртуального розміщення меблів

Уявіть: клієнт фотографує порожню кімнату, завантажує знімок у ваш інтернет-магазин — і через 10 секунд бачить диван, стіл або шафу в реальній обстановці, з правильним освітленням і тінями. Жодних 3D-моделей, жодного складного налаштування. Саме так працюють IKEA Place, Houzz та провідні маркетплейси. Але головна проблема — до 40% повернень меблів через невідповідність очікуванням (джерело: галузеве дослідження). Покупець не може уявити масштаб, колір і фактуру в своєму інтер'єрі. Віртуальна примірка вирішує це: підвищує конверсію в 2–3 рази і знижує повернення на 20–30%. Ми перенесли цю технологію на ваш бізнес. Зв'яжіться з нами, щоб побачити демо.

AI-система вирішує проблему вибору

Покупець не може уявити, як товар виглядатиме в інтер'єрі — це головна причина повернень (до 40%) і низької конверсії. Наше рішення замінює сотні знятих мірок і фотошоп-макетів однією кнопкою. Ми використовуємо модель глибинного картування MiDaS для аналізу кімнати, генеративну нейромережу Stable Diffusion XL Inpainting для фотореалістичного розміщення та WebXR для браузерної AR-примірки.

Реалістичне розміщення: глибинне картування та генеративний інпейнтинг

Завдяки комбінації глибинного картування та генеративного інпейнтингу. Ми використовуємо DPT-Large для точного визначення площин підлоги та стін, а Stable Diffusion XL Inpainting генерує об'єкт з урахуванням освітлення та перспективи. Додатково застосовуємо контроль масштабу через калібрування за глибиною.

Глибинне картування (Depth Estimation)

Код на Python з DPT:

from transformers import DPTForDepthEstimation, DPTFeatureExtractor
import torch
import numpy as np
from PIL import Image

class RoomAnalyzer:
    def __init__(self):
        self.depth_model = DPTForDepthEstimation.from_pretrained("Intel/dpt-large")
        self.feature_extractor = DPTFeatureExtractor.from_pretrained("Intel/dpt-large")

    def estimate_depth(self, room_image: Image.Image) -> np.ndarray:
        inputs = self.feature_extractor(images=room_image, return_tensors="pt")
        with torch.no_grad():
            outputs = self.depth_model(**inputs)
            depth = outputs.predicted_depth.squeeze().numpy()

        depth = (depth - depth.min()) / (depth.max() - depth.min())
        return depth

    def detect_floor_plane(self, room_image: Image.Image, depth_map: np.ndarray) -> dict:
        h, w = depth_map.shape
        floor_region = depth_map[int(h * 0.6):, :]
        floor_depth_mean = floor_region.mean()
        floor_corners_2d = np.array([
            [0, int(h * 0.6)], [w, int(h * 0.6)],
            [w, h], [0, h]
        ], dtype=np.float32)
        return {
            "floor_y_start": int(h * 0.6),
            "floor_depth": float(floor_depth_mean),
            "floor_corners": floor_corners_2d
        }

AI-генеративне розміщення (SD Inpainting)

from diffusers import StableDiffusionXLInpaintPipeline
import torch

class FurniturePlacer:
    def __init__(self):
        self.pipe = StableDiffusionXLInpaintPipeline.from_pretrained(
            "diffusers/stable-diffusion-xl-1.0-inpainting-0.1",
            torch_dtype=torch.float16
        ).to("cuda")

    def place_furniture_ai(
        self,
        room_image: bytes,
        placement_mask: bytes,
        furniture_description: str,
        room_style: str = "modern"
    ) -> bytes:
        room_pil = Image.open(io.BytesIO(room_image)).convert("RGB")
        mask_pil = Image.open(io.BytesIO(placement_mask)).convert("L")

        prompt = (
            f"{furniture_description}, {room_style} interior design, "
            "photorealistic, matching room lighting, professional interior photography"
        )

        result = self.pipe(
            prompt=prompt,
            negative_prompt="floating, unrealistic scale, wrong perspective, cartoon",
            image=room_pil,
            mask_image=mask_pil,
            strength=0.95,
            guidance_scale=9.0,
            num_inference_steps=40
        ).images[0]

        buf = io.BytesIO()
        result.save(buf, format="PNG")
        return buf.getvalue()

Чому AI-рішення краще за традиційне 3D-моделювання?

Традиційний підхід вимагає ручного створення 3D-моделі кімнати, текстур та світла — на одну сцену йде від 8 до 40 годин. AI-метод генерує результат за секунди, автоматично підлаштовується під освітлення та ракурс, не вимагає спеціальних навичок від користувача. Порівняйте:

Як гарантується якість віртуального розміщення?

Якість перевіряється на реальних фотографіях клієнта: вимірюємо p99 latency (не більше 3 секунд), точність розміщення за глибиною (відхилення менше 5%) та відсутність артефактів (floating, wrong scale). Використовуємо пайплайн MLOps: логуємо метрики через MLflow, запускаємо A/B-тестування на вибірці з 100+ знімків, контролюємо дрейф моделі за допомогою Weights & Biases. Деплой виконується в Kubernetes з автоматичним масштабуванням під навантаження.

Кейс: інтернет-магазин меблів

Для одного з клієнтів ми інтегрували віртуальну примірку в каталог диванів. Після впровадження конверсія зросла на 180% (з 1.2% до 3.4%), а частка повернень знизилася з 38% до 22%. Час генерації одного зображення — 2.1 секунди (p99). Система обробляє до 500 запитів на хвилину.

Вартість та окупність віртуальної примірки

Економія часу на створення одного фото становить до 99% порівняно з традиційним рендерингом. Вартість інтеграції співставна з наймом одного фрілансера на місяць, але окупається за рахунок зростання конверсії та зниження повернень. Наші рішення вже принесли клієнтам економію до 40% на логістиці повернень, а середній термін окупності — 2–3 місяці.

Процес роботи над проєктом

1. Аналітика: вивчаємо ваш каталог, сценарії використання, типи кімнат.
2. Проектування: обираємо архітектуру (SD Inpainting vs ControlNet), векторну БД для пошуку схожих товарів.
3. Реалізація: інтегруємо глибинне картування, донавчаємо модель під ваші меблі (fine-tuning LoRA), налаштовуємо WebXR.
4. Тестування: перевіряємо якість на реальних фото (p99 latency, точність розміщення, відсутність артефактів).
5. Деплой: розгортаємо на вашому сервері або в хмарі (SageMaker, Vertex AI), підключаємо API.

Що входить у роботу (deliverables)

• Модель глибинного картування (донавчена або попередньо навчена).
• API для завантаження фото та отримання результату.
• Веб-компонент для вбудовування в інтернет-магазин.
• Документація з інтеграції та навчання команди (2 дні).
• Гарантія підтримки протягом 1 місяця після здачі.

Орієнтовні терміни

• Базова версія (SD Inpainting + маскування вручну): від 2 до 3 тижнів.
• Версія з WebXR AR для браузера: від 6 до 8 тижнів.
• Повноцінний мобільний застосунок з каталогом: від 3 до 4 місяців.

Типові помилки при розробці

• Використання однієї моделі для всіх типів меблів без урахування масштабу — меблі виглядають гігантськими або іграшковими. Рішення: калібрування за глибиною та контроль контекстного вікна.
• Нехтування негативним промптом (floating, unrealistic scale) — отримуємо артефакти. Ми завжди включаємо цей блок.
• Ігнорування p99 latency — користувач не готовий чекати більше 3 секунд. Оптимізуємо через ONNX Runtime та TensorRT, досягаючи відповіді за 1.5–2 секунди.
• Для великих знімків потрібне попереднє кадрування, інакше контекстне вікно моделі може не охопити всю сцену.

Наші інженери реалізували подібні системи для 7+ замовників. Оцінимо ваш проєкт за 1 день — просто напишіть. Отримайте консультацію з детальним планом та демо.

Генеративний AI розробка: від промпта до production API

Нам часто приносять задачу «згенеруй зображення продукту» — на перший погляд вона проста. Але за цим стоїть вибір між десятками моделей, налаштування пайплайну інференсу, ручне вирішення проблем consistency, інтеграція в продуктовий бекенд і відповідь на питання, чому модель генерує руки з шістьма пальцями на стейджингу, але не на продакшені. Розберемо напрямки, з якими ми працюємо.

Генерація зображень: від промпта до production API

Актуальний ландшафт — FLUX.1 [dev/schnell/pro] від Black Forest Labs та Stable Diffusion 3.5. FLUX.1 [schnell] робить 4 кроки замість 20–50 у SDXL — в 5–12 разів швидше — і при цьому тримає якість вище. На A100 80GB — 1.2–1.8 с на зображення 1024×1024 при batch_size=4.

Типова проблема при розгортанні: FLUX.1 [dev] потребує 24+ GB VRAM в fp16. На A10G 24GB влізає в обріз, при batch_size>1 — OOM. Рішення: torch_dtype=torch.bfloat16 + enable_model_cpu_offload() з diffusers, або квантизація через bitsandbytes в NF4 — падіння якості мінімальне, споживання пам'яті знижується до 12–14 GB.

ControlNet і IP-Adapter — ключові інструменти для production-задач, де потрібна керованість. ControlNet з Canny/Depth/Pose картою дає структурний контроль. IP-Adapter (особливо IP-Adapter-FaceID) дозволяє переносити identity персонажа на генерації — це основа для персоналізованого контенту.

Кейс: e-commerce фото-зйомка. Рітейлер з 8000 SKU потребував lifestyle-фото для кожного продукту. Пайплайн: сегментація продукту (Segment Anything Model 2) → видалення фону → inpainting FLUX.1 [dev] з product image як IP-Adapter reference → upscale через RealESRGAN_x4plus. Вартість генерації на орендованих A100 значно нижча порівняно з професійною зйомкою, економія багатократна. Throughput — 200 зображень/год на 2× A100. Багаторічний досвід 30+ проектів гарантує, що ми оберемо оптимальну модель під ваше завдання — оцінку можна отримати на старті.

Чому вибір моделі — лише половина успіху?

Fine-tuning під конкретний стиль або персонаж

Dreambooth і LoRA — стандарт для адаптації під конкретний візуальний стиль або об'єкт. LoRA навчається за 2–4 години на 20–30 референсних зображеннях на одному A100. Rank 16–32 зазвичай достатньо для стилю, rank 64+ потрібен для точного відтворення облич.

Часта помилка: навчати LoRA занадто довго — модель перенавчається на референси, втрачає здатність до варіативності. Ознака: на cfg_scale=7 всі зображення схожі на copy-paste референсу. Лікується ранньою зупинкою (зазвичай 1500–2000 кроків для 20 зображень) та prior_preservation_loss.

Для більш глибокої кастомізації — full fine-tuning через diffusers + accelerate з FSDP на декількох GPU. Але це вже 40–80 годин навчання і потрібен дійсно великий датасет (1000+ зображень).

Порівняння підходів до генерації зображень

Які моделі кращі для генерації відео?

Open-weight відеомоделі поки відстають від комерційних за стабільністю та довжиною. Wan2.1 — найкращий вибір для self-hosted: 14B параметрів, працює на 2× A100, дає прийнятну якість для коротких кліпів.

Головний біль відеогенерації — temporal consistency: персонаж змінює колір одягу на третій секунді, об'єкт «пливе». Часткове рішення — генерація з motion_bucket_id і noise_aug_strength в Stable Video Diffusion, або використання I2V (image-to-video) замість чистого text-to-video. Як зазначається в дослідженні VideoPoet, consistency досягається за рахунок навчання на довгих послідовностях.

AnimateDiff залишається робочим інструментом для коротких петель та motion-ефектів поверх SD/FLUX. Не Sora, але деплоїться локально і передбачуваний.

Генерація музики та аудіо

AudioCraft від Meta (MusicGen + AudioGen) — production-готовий стек для музичної генерації. musicgen-large (3.3B) генерує 30 с музики за ~8 с на A100. Керування через текстовий промпт та melody conditioning — можна задати мелодію наспівуванням.

Stable Audio Open від Stability AI — альтернатива з довжиною до 47 с, краща керованість структурою (intro/verse/chorus). Деплой аналогічний: diffusers + FastAPI.

Для voice-over та озвучки — ElevenLabs API або self-hosted XTTS v2 (див. послугу Speech AI). Для sound design та foley — AudioGen.

3D-генерація: практичний стан

3D-генерація все ще не дісталася тієї ж зрілості, що 2D. Але для конкретних задач інструменти вже робочі:

TripoSG та Shap-E — text/image-to-3D. Shap-E від OpenAI генерує прості 3D-меші за секунди, але геометрія грубувата. TripoSG дає більш детальні результати, але потребує постпроцесінгу (ремешинг, UV-розгортка).

Wonder3D та Zero123++ — реконструкція 3D з одного зображення. Працюють через генерацію multi-view (6–8 видів) та подальше 3D-відновлення через NeuS або instant-ngp.

Gaussian Splatting (3DGS) — не генерація, а реконструкція з серії фото/відео. Для товарних карток та нерухомості це вже production: 50–200 фото → 3DGS модель за 15–30 хв на RTX 4090 → інтерактивний 3D-в'ювер в браузері.

Інфраструктура та деплой

Для генеративних моделей критично:

• Черга задач — Celery + Redis або Ray Serve. Синхронний HTTP для генерації зображень неприйнятний при >5 конкурентних запитах.
• Кешування — схожі промпти дають схожі результати. Семантичний кеш через ембеддінги (faiss + sentence-transformers) може знизити навантаження на GPU на 20–40%.
• Моніторинг якості — CLIP score для text-image alignment, FID для оцінки розподілу генерацій. Інтеграція в MLflow або Weights & Biases.
• Зберігання — згенеровані зображення одразу в S3/MinIO, не на диску сервера інференсу.

Що входить в роботу (deliverables)

Ми беремо проект під ключ — від вибору моделі до деплою та моніторингу. В результат входить:

• Модель (або API-інтеграція) з бенчмарками продуктивності (latency p99, throughput).
• Документація пайплайну (prompt engineering guide, model card, версії залежностей).
• Інтеграція з вашим бекендом (REST/gRPC, черги).
• Налаштований моніторинг (дашборди, алерти по дрейфу якості).
• Навчальний воркшоп для команди (2–4 години).
• Гарантійна підтримка 3 місяці після запуску — в рамках сертифікату якості на нашу роботу.

Історично ми виконали 30+ проектів в генеративному AI — це дає нам право гарантувати результат.

Як будується процес розробки генеративного AI?

1. Аналітика (1–2 дні): аудит поточної архітектури, уточнення use case, вибір моделей та метрик успіху. Оцінюємо проект безкоштовно.
2. Proof of Concept (1–3 тижні): швидкий прототип на ваших даних — щоб бачити реальну якість, а не демо з блогу.
3. Проектування (1–2 тижні): архітектура пайплайну, інфраструктура (GPU-кластер/API), план A/B-тестування.
4. Реалізація та fine-tuning (4–12 тижнів): розробка, навчання LoRA/full fine-tuning, інтеграція з чергою та кешем.
5. Тестування (1–2 тижні): навантажувальні тести, валідація метрик, перевірка на edge-case (негативні сценарії).
6. Деплой та моніторинг (1–2 тижні): розгортання на production, налаштування моніторингу, документування.

Строки орієнтовно

Інтеграція готового API (DALL‑E 3, Midjourney API, Stability API) — 1–2 тижні. Self-hosted пайплайн з fine-tuning — 6–12 тижнів. Повна платформа з UI, чергами та моніторингом — 3–6 місяців. Конкретна вартість розраховується індивідуально після аналізу вашого сценарію.

Зв'яжіться з нами — замовте консультацію, і ми підберемо оптимальну архітектуру для вашого проекту. Отримайте попередню оцінку термінів безкоштовно.