Інтерактивна 3D-реконструкція Gaussian Splatting: розробка під ключ

Чому 3D Gaussian Splatting не доходить до робочої версії

Перший збій — розбіжність демо й браузера. На демо-стенді сцену зібрано за рівного світла й обльоту по колу, а в замовника картинка розсипається: кадри рвуться, окремі плями вилазять перед об'єктами, поворот камери йде ривками.

Причина не в якості реконструкції, а в тому, що під неї не закладено порядок виведення за глибиною, розбиття сцени на блоки видимості й ліміт за кількістю примітивів — рендеринг сцени в браузері падає там, де на потужній машині все виглядає бездоганно.

Другий типовий збій — маса сцени. Модель, яка чесно відкривається на робочій станції, важить більше, ніж канал доставки до кінцевого користувача: без рівнів деталізації та потокового підвантаження кожен відвідувач витягує весь обсяг, хоча дивиться один ракурс.

Інтерактивна 3D-реконструкція в такому вигляді або не стартує, або стартує через хвилини очікування — і це не питання «оптимізації потім», а питання схеми зберігання даних, закладеної на етапі збірки.

Третій — правки матеріалів. Щойно з вихідного набору прибирають об'єкт, змінюють світло або дознімають ділянку, зшивка примітивів розповзається: з'являються туманні згустки на місці видаленого, шви на межах обльоту, втрата контакту з підлогою.

Реконструкція, яка рахується один раз під конкретну зйомку, не переживає першої ж ітерації — а отже, не живе в продукті.

3D Gaussian Splatting дає фотореалістичну картинку, але робоча версія — це ще й упакування сцени, передбачуваний старт на слабкому залізі та повторювана збірка після будь-якої правки. Розбираємо, як це закривається.

Що дає інтерактивна реконструкція на практиці

Gaussian Splatting описує сцену не полігональною сіткою з текстурами, а хмарою гаусових примітивів із кольором і щільністю. Звідси випливають чотири ефекти, які замовник бачить на власні очі й які ми фіксуємо вимірами до здачі проєкту.

Час завантаження сцени скорочується завдяки потоковій видачі за рівнями деталізації: спочатку надходить грубий каркас, деталі прибувають у міру огляду.

Вага моделі сцени при цьому падає в рази проти щільної сітки — модель із мільйонами полігонів на телефоні або не відкривається, або відкривається так довго, що відвідувач встигає піти.

Плавність 3d-сцени тримається не лише на потужному пристрої: примітиви відмальовуються пакетно, а деталізація підлаштовується під поточне навантаження.

Стабільність відгуку зберігається й на слабких пристроях — обертання та наближення не «залипають», картинка не розсипається за швидкого руху камери.

Показ об'єкта в браузері перестає бути окремим класом відмов: немає чорного екрана на першому кадрі, немає роз'їханих текстур і заваленої вкладки. Сцена відкривається за посиланням без встановлення застосунків і поводиться однаково на ноутбуці та телефоні.

Кожен ефект ми прив'язуємо до вимірювання — вага даних, що віддаються, час до першого кадру, частка кадрів без просідань. Якщо значення розходяться з узгодженими, правки йдуть у сцену, а не в очікування замовника.

Порівняння підходів до реконструкції сцени

Жодного універсального способу зібрати тривимірну сцену не існує: вибір визначається масштабом об'єкта, вимогами до фотореалізму та тим, що має вийти на виході — вільний огляд, точна геометрія або редагована модель.

Нижче — чотири варіанти, між якими реально обирають на старті: навчена гаусова сцена (3D Gaussian Splatting), хмара точок, полігональна модель і гібрид.

Масштаб — головний обмежувач: гаусові сцени тримають якість, поки об'єкт знімається за один прохід із щільним перекриттям, а на великих площах зростають обсяг даних і час збірки. Тому території та довгі маршрути частіше збирають гібридно.

Ми проганяємо ваші вихідники через пробну збірку й називаємо варіант, який витримає і показ, і подальші зміни.

Етапи впровадження: від зйомки до передачі проєкту

Етапи впровадження 3D-сцени вибудувані так, щоб помилка на майданчику не перетворювалася на переробку всього проєкту. Кожен крок закінчується артефактом, який можна перевірити до переходу до наступного.

1. Розбір задачі та обмежень майданчика. Визначаємо, що має читатися зблизька, а що видно лише здалеку, і збираємо обмеження: де дозволено ходити й ставити штатив, яке світло й трафік на об'єкті.

2. Схема сцени. Прокладаємо маршрут обходу, точки зйомки, перекриття кадрів і опорні об'єкти для прив'язки. Узгоджуємо схему до виїзду — правки на папері дешевші за повторне відрядження.

3. Зйомка об'єкта. Ідемо строго за схемою, контролюючи експозицію, фокус і рівномірність руху, і додатково знімаємо контрольні кадри для перевірки геометрії.

4. Збірка та навчання сцени. Калібруємо камери, відсіюємо змазані кадри, навчаємо модель на 3D Gaussian Splatting і підбираємо параметри так, щоб збереглися тонкі деталі без зростання розміру сцени.

5. Перевірка на цільових пристроях. Проганяємо сцену на тих телефонах, окулярах і браузерах, що в аудиторії замовника: плавність обертання, час першого завантаження, поведінка за слабкої мережі. Просідання закриваємо до приймання.

6. Приймання результату та передача. Передаємо вихідники, зібрану сцену, скрипти збірки й регламент повторної зйомки, якщо об'єкт зміниться. Чек-лист приймання проходимо разом, на реальних пристроях.

Комплект передачі: сцени, конфігурації, регламенти

Після здачі в замовника залишається не лише зібрана сцена, а й усе, що потрібно для її самостійної експлуатації та розвитку.

Комплект документації описує структуру проєкту, зв'язки між файлами й порядок перезбирання: інженер, який не брав участі в розробці, розгортає сцену на своєму стенді без листування з нами. Приймання йде за цим самим переліком — розходження видно до підписання акта.

• Вихідні дані проєкту — знімальні набори із сортуванням за датами, значення параметрів камер, маски проблемних зон і журнал зйомки: видно, які кадри на що впливають і що має сенс перезняти.
• Зібрана сцена — підсумкова модель, розбита на смислові вузли, щоб правка одного фрагмента не тягла перезбирання цілком; поруч — контрольні ракурси для перевірки геометрії.
• Конфігурація сцени — параметри збірки, межі огляду, точки входу камери й налаштування освітлення винесені в окремі файли, а не вшиті в код.
• Правила доступу до сцени — ролі, обмеження на вивантаження, терміни життя ключів; окремо описано публікацію у внутрішньому контурі та на зовнішньому стенді.
• Регламент оновлення сцени — послідовність повторної зйомки й дозбирання, періодичність, вимоги до вихідників і критерії, за яких нова версія приймається.
• Схема розміщення — де лежать вихідники, готові набори й резервні копії, як рахується версія і як відкотитися на попередній набір.
• Інструкція з приймання — контрольні метрики якості, тестові ракурси й перелік типових дефектів, які закриваються до здачі.

Проєкт: інтерактивний тур об'єктом до і після

Замовник — виставковий павільйон, де відвідувач проходить експозицію самостійно, а тур має показувати ту саму залу в двох станах: до реконструкції та після.

Перший прототип на класичній фотограмметрії не витримав перевірки на місці: сцена важила занадто багато, відкривалася десятки секунд, а на планшетах у залі камера помітно відставала від жесту. Люди кидали обхід на середині й ішли до стенда з експонатами.

Що змінили і що отримали

Реконструкцію перенесли на 3D Gaussian Splatting: сцена описується набором гаусових примітивів замість щільної сітки з текстурами, тому за зіставної фотореалістичності вага падає в рази.

Далі розбили простір на зони й підвантажуємо їх у міру руху користувача, а віддалені ділянки віддаємо у спрощеному вигляді. Окремо зафіксували бюджет відгуку: поворот камери зобов'язаний встигати за жестом без ривків на планшетах стенда.

Метрики до й після знімали на тому самому обладнанні в тій самій залі. Перша зона відкривається за лічені секунди замість десятків секунд очікування, вага сцени скоротилася приблизно вчетверо, відгук сцени на жест уклався в комфортний поріг.

Частка користувачів, які доходять до кінця обходу, зросла з 54% до 88% — обривів на завантаженні практично не залишилося.

Висновок для наступних проєктів простий: вирішує не краса окремого кадру, а бюджет за вагою й відгуком, порахований до зйомки об'єкта. Тому сцену проганяємо на цільовому пристрої до здачі, а не після скарг на місці.

Чим 3D-реконструкція відрізняється від ручної моделі

Коротка відповідь: у них різне джерело геометрії. Ручна полігональна модель збирається людиною за обмірами й кресленнями — з примітивів, які потім можна розкласти на вузли й відредагувати. Навчена 3D-сцена будується з набору фотографій і повторює об'єкт за фактом, а не за проєктом.

У 3D Gaussian Splatting сцена описується множиною об'ємних примітивів: у кожного своє положення, розмір, прозорість і колір, що залежить від напрямку погляду.

Тому відблиски, ворс, напівпрозорість, потертий метал і нерівні покриття передаються як є, без ручного налаштування матеріалів. Строки підготовки при цьому задає не моделювання, а зйомка: години роботи на об'єкті замість тижнів побудови.

Там, де критичні достовірність матеріалів і швидкість, навчена сцена виграє. Повторна зйомка фіксує зміни: перефарбували стіни, замінили обладнання — сцена оновлюється, а не перебудовується заново.

Полігональна модель залишається єдиним робочим варіантом, коли потрібна редагована топологія: розгортка, анімація, розрахунки, вбудовування у фізику або конфігуратор із варіантами. Також якщо об'єкт ще не збудовано, доступ обмежений режимом, а на руках є проєктна документація. Навчену сцену не можна розібрати на деталі — вона показує лише те, що потрапило в кадр.

На практиці вибір рідко бінарний: для інтерактивної демонстрації або приймання об'єкта беремо сцену, для виробничих задач — гібрид, де полігональна основа відповідає за структуру, а фотореалістична оболонка за достовірність. Опишіть об'єкт і задачу — повернемося з планом та оцінкою, який шлях коротший за строками.

Технічні питання, які ставлять до старту

Перед стартом звучать ті самі технічні питання: як поведуть себе вихідні дані, що буде при оновленні сцени, наскільки великий об'єкт реально зняти.

Масштаб обмежений не технологією, а часом обходу — квартал розбиваємо на секції та зшиваємо за спільними орієнтирами, шов на межах не читається.

Що робити, якщо сцена змінилася?

Перезбираємо лише змінену ділянку, а не всю сцену: решта береться з попереднього набору даних. Заміна викладки або перестановка обладнання — це кілька годин і один короткий дознімок, а не проєкт заново.

Кому належать права на сцену?

Вам. Передаємо вихідні матеріали зйомки, проміжні дані та підсумковий набір файлів, а в договорі фіксуємо, що ми не використовуємо їх для власних цілей. Якщо об'єкт режимний, зайве вирізаємо до збірки — на погодженні прибрати простіше, ніж пояснювати потім.

Як сцена працює на слабких пристроях?

Ріжемо не сцену, а потік: підвантажуємо рівні деталізації в міру наближення камери, віддаємо матеріали частинами, обмежуємо кількість джерел світла. На ноутбуці й планшеті відкривається без просідань, повна деталізація вмикається, коли пристрій її тягне.

Обговоримо вашу сцену й повернемося з оцінкою

Для початку розбору не потрібна готова сцена на 3D Gaussian Splatting — достатньо матеріалів, які вже є за об'єктом. Чим повніші вихідні дані, тим точніша оцінка проєкту: за ними видно реальний обсяг робіт, а не приблизний.

• Зйомка: фотографії або відео обходу об'єкта з різних ракурсів. Щільне перекриття кадрів зменшує кількість сліпих зон, які потім доводиться дознімати.
• Геометрія: обміри, планування або наявна 3D-модель — звіряємо масштаб і пропорції майбутньої сцени.
• Інтерактив: що користувач має вміти — обертати сцену, наближатися до деталей, перемикати зони, відкривати картки об'єктів.
• Канали показу: браузер на комп'ютері, планшет на майданчику або вбудована панель — від цього залежить вага сцени й вимоги до відмальовування на слабких пристроях.
• Орієнтири та обмеження: приклади, які подобаються, і те, що показувати не можна — закриті зони, невдалі ракурси, чужі логотипи.
• Доступ і графік: коли можлива зйомка, чи є обмеження за часом, освітленням і переміщенням усередині об'єкта.

За цим набором ми збираємо план робіт: етапи, зони відповідальності, точки узгодження. Склад команди підбираємо під об'єкт — інженер зйомки, 3D-художник, розробник відмальовування, інтегратор.

Оцінку й строки впровадження даємо за етапами, а не однією цифрою: так видно, що саме впливає на тривалість.

Опишіть задачу й надішліть матеріали — обговоримо та повернемося з оцінкою і планом робіт.