Розробка NeRF: де ламається класична 3D-реконструкція
Класична багаторакурсна фотограмметрія спирається на зіставлення характерних точок між кадрами. Поки поверхня матова, жорстка й текстурована, конвеєр на кшталт Agisoft Metashape сходиться передбачувано: хмара точок щільна, сітка будується без ручного правлення. Обмеження фотограмметрії починаються там, де немає що зіставляти або немає чому довіряти.
Зйомка складних сцен ламає цей конвеєр закономірно.
Глянець, скло, полірована підлога й хром дають відблиски, які алгоритм приймає за власну текстуру й розмазує по поверхні; однотипні стіни й білий пластик не дають жодної стійкої точки; дроти, сітки й листя з'їдаються на проріджуванні.
У приміщенні та за слабкого світла додається шум матриці, і частина точок не проходить поріг впевненості.
Замовник бачить це одразу: діри в геометрії, «горби» з викинутих точок, пливучі шви на стиках і мильні текстури там, де кадри усереднилися. На картці товару виходить обертова модель з рваним краєм, на облітанні будівлі — обвалений кут.
Перезйомка виправлення не гарантує: якщо сцена поза допуском, другий прохід дасть ті самі артефакти.
Нейромережева 3D-реконструкція переносить завдання зіставлення точок на навчання поля щільності й кольору з урахуванням залежності вигляду від ракурсу. Звідси стійкість до відблиску й тонких структур, безперервні ракурси між кадрами.
Але навантаження зміщується на дисципліну даних: щільність покриття, стабільні пози камери, єдина експозиція. Розбираємо, як це закривається в NeRF-розробці.
Що дає нейромережева реконструкція: вимірюваний ефект
Нейромережева реконструкція здається повільною та «сирою» лише до першого обкатаного процесу.
Коли сцена навчається один раз, а результат віддається готовим представленням, цикл виходить на рівень знімального дня: кілька сотень кадрів перетворюються на зв'язну модель за години, а не за дні ручного складання.
Підхід NeRF дає головне — відтворюваність: наступна сцена проходить той самий маршрут без перескладання процесу з нуля.
П'ять ефектів, за якими впровадження видно в цифрах:
- Швидкість реконструкції. Від набору знімків до моделі — години; зауваження щодо геометрії закриваються того ж дня, а не до наступного тижня.
- Точність геометрії. Розходження з контрольними обмірами — частки відсотка від габариту сцени, тому модель придатна для вимірювань, а не лише для картинки.
- Частка придатних ракурсів. У модель проходить 85–95% кадрів проти приблизно половини під час зйомки «на око»: провали по краях кадру та перекриття перестають відбраковувати план загалом.
- Усунення артефактів. Зникають цілі класи дефектів: провали на глянсових і однотонних поверхнях, шум по краях тонких об'єктів, тремтіння текстури між кадрами.
- Синтез нових ракурсів і простої групи. Траєкторія камери задається після зйомки, тому дознімальний день замінюється налаштуванням, а частка сцен із повторним виїздом падає з кожної третьої до поодиноких.
У сумі це змінює місце реконструкції в проєкті: вона перестає бути окремим тривалим етапом і стає звичайною ланкою виробничого ланцюжка, де накладні витрати на виїзди й перезйомки перестають зростати з кожною новою сценою.
Формати 3D-реконструкції: NeRF-розробка та альтернативи
Методи реконструкції розрізняються не «якістю», а тим, з чого вони збирають сцену і що віддають на виході. Один відновлює геометрію за набором знімків, що перекриваються, другий спирається на щільну хмару точок, третій поєднує обидва джерела. Нижче — межі застосовності кожного варіанта без маркетингових округлень.
| Варіант | Коли підходить | Обмеження |
|---|---|---|
| Нейромережева реконструкція (NeRF) | Зйомка звичайною камерою або дроном, потрібен фотореалізм і вільний обліт сцени | Потребує щільного перекриття ракурсів, навчання займає години, масштаб задається зовнішніми опорами |
| Гауссові примітиви | Потрібна інтерактивна віддача: сцена відображається в браузері без попереднього рендера | Важча за пам'яттю, різкі межі розмиваються, колізії та правки сцени — окрема робота |
| Лазерне сканування | Обміри, документація, контроль відхилень — важлива точність розмірів | Потрібен виїзд і обладнання, мало даних про колір і матеріал, дзеркальні поверхні дають шум |
| Гібридна реконструкція | В одному проєкті потрібні і точні розміри, і фотореалістичний вигляд | Складніше узгодити системи координат і відкалібрувати зв'язку, довша підготовка |
Вибір зазвичай диктує джерело даних. Якщо зйомка вже зроблена камерою, порівнюють нейромережеву модель і гауссові примітиви: перша дає коректні ракурси, другі — плавну віддачу.
Коли є вимоги до точності, без лазерного сканування не обійтися, а гібрид закриває обидва завдання відразу — обміри й презентаційний вигляд в одній сцені.
Етапи роботи: від аудиту сцени до передачі моделі
Ризик помилки в 3D-проєкті зростає нелінійно: недостатнє перекриття ракурсів або відблиски на глянці виявляються вже після тривалого навчання, і сцену доводиться знімати заново. Тому етапи 3D-проєкту вибудовані як ланцюжок із перевірюваним результатом на кожному кроці.
- Аудит об'єкта. Оглядаємо сцену: габарити, частка відбивних і прозорих поверхонь, характер освітлення, доступ до точок зйомки. Фіксуємо зони, яким заздалегідь потрібні додаткові ракурси й розсіяне світло.
- Схема розстановки камер. Рахуємо число й геометрію точок, перекриття сусідніх кадрів, опорні мітки для калібрування. Схема узгоджується до виїзду — це знімає ризик перезйомки через «діри» в покритті.
- Тестова зйомка. Знімаємо фрагмент — найскладнішу за матеріалами зону — і проганяємо повний цикл обробки. Дефекти виявляються до того, як відзнято весь майданчик.
- Складання рішення. Підготовка даних, калібрування, навчання моделі NeRF та оптимізація під цільовий майданчик: веб, мобільний застосунок або офлайн-перегляд.
- Контроль якості. Синтезовані ракурси звіряємо з контрольними кадрами, що не брали участі в навчанні; окремо перевіряємо геометрію та «плаваючі» артефакти на межах сцени.
- Приймання моделі. Проганяємо узгоджений перелік критеріїв на реальних сценаріях використання: проблемні зони доучуємо або закриваємо точковою перезйомкою.
- Передача. Віддаємо зібрану модель, схему розстановки камер, відтворювані конфігурації та інструкцію з повторної зйомки — оновлювати сцену можна без нас.
Пакет передачі: конфігурації, схеми, регламенти
Передача не закінчується показом готової сцени. Замовник отримує набір артефактів, за якими команда без нас розгортає середовище, знімає новий об'єкт і повторює навчання NeRF-моделі з порівнянною якістю. Нижче — що саме входить до пакета.
- Конфігурації середовища: маніфести збірки, зафіксовані версії бібліотек, параметри запуску навчання — розгортання на власній інфраструктурі без звернення до нас за уточненнями.
- Регламент зйомки: траєкторія обходу сцени, перекриття між кадрами, допуски щодо стабільності експозиції та фокуса. Це матеріал, який не можна відновити заднім числом — перезняти сцену пізніше вже не вдасться.
- Схема освітлення: розстановка джерел на майданчику, допустимі типи світла, заміри на еталонній сцені та ознаки, за яких зйомку зупиняють і переставляють світло.
- Правила доступу: ролі з правом запускати навчання й правом лише переглядати результати, журнал операцій, порядок видачі та відкликання ключів.
- Документація проєкту: структура даних, формати вивантаження результату (сітка, хмара точок, гауссові примітиви), межі застосовності моделі за класами сцен.
- Регламенти супроводу: як оновлювати залежності, що робити при розходженні метрик після навчання, де розташовані точки відкату до попередньої версії моделі.
- Відтворюваність пайплайна збірки: зафіксовані версії, контейнер із середовищем і чек-лист приймання — повторний прогін на тих самих даних дає результат у межах заявленого допуску.
Кожен блок перевіряється на передачі: ми проганяємо повний цикл «нова сцена — новий результат» строго за вашими регламентами. Якщо документація розходиться з реальністю, правимо або конфігурацію, або текст — до фінального приймання.
Кейс: складна сцена, метрики до і після
Виробничий вузол із дзеркальними кожухами, скляними вставками й тонкою арматурою двічі не піддався класичній зйомці. Фотограмметрія на блискучих поверхнях втрачає опорні точки: модель збиралася фрагментами, відблиски залишали діри, тонкі стійки зникали між ракурсами.
Вихідна точка
У реконструкцію потрапляло 38% відзнятих ракурсів, покриття поверхні не перевищувало 68%. Вузькі місця доводилося перезнімати тричі, а між виїздом і першою придатною моделлю минало близько шести тижнів — половина строку йшла на ручне зшивання та залагодження прогалин.
Що змінили
Зйомку перевели на розраховані траєкторії із заданим перекриттям кадрів. Замість пошуку відповідностей між знімками навчили нейромережеву модель сцени (NeRF): вона відновлює щільність і колір у кожній точці об'єму, тому відблиски й напівпрозорі вставки перестали бути прогалинами.
Навчання відбувалося на прискорювачах NVIDIA, розбір кадрів і правки — в одному конвеєрі, без ручного зшивання.
Що вийшло на виході:
- частка придатних ракурсів — з 38% до 91%;
- перезйомки — з трьох до нуля: спірні ділянки дораховуються за наявними кадрами;
- покриття поверхні — з 68% до 97%, включно з арматурою й склінням;
- строк від зйомки до готової моделі — шість днів замість шести тижнів.
Метрики знято на тому самому об'єкті й тому самому наборі ракурсів — різниця лише в методі реконструкції. Якщо ділянка не влаштує, модель перенавчається за наявними вихідниками, без нового виїзду.
Що робити, якщо сцену вже відзнято й є хмара точок?
Коротка відповідь: так, відзнятий архів і хмара точок майже завжди використовуються повторно — але як вихідні дані та геометрична опора, а не як готовий результат.
Фотограмметрія вже дала пози камер, масштаб і розріджену геометрію; NeRF додає до цього щільний опис сцени й можливість будувати ракурси, яких у старій зйомці просто не було.
Що переноситься без втрат: калібрування камер, прив'язка до системи координат, маски об'єктів, розбиття сцени на блоки.
Що перезбирається: хмара переводиться в карти глибини й працює як підказка під час навчання — модель спирається на реальну геометрію і не «пливе» на однотонних стінах і відблисках, де чиста фотограмметрія давала рвані діри.
Чого зазвичай бракує — перекриття між кадрами та ракурсів зверху або знизу. Це додається точковою дозйомкою, зазвичай 10–20% від початкового обсягу, без повторного обходу всієї сцени. Рухомі об'єкти з архіву вичищаються масками, інакше вони розмазуються по об'єму й псують геометрію.
Донавчання моделі будується на вагах, уже знятих на схожих сценах: базові закономірності переносяться, а на конкретному об'єкті уточнюються деталі — навчання сходиться швидше, ніж з нуля, і потребує менше нових кадрів.
На виході — фотореалістична модель, яка відмальовує нові ракурси й залишається сумісною з попередніми обмірними даними: перехід із фотограмметрії не обнуляє те, що вже зроблено.
Технічні обмеження: прозорість, відблиски, дзеркала
Метод спирається на узгодженість пікселів між ракурсами: та сама точка сцени має виглядати однаково з різних камер — тоді модель упевнено ставить її в об'єм.
Там, де фізика цей зв'язок ламає, мережа не зупиняється, а добудовує правдоподібне: звідси «мильні» стекла й тремтливі відображення в готовій моделі.
Обмеження нейромережевої реконструкції майже завжди впираються в прозорість і дзеркала. Скло й вода не повертають стабільну текстуру, а відображення залежить від положення камери, і модель усереднює його в розмиту пляму.
Обхід: поляризаційний фільтр, тимчасове матування відбивних зон, контрастний фон за прозорим об'єктом, добір ракурсів під кутами, де відображення читається однозначно.
Рухомі об'єкти в кадрі ламають базове припущення про статичну сцену: пішохід або коливне листя перетворюються на «привид» із кількох положень.
У NeRF-розробці це закривають синхронізацією камер, маскуванням динаміки та окремим проходом по об'єкту — фон і рухома частина відновлюються незалежно.
Що заздалегідь не відновиться?
Однорідні та тонкі структури: дроти, сітка, дротяні огорожі, однотонні стіни. І те, що не потрапило в жоден кадр, — там модель добудовує здогад, а не факт.
Чи можна дозняти кадри пізніше?
Так, якщо зберегти калібрування камер і умови освітлення. За іншого світла нові кадри конфліктують із уже зібраним об'ємом і дають помітні шви.
Обговоримо завдання: що потрібно для оцінки вашої сцени
Щоб оцінка проєкту реконструкції була предметною, нам потрібні вхідні дані про сцену, зйомку й точку, куди результат вбудується. Нижче — мінімальний набір, якого достатньо, щоб повернутися з планом впровадження, складом робіт і критеріями приймання.
- Що реконструюємо: тип об'єкта, його масштаб, скільки сцен у проєкті, статична зйомка чи об'єкт у русі.
- Вихідні матеріали: архів кадрів, хмара точок, результати минулих обмірів, вимоги до форматів вивантаження.
