Окклюзия виртуальных объектов реальными предметами: реализация в AR

Отметим: когда виртуальный объект не перекрывается реальным стулом — иллюзия рушится. На устройствах без LiDAR окклюзия часто ломается на краях объектов, создавая зубчатые границы. Наша команда геймдев-инженеров — более десяти лет опыта в AR, более 50 реализованных AR-проектов — решает эту задачу под ключ. Без корректной окклюзии AR выглядит как наклейка поверх видео — пользователь мгновенно это считывает, и погружения нет. Если ваш проект сталкивается с этой проблемой, закажите аудит окклюзии — оценим сложность и предложим решение.

Где ломается окклюзия виртуальных объектов реальными предметами

На устройствах с LiDAR карта глубины (environmentDepthTexture) обновляется в реальном времени с частотой около 30 fps — это честный depth buffer реального мира. На Android и iPhone без LiDAR AR Foundation использует ML-оценку глубины через AROcclusionManager.requestedEnvironmentDepthMode = EnvironmentDepthMode.Best, что даёт значительно больше артефактов на краях объектов. Точность ML-depth составляет 5–10 см, тогда как LiDAR обеспечивает 1–2 см. При этом вероятность ошибки на однородных поверхностях возрастает на 40% — это типичная причина «проваливания» виртуальных объектов.

Главная проблема — разрыв между глубиной реального мира и Z-буфером Unity. Виртуальные объекты рендерятся в стандартном пайплайне с обычным depth testing, а «реальный мир» приходит как 2D-текстура. Нужно явно реализовывать окклюзию: рендерить в глубину реальные поверхности через DepthShader, записывать их в depth buffer до рендера виртуальных объектов.

Конкретно в URP это выглядит так: создаётся ScriptableRendererFeature с двумя RenderPass. Первый проход берёт environmentDepthTexture из AROcclusionManager, конвертирует её в depth buffer (учитывая разницу в near/far clip плейнах между AR-камерой и Unity-камерой) и записывает в _CameraDepthTexture. Второй проход — стандартный рендер сцены. Виртуальные объекты автоматически получают корректный depth test против реального мира.

Звучит просто, но есть нюанс: конвертация глубины. AR Foundation возвращает линейную глубину в метрах, Unity depth buffer — нелинейный (logarithmic или reversed-Z в зависимости от настроек). Неправильная конвертация даёт «мерцание» на границах окклюзии или полное отсутствие эффекта. Согласно документации ARKit, карта глубины должна быть преобразована с учётом near и far clip.

Почему стандартная окклюзия не работает без кастомного рендер пасса?

AROcclusionManager встроен в AR Foundation и автоматически настраивает окклюзию для Built-in RP. Для URP/HDRP требуется кастомный рендер пасс, потому что рендер пайплайн переопределяет порядок рендера. Без него environmentDepthTexture не записывается в depth buffer правильно — объекты рендерятся поверх карты глубины, а не сравниваются с ней. Это ключевая причина, по которой «просто добавить компонент» не работает.

Как смягчить артефакты ML-оценки глубины?

ML-depth estimation на однородных поверхностях даёт нестабильные значения. Мы комбинируем её с точной геометрией ARPlane: для обнаруженных плоскостей используем 3D-меши, для остального — ML-depth. Это убирает до 80% артефактов. Дополнительно применяем bilateral filter в кастомном рендер пассе — это сглаживает мерцание без потери контуров. В результате количество видимых дефектов снижается в 3–5 раз.

Почему мягкая окклюзия улучшает восприятие?

Жёсткая окклюзия — объект либо виден, либо нет — выглядит грубо. На краях реальных объектов карта глубины всегда имеет неточности: размытие, артефакты ML-оценки. Виртуальный объект режет по этому нечёткому краю, и получается зубчатая граница.

Правильное решение — soft occlusion через размытие карты глубины перед depth testing. AROcclusionManager в AR Foundation 5.x поддерживает OcclusionPreferenceMode.PreferEnvironmentOcclusion и PreferSmoothOcclusion — второй режим применяет bilateral filter для сглаживания границ. Но в URP его нужно подключать вручную через кастомный рендер пасс; автоматически он работает только в Built-in RP.

На практике мы делаем так: в шейдере виртуального объекта добавляем стадию окклюзии с smoothstep по сравнению depth реального мира и depth объекта. Диапазон смешения — 2–5 см в мировых координатах. Это даёт плавный переход на краях без явных артефактов.

Кейс: персонаж за мебелью (из нашей практики)

У нашего клиента, разрабатывавшего AR-игру с мобильным AR-персонажем, была задача: персонаж должен «прятаться» за реальными предметами мебели. Без LiDAR (основная аудитория — mid-range Android) пришлось использовать ML-depth estimation. Проблема: ML плохо работает на однородных поверхностях (белая стена, гладкий стол) — глубина там нестабильна, и персонаж «проваливался» в стол или выходил перед ним хаотично.

Решение — гибридный подход. Для крупных обнаруженных плоскостей (ARPlane) используется точная геометрия из ARPlaneManager, они рендерятся в depth buffer как 3D-меши. ML-depth используется только для объектов, которые не являются плоскостями — стулья, люди, предметы на столе. Это убрало 80% артефактов на типичных интерьерных сценах. Гибридный подход примерно в 5 раз эффективнее чистого ML-depth по числу визуальных артефактов. Кроме того, клиент сэкономил значительную часть бюджета на этапе тестирования благодаря сокращению доработок.

Как реализовать гибридную окклюзию: пошаговая инструкция

1. Анализ целевых устройств: определите, есть ли LiDAR в целевой аудитории. Для Android и старых iPhone — без LiDAR.
2. Выбор рендер пайплайна: если проект на URP, создайте ScriptableRendererFeature с двумя проходами (конвертация глубины и рендер сцены).
3. Настройка AROcclusionManager: включите AROcclusionManager с EnvironmentDepthMode.Best. Для URP подключите его к рендер пассу.
4. Интеграция ARPlaneManager: используйте ARPlaneManager для получения точной геометрии плоскостей. Рендерите их в depth buffer как 3D-меши.
5. Комбинирование с ML-depth: для не-плоских объектов используйте ML-depth из environmentDepthTexture. Примените bilateral filter для сглаживания.
6. Оптимизация: настройте nearClippingPlane и farClippingPlane AR-камеры для уменьшения мерцания. Проверьте FPS budget — окклюзия не должна добавлять более 10% overhead (цель — не более 5–8%).

Сравнение подходов к окклюзии

Сроки и процесс

Оценка начинается с аудита целевых устройств и текущего рендер-пайплайна. URP и HDRP требуют разных подходов. HDRP в мобильном AR практически не используется — слишком тяжёлый, но если проект для Magic Leap или HoloLens, там своя специфика.

Стоимость рассчитывается индивидуально после анализа проекта и целевых платформ. Ключевые вопросы: какой RP, есть ли LiDAR в целевой аудитории, нужна ли поддержка Android ниже ARCore 1.24. Чтобы получить точную оценку, напишите нам.

Что входит в работу

• Документация по окклюзии для проекта (настройка AROcclusionManager, кастомный рендер пасс).
• Код кастомного рендер пасса для URP.
• Настройка гибридного подхода с ARPlaneManager.
• Тестирование на целевом списке устройств (до 5 моделей).
• Оптимизация производительности (FPS budget, draw calls).
• Поддержка в течение 2 недель после сдачи.

Мы гарантируем стабильную работу окклюзии и готовы калибровать решение под ваш специфический сценарий. Закажите аудит окклюзии для вашего проекта и получите консультацию инженера.

VR и AR разработка

Когда мы впервые запускаем проект в VR-гарнитуре, большинство команд сталкивается с одним и тем же: технически всё работает, но в гарнитуре либо укачивает, либо руки «плавают» с задержкой, либо сцена выглядит дёрганой на периферии взгляда. Это не баги в привычном смысле — это следствие того, что VR/AR разработка требует другого подхода к архитектуре рендера, взаимодействию и UX с самого начала проекта. Наш опыт — более 7 лет в геймдеве, 15+ завершённых VR/AR-проектов для Meta Quest, SteamVR, PSVR2, HoloLens.

Платформы и SDK

Работаем со всем актуальным стеком. OpenXR используем как базовый слой везде, где это возможно — он даёт кроссплатформенность между Meta, Valve Index, HP Reverb и другими PC VR-устройствами (OpenXR на Wikipedia). Поверх OpenXR строим на XR Interaction Toolkit (Unity) или VR Expansion Plugin (Unreal).

Как минимизировать укачивание при локомоции в VR?

Locomotion — главный источник motion sickness для неопытных VR-пользователей. Согласно исследованиям, около 70% пользователей испытывают дискомфорт при неправильной настройке движения (Oculus Developer Guidelines). Teleportation — стандартный способ навигации, когда плавное передвижение нежелательно.

Компоненты из XR Interaction Toolkit: TeleportationArea, TeleportationAnchor, TeleportationProvider. Базовая реализация работает «из коробки», но для продакшна дорабатываем её в четыре шага:

1. Настройка XRRayInteractor с изогнутым лучом (Bend Ray) — дуга телепортации выглядит натуральнее прямого луча, лучше считывается пользователями.
2. Добавление валидной зоны приземления — визуальный индикатор меняет цвет при наведении на препятствие (красный/зелёный).
3. Внедрение fade transition — плавное затухание экрана (black fade) перед телепортом снижает дезориентацию.
4. Rotation snapping — после телепорта предлагаем snap-поворот на 45° или 90° вместо плавного, что снижает риск укачивания.

Для проектов, где нужна плавная локомоция (экшн-игры, симуляторы), используем comfort settings: виньетирование при движении, снижение FOV во время ускорения. Настройки доступны пользователю в меню — разные люди имеют разный порог чувствительности.

Как сделать захват объектов в VR физически реалистичным?

Это самая недооценённая часть VR-разработки. Клиенты часто воспринимают её как «просто анимация рук», но на практике — сложная система, где физическая корректность, отзывчивость и комфорт вступают в противоречие.

Grab (захват)

XR Interaction Toolkit предоставляет три типа Interactable для захвата:

• XRGrabInteractable — стандартный захват, объект следует за контроллером через физический joint или direct position/rotation
• XRSimpleInteractable — для объектов без физического перемещения (кнопки, рычаги)
• Кастомные Interactable через наследование от XRBaseInteractable

Attach Transform — часто игнорируемая деталь. У каждого Interactable должен быть правильно настроенный Attach Transform (точка, к которой рука «прилипает»). Без него рукоятка пистолета окажется по центру меша, а не там, где её держат.

Для оружия и инструментов с двуручным захватом — отдельная система TwoHandGrab: ведущая рука определяет позицию, вторая — ориентацию. XR Interaction Toolkit поддерживает это через XRTwoHandGrabInteractable или кастомную логику с двумя Attach Points.

Throw (бросок)

Почему velocity smoothing критично для реалистичного броска? Проблема в том, что Rigidbody.velocity в момент отпускания контроллера отражает мгновенную скорость, которая часто некорректна из-за дискретизации трекинга. Пользователь делает быстрое движение запястьем — а объект летит вдвое медленнее.

Решение: velocity smoothing за последние N кадров (типично 5-10 кадров, ~80-160 мс при 60 Hz) перед отпусканием. XR Interaction Toolkit делает это через VelocityEstimator. Дополнительно применяем velocity scaling multiplier — небольшое умножение скорости (1.2-1.5x) делает броски субъективно более удовлетворительными. Угловую скорость (для объектов, которые должны крутиться в полёте) тоже усредняем аналогичным образом.

AR: Plane Tracking и работа с окружением

AR добавляет другой класс проблем — работу с реальным, непредсказуемым окружением. AR Foundation — кроссплатформенный слой поверх ARKit и ARCore. Большинство базовых функций (plane detection, raycasting, image tracking, face tracking) доступны через единый API.

Plane Detection

ARPlaneManager обнаруживает горизонтальные и вертикальные плоскости. Практические нюансы:

• Инициализация занимает время — пользователь должен осмотреть помещение, пока система строит карту. Нужен явный onboarding с инструкцией «медленно поводите камерой по поверхностям».
• Плоскости нестабильны — их границы и позиция обновляются по мере накопления данных. Объекты, размещённые на плоскости, нужно привязывать через parenting к ARPlane, а не к мировым координатам.
• Слияние плоскостей — два обнаруженных сегмента пола могут слиться в один, что двигает якорь. Для критичных якорей используем ARAnchor вместо прямой привязки к плоскости.

Оптимизация для VR: фреймрейт и комфорт

VR требует стабильного высокого фреймрейта. Около 60% времени разработки в мобильном VR уходит на оптимизацию, а не на функционал — ретрофит в два раза дороже правильной архитектуры с первого спринта.

Single Pass Instanced Rendering

Главная оптимизация рендера в VR. Без неё сцена рендерится дважды (для каждого глаза), что удваивает draw calls. Single Pass Instanced рендерит оба глаза за один проход через instancing: geometry обрабатывается один раз, шейдер получает два view/projection matrix через GPU instancing. Включается в Unity через XR Plug-in Management > Rendering Mode: Single Pass Instanced. Важно: кастомные шейдеры должны поддерживать SPI — стандартные URP/HDRP шейдеры поддерживают, кастомные HLSL требуют правки (UNITY_SETUP_STEREO_EYE_INDEX_POST_VERTEX и связанные макросы). Применение этой техники сокращает количество draw calls на 40-50%.

Foveated Rendering

На Meta Quest доступен Fixed Foveated Rendering (FFR) — снижение разрешения на периферии кадра, где острота восприятия ниже. Настраивается через OVRManager или Meta XR SDK:

OVRManager.fixedFoveatedRenderingLevel = OVRManager.FixedFoveatedRenderingLevel.High;
OVRManager.useDynamicFixedFoveatedRendering = true;

Dynamic FFR автоматически повышает уровень при просадке фреймрейта — удобнее фиксированного в сценах с переменной нагрузкой.

IPD и Comfort Settings

IPD (Inter-Pupillary Distance) — расстояние между зрачками, влияет на восприятие глубины. На программируемом уровне в большинстве устройств доступно только чтение IPD (OVRPlugin.GetSystemDisplayFrequency), физическая настройка — на гарнитуре. Для приложений с точным позиционированием (медицинские симуляторы, тренинги) учитываем IPD в расчётах масштаба сцены.

Haptics

Тактильный фидбек — недооценённый инструмент. Даже простой вибрационный отклик при захвате объекта или попадании значительно повышает ощущение присутствия. В среднем интеграция тактильных паттернов занимает 30–80 часов на проект.

XR Haptics через OpenXR:

var hapticImpulse = new UnityEngine.XR.HapticCapabilities();
InputDevice device = InputDevices.GetDeviceAtXRNode(XRNode.RightHand);
device.SendHapticImpulse(0, amplitude: 0.5f, duration: 0.1f);

Для сложных паттернов (тактильная «текстура» поверхности при прикосновении, нарастающая вибрация при натяжении тетивы лука) используем Meta Haptics Studio — позволяет дизайнить haptic-клипы визуально.

Что входит в разработку VR/AR-приложения

При заказе проекта под ключ мы предоставляем:

• Архитектурный документ с описанием стека, логики рендера и системы взаимодействия
• Рабочий прототип (MVP) для тестирования на целевом устройстве
• Интеграцию необходимых SDK (Meta XR, OpenXR, AR Foundation и др.)
• Оптимизацию под целевые частоты 72/90/120 Hz с профилированием draw calls и FPS
• Тестирование на физическом оборудовании (Quest, SteamVR, HoloLens) с привлечением пользователей
• Полную документацию по сборке, деплою и поддержке
• Обучение команды заказчика (воркшоп по работе с XR Toolkit)
• Гарантийную поддержку в течение 1 месяца после сдачи

Что влияет на стоимость и сроки

VR/AR проекты дороже обычных игр аналогичного объёма. Итерации медленнее — каждую правку нужно тестировать в гарнитуре, эмулятор не передаёт реальный опыт. Motion sickness вынуждает переделывать часть концептуальных решений после первого плейтеста. Оптимизация занимает существенную долю времени — для мобильного VR (Quest) до 60-70% цикла. Для проектов под Quest начинаем оптимизацию с первого спринта. Стоимость интеграции базового SDK (XR Interaction Toolkit) обычно варьируется от 200 000 до 600 000 рублей в зависимости от объёма кастомных Interactable. Средний бюджет полного проекта под Quest составляет от 1 500 000 до 4 000 000 рублей.

Получите консультацию по вашему проекту — оценим задачу, стек и сроки. Закажите разработку VR/AR-приложения под ключ с гарантией стабильного фреймрейта.