Разработка мобильного приложения для виртуальной выставки

Как разработать мобильное приложение для виртуальной выставки?

Физическая выставка в Милане собрала 3000 посетителей за 5 дней. Мобильное приложение с виртуальной выставкой, которое мы разработали, обслуживает 30 000 человек за тот же срок без аренды зала. Задача не только в 3D-моделях — мы передаём пространственный опыт: навигацию по залам, контекст экспонатов, возможность рассмотреть деталь вблизи.

Виртуальные залы моделируются в Blender или SketchUp, экспортируются в glTF. Для iOS конвертируем в Reality файл через Reality Composer Pro с baked освещением, иначе real-time PBR для большого зала слишком тяжёлое. Для Android используем glTF 2.0 с KHR_lights_punctual extension через Filament рендер. Текстуры сжимаем в KTX2 / ETC2 (Android) и ASTC (iOS) для уменьшения VRAM. Lightmap baking в Blender обязателен: мобильный GPU не вывозит динамические тени для сложной геометрии.

Экспонаты в 3D: фотограмметрия (RealityCapture, Meshroom) для физических объектов — сканируем с 50–200 фото, получаем photorealistic меш. Для 2D-арта: High-res фото на SCNPlane с emmisive материалом (не зависит от освещения, цвет точный). Мы используем гибридный подход: основная функция — 3D walk-through с опциональным AR-режимом для отдельных экспонатов. Такой подход даёт охват аудитории в 50 раз больше, чем VR-шлем.

Как выбрать формат: AR, VR или 3D-просмотрщик?

Выбираем гибридный подход как компромисс между охватом и погружением. Для событий с массовой аудиторией 3D walk-through работает лучше: его можно открыть на любом устройстве без установки, в отличие от VR, требующего дорогого шлема. AR-режим добавляем как опцию для ключевых экспонатов.

Как организована навигация и интерактивность?

Перемещение по залу: виртуальный стик на экране (левый — движение, правый — поворот камеры) — геймерский стандарт, но незнаком широкой аудитории. Альтернатива для культурных проектов: tap-to-move (тапаем на пол — персонаж идёт к точке), waypoint-навигация (список залов, автоматическая камера). Часто делаем оба режима с возможностью переключения.

Экспонат крупным планом: тап на объект → всплывающая карточка с информацией → кнопка «Рассмотреть» → переход в isolated view с orbit-камерой (орбитальный контроллер, pinch zoom, rotation). В isolated view добавляем аудиогид: AVAudioPlayer воспроизводит MP3 по exhibitId.

AR режим для отдельных экспонатов: из isolated view — кнопка «Посмотреть в AR». Стандартный ARKit placement flow. Возврат обратно в виртуальный зал.

Как мы создаём виртуальный тур?

1. Анализируем контент заказчика: фото, видео, 3D-модели, описания.
2. Моделируем виртуальные залы в Blender с baked-освещением.
3. Конвертируем экспонаты через фотограмметрию или High-res фото.
4. Разрабатываем приложение с навигацией, карточками, аудиогидом и AR.
5. Интегрируем аналитику Firebase и социальный шеринг.
6. Тестируем на 10+ устройствах, публикуем в App Store и Google Play.

Социальные функции и аналитика

Виртуальная выставка без данных — потеря возможности. Трекаем: exhibit_viewed, exhibit_time_spent, audio_guide_played, ar_mode_used, exhibit_shared. Firebase Analytics или Amplitude. Тепловая карта популярности экспонатов для куратора.

Шеринг: снимок с экспонатом + название выставки → UIActivityViewController → Instagram, WhatsApp и другие мессенджеры. Генерация OG-карточки на сервере для шеринга URL.

Какие гарантии качества мы даём?

Каждый проект проходит полный цикл: от аудита контента до пострелизной поддержки. Все приложения тестируются на 10+ устройствах с разными версиями ОС. Мы соблюдаем App Store Review Guidelines (Sections 4.2, 5.1) и Google Play Developer Policy. Наш опыт — 15+ реализованных проектов для российских и международных заказчиков.

Что входит в работу?

Разработка включает аудит контента, 3D-моделирование виртуальных залов с baked-освещением, контент-пайплайн (фотограмметрия, обработка текстур, экспорт в glTF/Reality), нативную разработку под iOS и Android, интеграцию навигации, аудиогида, AR-режима, аналитики и шеринга, наполнение контентом, тестирование и публикацию в сторы с соблюдением всех гайдлайнов. После релиза — месяц технической поддержки.

Как мы оцениваем сроки и бюджет?

Бюджет проекта рассчитывается индивидуально в зависимости от объёма контента и функциональности. Экономия на аренде и логистике может достигать 70% по сравнению с физической выставкой. Свяжитесь с нами для оценки вашего проекта — мы подготовим индивидуальное предложение. Закажите консультацию, чтобы обсудить детали.

Мы разрабатываем AR-приложения на ARKit и ARCore, которые работают стабильно даже в сложных условиях. Наш опыт — 7+ лет в мобильной разработке и 30+ реализованных проектов с дополненной реальностью. Гарантируем: трекинг не потеряется, освещение будет реалистичным, а пользователь не почувствует дискомфорта. Сертифицированные разработчики Apple и Google.

Почему трекинг теряется и как это исправить?

ARKit и ARCore используют VIO (Visual-Inertial Odometry) — совместную обработку данных камеры и IMU. Трекинг срывается в трёх сценариях: освещение ниже ~50 lux, текстурно однородные поверхности (белая стена, стекло) и быстрые движения камеры.

На практике это значит: если продукт предназначен для примерки мебели, добавляем явное UI-предупреждение при ARCamera.TrackingState.limited(.insufficientFeatures). Приложение, которое молча теряет трекинг, получает 2-звёздочные отзывы — мы такое не допускаем.

Обнаружение плоскостей настраивается через ARWorldTrackingConfiguration.planeDetection = [.horizontal, .vertical]. Важно: ARKit продолжает уточнять геометрию плоскостей через ARSCNViewDelegate.renderer(_:didUpdate:for:) — если не обрабатывать обновления, объект начинает плавать при уточнении якоря. Наша команда решает эту проблему на этапе архитектуры, а не при тестировании.

AR Foundation: кросс-платформа с нюансами

Unity AR Foundation — слой абстракции поверх ARKit и ARCore. Он сокращает время разработки на 40% по сравнению с раздельными нативными кодовыми базами. Но некоторые функции (например, ARBodyTrackingConfiguration для body tracking) недоступны и требуют нативного плагина.

Для React Native и Flutter прямой AR Foundation отсутствует. Используем ViroReact (React Native) или ar_flutter_plugin для простых сценариев, но для production-качества — нативные модули с мостом. Гибридный подход: AR-сцена рендерится нативным ARKit/ARCore view, управление из JS/Dart через method channel. Входит в нашу стандартную поставку.

Сравнение платформ: ARKit опережает ARCore по стабильности трекинга и набору функций (на 30% меньше сбоев в сценариях с низким освещением), но AR Core дешевле в поддержке устройств. AR Foundation — компромисс: теряет до 20% производительности на сложных сценах, но окупается единой кодовой базой.

Try-on: примерка товаров через AR

Примерка очков, украшений, косметики — отдельный класс задач. Здесь нужен face tracking, а не plane detection.

ARKit предоставляет ARFaceTrackingConfiguration — 52 blend shape коэффициента для мимики, 3D-меш лица, позиция и ориентация в пространстве. Работает только на устройствах с TrueDepth-камерой (iPhone с Face ID).

Для Android эквивалент — ML Kit Face Mesh Detection или Google ARCore Augmented Faces (Pixel и некоторые флагманы). Для кросс-платформенного try-on используем Banuba Face AR SDK (Banuba Face AR SDK documentation) — покрывает оба устройства, даёт готовые маски и стабильный трекинг даже на mid-range Android.

Качество try-on критически зависит от 3D-моделей товаров. Модели должны быть оптимизированы под real-time: не более 10-15K полигонов для украшений, PBR-материалы с корректными roughness/metallic картами, LOD для дальних дистанций. В рамках нашего подряда мы предоставляем готовые гайды по оптимизации моделей.

Как добиться реалистичного освещения в AR?

ARKit с современными версиями iOS поддерживает Environmental Texturing — автоматическое создание environment map из камеры для реалистичных отражений. Включается через ARWorldTrackingConfiguration.environmentTexturing = .automatic. Без этого металлические и стеклянные материалы выглядят пластиково.

ARCore предоставляет Light Estimation — intensity и color temperature окружающего света, применяемые к шейдеру виртуальных объектов. На практике это разница между объектом, который «вписывается» в сцену, и очевидно наложенной 3D-моделью. Мы гарантируем, что финальное изображение не выдаёт виртуальности.

Что входит в работу

• Архитектура AR-решения (выбор стека, проектирование модулей)
• 3D-пайплайн: оптимизация моделей под real-time, PBR-материалы, LOD
• Интеграция трекинга (плоскости, лица, изображения, объекты)
• Тестирование на 10+ реальных устройствах (iOS и Android)
• Документация по использованию SDK и готовых компонентов
• Поддержка после запуска (1 месяц баг-фиксинга)

Сроки и оценка

Простая AR-сцена с размещением одной 3D-модели на плоскости — 1–2 недели. Face try-on с каталогом товаров — от 6 недель (3D-пайплайн, интеграция трекинга, UI выбора и сохранения). Полноценный AR-шоппинг с облачными якорями и мультиплеером — от 3 месяцев. Оценим проект за 1 день — пишите, обсудим вашу AR-идею.