Розробка модулів інтеграції AR із зовнішніми БД

Ми займаємося розробкою AR-рішень більше 5 років і виконали 30+ проєктів з інтеграції доповненої реальності з корпоративними системами. Компанія має 5+ років досвіду в AR та реалізувала 30+ успішних проєктів. Одна з частих задач — підключення AR-додатку до зовнішніх баз даних. Ми пропонуємо готовий модуль синхронізації даних AR.

AR-додаток для складського обліку показує співробітнику інформацію про товар прямо над фізичною коробкою. Дані тягнуться з ERP в реальному часі. Затримка запиту 800 мс — і анотація з'являється вже після того, як співробітник відвів погляд. Це не UX-нюанс — це прямий провал сценарію використання. Інтеграція AR із зовнішніми базами даних потребує іншого підходу до архітектури запитів, ніж у звичайних мобільних додатках. Наш досвід показує, що стандартні рішення тут не працюють.

Які технічні виклики виникають при інтеграції AR з БД?

Латентність запитів в AR критичніша, ніж у будь-якому іншому мобільному контексті. Користувач наводить камеру на об'єкт і очікує миттєвого відгуку. 300 мс — прийнятно, 800 мс — помітна затримка, 2 секунди — додаток здається зламаним. Для 95% сценаріїв використання латентність не перевищує 150 мс.

Основні джерела затримки:

• Мережевий round-trip до сервера (100–300 мс у 4G, 20–50 мс у WiFi)
• Час обробки запиту на сервері (SQL-запит без індексу на таблицю з 5 мільйонів рядків — легко 500 мс)
• Десеріалізація JSON на клієнті

Рішення — предиктивне завантаження та кешування. У складському AR-додатку при наведенні на стелаж ми знаємо, що наступні 30 секунд користувач буде працювати з цією зоною. Prefetch запитує дані по всіх артикулах зони одним batch-запитом одразу при розпізнаванні маркера стелажа, кладе в локальний кеш. Коли користувач наводить на конкретну коробку — дані вже готові. Prefetching дає виграш у 2 рази швидше, ніж поштучні запити.

AR офлайн-режим — другий критичний момент. На складах, у промислових цехах, у медичних закладах з металевими перегородками сигнал нестабільний. AR-додаток повинен працювати з кешованими даними та синхронізувати зміни при відновленні з'єднання. Конфлікти злиття (користувач змінив кількість в AR, інший користувач змінив те ж поле в ERP) — обробляємо через timestamps + last-write-wins або через explicit conflict resolution UI.

Архітектура модуля інтеграції

Будуємо на трьох шарах:

Data Access Layer — абстракція над джерелом даних. IProductRepository з методами GetByBarcode(string code), GetByZone(string zoneId), UpdateQuantity(string id, int delta). Конкретна реалізація може бути REST, GraphQL, gRPC або пряме SQLite — шар AR-логіки не знає.

Sync Engine — управління кешем та синхронізацією. SQLite через sqlite-net-pcl на пристрої як локальне сховище. Фоновий SyncWorker опитує сервер кожні N секунд (configurable) або реагує на push через WebSocket/SignalR. Стратегія кешування — TTL per entity type: швидкозмінні дані (кількість на складі) — 30 секунд, довідники (назви, характеристики) — 24 години.

AR Binding Layer — підключення даних до AR-об'єктів. У Unity AR Foundation: при ARTrackedObjectsChangedEventArgs.added — запит даних для розпізнаного об'єкта через IProductRepository, заповнення ARAnnotationController отриманими даними. При removed — приховування анотації, скасування pending запитів через CancellationToken.

Для продуктивності використовуємо UniTask (або ValueTask в стандартному .NET) замість стандартних корутин — менше алокацій, нативне скасування задач через CancellationToken, правильна обробка винятків в async/await. Microsoft рекомендує використовувати HttpClient як singleton для уникнення виснаження сокетів (див. рекомендації Microsoft).

Типові інтеграції в AR-проєктах

REST API AR (найпоширеніший): HttpClient з System.Net.Http, Newtonsoft.Json або System.Text.Json для десеріалізації. Важливо: HttpClient повинен бути singleton або pooled — кожен new HttpClient() відкриває новий socket pool.

GraphQL AR: для AR-додатків особливо зручний — запитуємо лише потрібні поля, одним запитом отримуємо пов'язані дані. graphql-net-client або Strawberry Shake для .NET.

WebSocket AR: для real-time оновлень — наприклад, AR-анотації на виробничій лінії, де статус обладнання змінюється кожні секунди. SignalR Core на бекенді, Microsoft.AspNetCore.SignalR.Client на клієнті.

Пряме підключення до БД в AR-додатках не рекомендуємо — це антипатерн з точки зору безпеки (облікові дані БД в APK) і масштабованості.

Як забезпечити миттєвий відгук?

Ключова техніка — асинхронне попереднє завантаження даних в зоні видимості. Ми використовуємо spatial prefetch: при розпізнаванні маркера зони (стелаж, кімната) відправляємо batch-запит на всі об'єкти в цій зоні. Це дає виграш у 2–3 рази порівняно з поштучними запитами. UniTask дозволяє скасовувати застарілі запити без алокацій. Навантажувальне тестування показує, що при 1500+ об'єктах в зоні 98% запитів обробляються за <200 мс.

Покроковий план інтеграції

1. Аналіз джерел даних. Вивчаємо API або структуру БД, визначаємо вимоги до актуальності даних, офлайн-поведінки.
2. Проєктування Data Access Layer. Інтерфейси, стратегія кешування, offline-політика.
3. Розробка Sync Engine. SQLite схема, фонова синхронізація, conflict resolution.
4. Інтеграція з Unity AR Foundation. Прив'язка даних до tracked objects.
5. Тестування. Сценарії: поганий сигнал, повний офлайн, конфлікти при синхронізації, навантажувальний тест (1500 об'єктів в зоні видимості).

Вартість розраховується після аналізу структури даних і вимог до синхронізації. Базова інтеграція починається від 2000$.

Що входить в роботу

• Розробка Data Access Layer з підтримкою REST/GraphQL/WebSocket.
• Реалізація Sync Engine з кешуванням та розв'язанням конфліктів.
• Інтеграція з Unity AR Foundation (Unity) або Native XR.
• Документація по API та архітектурі.
• Навчання вашої команди роботі з модулем.
• Гарантія 6 місяців на виявлені баги.

Ми гарантуємо, що модуль пройде навантажувальне тестування при 1500+ об'єктах в зоні видимості. За даними Unity, правильне кешування даних AR знижує затримки на 60%.

Якщо вам потрібно інтегрувати AR із зовнішніми даними — зв'яжіться з нами для оцінки проєкту. Замовте розробку модуля під ключ — отримайте готове рішення за 2–12 тижнів залежно від складності.

public interface IProductRepository
{
    UniTask<Product> GetByBarcode(string code, CancellationToken ct);
    UniTask<IEnumerable<Product>> GetByZone(string zoneId, CancellationToken ct);
    UniTask UpdateQuantity(string id, int delta, CancellationToken ct);
}

VR та AR розробка

Коли ми вперше запускаємо проєкт у VR-гарнітурі, більшість команд стикається з одним і тим же: технічно все працює, але в гарнітурі або заколисує, або руки «плавають» із затримкою, або сцена виглядає сіпаною на периферії погляду. Це не баги у звичному розумінні — це наслідок того, що VR/AR розробка вимагає іншого підходу до архітектури рендеру, взаємодії та UX з самого початку проєкту. Наш досвід — понад 7 років у геймдеві, 15+ завершених VR/AR-проєктів для Meta Quest, SteamVR, PSVR2, HoloLens.

Платформи та SDK

Працюємо з усім актуальним стеком. OpenXR використовуємо як базовий шар скрізь, де це можливо — він дає кроссплатформеність між Meta, Valve Index, HP Reverb та іншими PC VR-пристроями. Поверх OpenXR будуємо на XR Interaction Toolkit (Unity) або VR Expansion Plugin (Unreal).

Як мінімізувати заколисування при локомоції у VR?

Locomotion — головне джерело motion sickness для недосвідчених VR-користувачів. Згідно з дослідженнями, близько 70% користувачів відчувають дискомфорт при неправильному налаштуванні руху (Oculus Developer Guidelines). Teleportation — стандартний спосіб навігації, коли плавне переміщення небажане.

Компоненти з XR Interaction Toolkit: TeleportationArea, TeleportationAnchor, TeleportationProvider. Базова реалізація працює «з коробки», але для продакшну доопрацьовуємо її в чотири кроки:

1. Налаштування XRRayInteractor з вигнутим променем (Bend Ray) — дуга телепортації виглядає натуральніше прямого променя, краще зчитується користувачами.
2. Додавання валідної зони приземлення — візуальний індикатор змінює колір при наведенні на перешкоду (червоний/зелений).
3. Впровадження fade transition — плавне згасання екрану (black fade) перед телепортом знижує дезорієнтацію.
4. Rotation snapping — після телепорту пропонуємо snap-поворот на 45° або 90° замість плавного, що знижує ризик заколисування.

Для проєктів, де потрібна плавна локомоція (екшн-ігри, симулятори), використовуємо comfort settings: віньєтування при русі, зниження FOV під час прискорення. Налаштування доступні користувачеві в меню — різні люди мають різний поріг чутливості.

Як зробити захоплення об'єктів у VR фізично реалістичним?

Це найнедооціненіша частина VR-розробки. Клієнти часто сприймають її як «просто анімація рук», але на практиці — складна система, де фізична коректність, відгукливість та комфорт вступають у суперечність.

Grab (захоплення)

XR Interaction Toolkit надає три типи Interactable для захоплення:

• XRGrabInteractable — стандартне захоплення, об'єкт слідує за контролером через фізичний joint або direct position/rotation
• XRSimpleInteractable — для об'єктів без фізичного переміщення (кнопки, важелі)
• Кастомні Interactable через наслідування від XRBaseInteractable

Attach Transform — часто ігнорована деталь. У кожного Interactable має бути правильно налаштований Attach Transform (точка, до якої рука «прилипає»). Без нього рукоятка пістолета опиниться по центру меша, а не там, де її тримають.

Для зброї та інструментів з дворучним захопленням — окрема система TwoHandGrab: ведуча рука визначає позицію, друга — орієнтацію. XR Interaction Toolkit підтримує це через XRTwoHandGrabInteractable або кастомну логіку з двома Attach Points.

Throw (кидок)

Чому velocity smoothing критичний для реалістичного кидка? Проблема в тому, що Rigidbody.velocity в момент відпускання контролера відображає миттєву швидкість, яка часто некоректна через дискретизацію трекінгу. Користувач робить швидкий рух зап'ястям — а об'єкт летить вдвічі повільніше.

Рішення: velocity smoothing за останні N кадрів (типово 5-10 кадрів, ~80-160 мс при 60 Гц) перед відпусканням. XR Interaction Toolkit робить це через VelocityEstimator. Додатково застосовуємо velocity scaling multiplier — невелике множення швидкості (1.2-1.5x) робить кидки суб'єктивно більш задовільними. Кутову швидкість (для об'єктів, які мають крутитися в польоті) також усереднюємо аналогічним чином.

AR: Plane Tracking та робота з оточенням

AR додає інший клас проблем — роботу з реальним, непередбачуваним оточенням. AR Foundation — кроссплатформенний шар поверх ARKit та ARCore. Більшість базових функцій (plane detection, raycasting, image tracking, face tracking) доступні через єдиний API.

Plane Detection

ARPlaneManager виявляє горизонтальні та вертикальні площини. Практичні нюанси:

• Ініціалізація займає час — користувач повинен оглянути приміщення, поки система будує карту. Потрібен явний onboarding з інструкцією «повільно водіть камерою по поверхнях».
• Площини нестабільні — їх межі та позиція оновлюються в міру накопичення даних. Об'єкти, розміщені на площині, потрібно прив'язувати через parenting до ARPlane, а не до світових координат.
• Злиття площин — два виявлені сегменти підлоги можуть злитися в один, що рухає якір. Для критичних якорів використовуємо ARAnchor замість прямої прив'язки до площини.

Оптимізація для VR: фреймрейт та комфорт

VR вимагає стабільного високого фреймрейту. Близько 60% часу розробки в мобільному VR йде на оптимізацію, а не на функціонал — ретрофіт у два рази дорожче правильної архітектури з першого спринту.

Single Pass Instanced Rendering

Головна оптимізація рендеру у VR. Без неї сцена рендериться двічі (для кожного ока), що подвоює draw calls. Single Pass Instanced рендерить обидва ока за один прохід через instancing: geometry обробляється один раз, шейдер отримує два view/projection matrix через GPU instancing. Вмикається в Unity через XR Plug-in Management > Rendering Mode: Single Pass Instanced. Важно: кастомні шейдери повинні підтримувати SPI — стандартні URP/HDRP шейдери підтримують, кастомні HLSL вимагають правки (UNITY_SETUP_STEREO_EYE_INDEX_POST_VERTEX та пов'язані макроси). Застосування цієї техніки скорочує кількість draw calls на 40-50%.

Foveated Rendering

На Meta Quest доступний Fixed Foveated Rendering (FFR) — зниження роздільної здатності на периферії кадру, де гострота сприйняття нижча. Налаштовується через OVRManager або Meta XR SDK:

OVRManager.fixedFoveatedRenderingLevel = OVRManager.FixedFoveatedRenderingLevel.High;
OVRManager.useDynamicFixedFoveatedRendering = true;

Dynamic FFR автоматично підвищує рівень при просадці фреймрейту — зручніше фіксованого в сценах зі змінним навантаженням.

IPD та Comfort Settings

IPD (Inter-Pupillary Distance) — відстань між зіницями, впливає на сприйняття глибини. На програмованому рівні в більшості пристроїв доступне лише читання IPD (OVRPlugin.GetSystemDisplayFrequency), фізичне налаштування — на гарнітурі. Для додатків з точним позиціонуванням (медичні симулятори, тренінги) враховуємо IPD у розрахунках масштабу сцени.

Haptics

Тактильний фідбек — недооцінений інструмент. Навіть простий вібраційний відгук при захопленні об'єкта або попаданні значно підвищує відчуття присутності. В середньому інтеграція тактильних патернів займає 30–80 годин на проєкт.

XR Haptics через OpenXR:

var hapticImpulse = new UnityEngine.XR.HapticCapabilities();
InputDevice device = InputDevices.GetDeviceAtXRNode(XRNode.RightHand);
device.SendHapticImpulse(0, amplitude: 0.5f, duration: 0.1f);

Для складних патернів (тактильна «текстура» поверхні при дотику, наростаюча вібрація при натягу тятиви лука) використовуємо Meta Haptics Studio — дозволяє дизайнити haptic-кліпи візуально.

Що входить у розробку VR/AR-додатку

При замовленні проєкту під ключ ми надаємо:

• Архітектурний документ з описом стеку, логіки рендеру та системи взаємодії
• Робочий прототип (MVP) для тестування на цільовому пристрої
• Інтеграцію необхідних SDK (Meta XR, OpenXR, AR Foundation та ін.)
• Оптимізацію під цільові частоти 72/90/120 Гц з профілюванням draw calls та FPS
• Тестування на фізичному обладнанні (Quest, SteamVR, HoloLens) із залученням користувачів
• Повну документацію по збірці, деплою та підтримці
• Навчання команди замовника (воркшоп по роботі з XR Toolkit)
• Гарантійну підтримку протягом 1 місяця після здачі

Що впливає на вартість та терміни

VR/AR проєкти дорожчі за звичайні ігри аналогічного обсягу. Ітерації повільніші — кожну правку потрібно тестувати в гарнітурі, емулятор не передає реальний досвід. Motion sickness змушує переробляти частину концептуальних рішень після першого плейтесту. Оптимізація займає суттєву частку часу — для мобільного VR (Quest) до 60-70% циклу. Для проєктів під Quest починаємо оптимізацію з першого спринту.

Отримайте консультацію по вашому проєкту — оцінимо задачу, стек та терміни. Замовте розробку VR/AR-додатку під ключ з гарантією стабільного фреймрейту.