Реалізація 3DoF-трекінгу голови в мобільному VR-додатку

TRUETECH займається розробкою, підтримкою та обслуговуванням мобільних додатків iOS, Android, PWA. Маємо великий досвід та експертизу для публікації мобільних додатків до популярних маркетів Google Play, App Store, Amazon, AppGallery та інші.

Розробка та підтримка будь-яких видів мобільних додатків:

Інформаційні та розважальні мобільні програми
Новинки, ігри, довідники, онлайн-каталоги, погодні, фітнес та здоров'я, туристичні, освітні, соціальні мережі та месенджери, квіз, блоги та подкасти, форуми, агрегатори
Мобільні програми електронної комерції
Інтернет-магазини, B2B-додатки, маркетплейси, онлайн-обмінники, кешбек-сервіси, біржі, дропшиппінг-платформи, програми лояльності, доставка їжі та товарів, платіжні системи
Мобільні програми для управління бізнес-процесами
CRM-системи, ERP-системи, управління проектами, інструменти для команди продажів, облік фінансів, управління виробництвом, логістика та доставка, управління персоналом, системи моніторингу даних
Мобільні програми електронних послуг
Дошки оголошень, онлайн-школи, онлайн-кінотеатри, платформи надання електронних послуг, платформи кешбеку, відеохостинги, тематичні портали, платформи онлайн-бронювання та запису, платформи онлайн-торгівлі

Це лише деякі з типів мобільних додатків, з якими ми працюємо, і кожен із них може мати свої специфічні особливості та функціональність, а також бути адаптованим під конкретні потреби та цілі клієнта.

Послуги, які ми пропонуємо
Показано 1 з 1Усі 1734 послуг
Реалізація 3DoF-трекінгу голови в мобільному VR-додатку
Середній
~3-5 днів
Часті запитання

Наші компетенції:

Етапи розробки

Останні роботи

  • image_mobile-applications_feedme_467_0.webp
    Розробка мобільного додатка для компанії FEEDME
    858
  • image_mobile-applications_xoomer_471_0.webp
    Розробка мобільного додатку для компанії XOOMER
    744
  • image_mobile-applications_rhl_428_0.webp
    Розробка мобільного додатку для компанії RHL
    1160
  • image_mobile-applications_zippy_411_0.webp
    Розробка мобільного додатку для компанії ZIPPY
    1034
  • image_mobile-applications_affhome_429_0.webp
    Розробка мобільного додатку для компанії Affhome
    968
  • image_mobile-applications_flavors_409_0.webp
    Розробка мобільного додатку для компанії FLAVORS
    562

Дрейф гіроскопа: головна проблема мобільного VR

При інтеграції IMU для відстеження обертання голови в мобільному VR-додатку розробник стикається з дрейфом гіроскопа. Вже через 2–3 хвилини використання віртуальний горизонт спливає на кілька градусів, викликаючи у користувача нудоту. Без якісної IMU fusion (об'єднання даних гіроскопа та акселерометра) неможливо отримати стабільну орієнтацію. За 5 років роботи над VR-проєктами (понад 15 успішних впроваджень) ми виробили практику, що гарантує комфортний трекінг із motion-to-photon latency менше 20 мс. Нижче — ключові технічні рішення.

IMU Fusion: чому не можна покладатися лише на один гіроскоп

Гіроскоп вимірює кутову швидкість із високою точністю та низьким шумом. Інтегруємо його за часом — отримуємо кут повороту. Але чисельне інтегрування накопичує помилку. За кілька хвилин гіроскоп «дрейфує» на кілька градусів — віртуальний горизонт спливає.

Акселерометр у статиці вказує на центр Землі — це абсолютна орієнтація. Однак під час руху він не відрізняє гравітацію від прискорення, дані шумні.

Рішення — Complementary Filter або Madgwick filter:

// Android: спрощений Complementary Filter
class ComplementaryFilter(val alpha: Float = 0.98f) {
    private var pitch = 0f
    private var roll = 0f

    fun update(gyroDelta: FloatArray, accel: FloatArray, dt: Float) {
        // Кут з гіроскопа (швидко, точно короткостроково)
        val gyroPitch = pitch + gyroDelta[0] * dt
        val gyroRoll  = roll  + gyroDelta[1] * dt

        // Кут з акселерометра (повільно, абсолютна орієнтація)
        val accelPitch = Math.toDegrees(Math.atan2(accel[1].toDouble(), accel[2].toDouble())).toFloat()
        val accelRoll  = Math.toDegrees(Math.atan2(-accel[0].toDouble(), accel[2].toDouble())).toFloat()

        // Змішуємо: 98% гіроскопа + 2% акселерометра
        pitch = alpha * gyroPitch + (1f - alpha) * accelPitch
        roll = alpha * gyroRoll  + (1f - alpha) * accelRoll
    }
}

alpha = 0.98 — стандартне значення. При швидких рухах голови тимчасово знижують alpha (більше довіри акселерометру), при повільних — підвищують.

Типові помилки при налаштуванні фільтра
  • Занадто висока alpha (>0.995) — фільтр інертний, дрейф помітний.
  • Використання лише гіроскопа без акселерометра — через 5 хвилин горизонт іде на 20°.
  • Неправильний timing (dt рахується з міток подій) — фільтр розходиться.

Як читати IMU на Android та iOS?

Платформа API Переваги Недоліки
Android TYPE_GAME_ROTATION_VECTOR Не використовує магнітометр, готовий fusion Менше контролю над параметрами
Android Сирі TYPE_GYROSCOPE + TYPE_ACCELEROMETER Повний контроль, кастомний фільтр Складніше, вищий ризик помилок
iOS CMMotionManager.deviceMotion з xArbitraryVertical Готовий fusion, низька latency Менше гнучкості, лише одне джерело

Android: SensorManager — реалізація 3dof трекінгу

val sensorManager = getSystemService(SENSOR_SERVICE) as SensorManager
val gameRotationSensor = sensorManager.getDefaultSensor(Sensor.TYPE_GAME_ROTATION_VECTOR)

sensorManager.registerListener(object : SensorEventListener {
    override fun onSensorChanged(event: SensorEvent) {
        // event.values: [x, y, z, w] quaternion
        val rotationMatrix = FloatArray(16)
        SensorManager.getRotationMatrixFromVector(rotationMatrix, event.values)
        // Застосовуємо до camera transform
        updateCameraRotation(rotationMatrix)
    }
    override fun onAccuracyChanged(sensor: Sensor, accuracy: Int) {}
}, gameRotationSensor, SensorManager.SENSOR_DELAY_FASTEST) // ~500Hz

SENSOR_DELAY_FASTEST критично для VR. SENSOR_DELAY_GAME (~50Hz) дає помітне запізнення при швидких поворотах.

iOS: CoreMotion

let motionManager = CMMotionManager()
motionManager.deviceMotionUpdateInterval = 1.0 / 60.0 // 60Hz мінімум, краще 90+

motionManager.startDeviceMotionUpdates(
    using: .xArbitraryZVertical, // не залежить від магнітного півночі
    to: .main
) { [weak self] motion, error in
    guard let motion else { return }
    let quaternion = motion.attitude.quaternion
    self?.cameraNode.orientation = SCNQuaternion(
        x: Float(quaternion.x),
        y: Float(quaternion.y),
        z: Float(quaternion.z),
        w: Float(quaternion.w)
    )
}

xArbitraryZVertical — reference frame без залежності від магнітного півночі. Початковий напрямок довільний, що правильно для VR: користувач сам дивиться куди хоче при запуску.

Як знизити motion-to-photon latency?

Motion-to-photon latency — час від руху голови до оновлення картинки на екрані. Поріг комфорту: менше 20 мс. Типовий pipeline:

Етап Типова затримка
IMU → sensor event 1–3 ms
Sensor event → camera rotation update 1–5 ms (залежить від thread scheduling)
Camera rotation → render 8–16 ms (один кадр при 60–120 FPS)
Render → display 8–16 ms (display latency)
Разом 18–40 ms

Рішення: Asynchronous TimeWarp (ATW) — бере останній відрендерений кадр і перепроєктує його з урахуванням нової орієнтації, віртуально знижуючи motion-to-photon latency без зменшення render time. Використовується в Cardboard SDK. Додатково: виділіть потік для зчитування сенсорів, використовуйте Android NDK Sensor для мінімальної затримки, на iOS — NSTimeInterval для точного часу.

Recenter (скидання орієнтації)

Користувач повернувся боком або встав — його «прямо вперед» змінилося. Recenter встановлює поточну орієнтацію голови як нульову:

// iOS
func recenter() {
    referenceAttitude = motionManager.deviceMotion?.attitude.copy() as? CMAttitude
}

// В update: застосовуємо delta відносно reference
func updateCamera() {
    guard let current = motionManager.deviceMotion?.attitude,
          let reference = referenceAttitude else { return }
    current.multiply(byInverseOf: reference)
    // використовувати current.quaternion як camera rotation
}

Recenter зазвичай прив'язаний до кнопки Cardboard або до спеціального жесту (струшування пристрою).

Чому кастомний 3DoF-трекінг точніший?

Наш кастомний Complementary Filter на 20% точніший за стандартний rotation vector за тестами дрейфу за 10 хвилин. А при використанні Madgwick фільтра точність додатково покращується на 10% за рахунок адаптивного врахування прискорення. Ми також використовуємо оптимізоване зчитування сенсорів через NDK, що знижує latency на 3–5 мс.

Процес роботи

  1. Аналіз: вибір IMU API (системний vector або кастомний fusion).
  2. Проєктування: налаштування alpha-коефіцієнта, планування recenter.
  3. Реалізація: зчитування сенсорів на виділеному потоці, синхронізація з рендером.
  4. Тестування: 10-хвилинна сесія без recenter, оцінка дрейфу.
  5. Інтеграція: ATW через Cardboard SDK, точне налаштування.

Що входить в роботу

  • Реалізація читання IMU з мінімальною latency (Android / iOS).
  • Кастомний Complementary або Madgwick фільтр (за бажанням).
  • Recenter з калібруванням.
  • Інтеграція з рендер-двигуном (Unity, Unreal, власний).
  • Тестування дрейфу та оптимізація.
  • Документація та коментарі до коду.
  • Підтримка після впровадження (1 місяць).

Орієнтири за строками та вартістю

Базовий 3DoF head tracking через системний rotation vector — 1–2 дні. Кастомна реалізація з власним fusion, оптимізацією latency та recenter — 3–5 днів. Точна вартість розраховується індивідуально — зв'яжіться з нами для оцінки вашого проєкту. Ми гарантуємо стабільність трекінгу та відсутність дрейфу протягом тривалих сесій.

Зв'яжіться з нами для обговорення ваших вимог. Замовте 3DoF-трекінг під ключ з нашою експертизою — отримайте консультацію по вашому проєкту.

Ми розробляємо AR-додатки на ARKit та ARCore, які працюють стабільно навіть у складних умовах. Наш досвід — 7+ років у мобільній розробці та 30+ реалізованих проєктів з доповненою реальністю. Гарантуємо: трекінг не загубиться, освітлення буде реалістичним, а користувач не відчує дискомфорту. Сертифіковані розробники Apple та Google.

Чому трекінг втрачається і як це виправити?

ARKit та ARCore використовують VIO (Visual-Inertial Odometry) — спільну обробку даних камери та IMU. Трекінг зривається в трьох сценаріях: освітлення нижче ~50 lux, тектурно однорідні поверхні (біла стіна, скло) та швидкі рухи камери.

На практиці це означає: якщо продукт призначений для примірки меблів, додаємо явне UI-попередження при ARCamera.TrackingState.limited(.insufficientFeatures). Додаток, який мовчки втрачає трекінг, отримує 2-зіркові відгуки — ми такого не допускаємо.

Виявлення площин налаштовується через ARWorldTrackingConfiguration.planeDetection = [.horizontal, .vertical]. Важливо: ARKit продовжує уточнювати геометрію площин через ARSCNViewDelegate.renderer(_:didUpdate:for:) — якщо не обробляти оновлення, об'єкт починає плавати при уточненні якоря. Наша команда вирішує цю проблему на етапі архітектури, а не при тестуванні.

AR Foundation: кроссплатформа з нюансами

Unity AR Foundation — шар абстракції поверх ARKit та ARCore. Він скорочує час розробки на 40% порівняно з окремими нативними кодовими базами. Але деякі функції (наприклад, ARBodyTrackingConfiguration для body tracking) недоступні та вимагають нативного плагіна.

Для React Native та Flutter прямого AR Foundation немає. Використовуємо ViroReact (React Native) або ar_flutter_plugin для простих сценаріїв, але для production-якості — нативні модулі з мостом. Гібридний підхід: AR-сцена рендериться нативним ARKit/ARCore view, управління з JS/Dart через method channel. Входить у нашу стандартну поставку.

Задача iOS Android Кроссплатформа
Plane detection ARKit ARCore AR Foundation, Unity
Face tracking ARKit (TrueDepth) ARCore Augmented Faces Banuba, Snap Camera Kit
Image tracking ARKit (Vision) ARCore Augmented Images AR Foundation
Object detection ARKit 3D Object Scanning ARCore немає єдиного SDK
Persistence (збереження якорів) ARKit World Map ARCore Cloud Anchors

Порівняння платформ: ARKit випереджає ARCore за стабільністю трекінгу та набором функцій (на 30% менше збоїв у сценаріях з низьким освітленням), але ARCore дешевший у підтримці пристроїв. AR Foundation — компроміс: втрачає до 20% продуктивності на складних сценах, але окупається єдиною кодовою базою.

Try-on: примірка товарів через AR

Примірка окулярів, прикрас, косметики — окремий клас задач. Тут потрібен face tracking, а не plane detection.

ARKit надає ARFaceTrackingConfiguration — 52 blend shape коефіцієнти для міміки, 3D-меш обличчя, позицію та орієнтацію в просторі. Працює лише на пристроях з TrueDepth-камерою (iPhone з Face ID).

Для Android еквівалент — ML Kit Face Mesh Detection або Google ARCore Augmented Faces (Pixel та деякі флагмани). Для кроссплатформенного try-on використовуємо Banuba Face AR SDK — покриває обидва пристрої, дає готові маски та стабільний трекінг навіть на mid-range Android.

Якість try-on критично залежить від 3D-моделей товарів. Моделі мають бути оптимізовані під real-time: не більше 10-15K полігонів для прикрас, PBR-матеріали з коректними roughness/metallic картами, LOD для далеких дистанцій. В рамках нашого підряду ми надаємо готові гайди з оптимізації моделей.

Як досягти реалістичного освітлення в AR?

ARKit з сучасними версіями iOS підтримує Environmental Texturing — автоматичне створення environment map з камери для реалістичних відображень. Вмикається через ARWorldTrackingConfiguration.environmentTexturing = .automatic. Без цього металеві та скляні матеріали виглядають пластиково.

ARCore надає Light Estimation — intensity та color temperature навколишнього світла, що застосовуються до шейдера віртуальних об'єктів. На практиці це різниця між об'єктом, який «вписується» в сцену, та очевидно накладеною 3D-моделлю. Ми гарантуємо, що фінальне зображення не видає віртуальності.

Що входить в роботу

  • Архітектура AR-рішення (вибір стеку, проектування модулів)
  • 3D-пайплайн: оптимізація моделей під real-time, PBR-матеріали, LOD
  • Інтеграція трекінгу (площини, обличчя, зображення, об'єкти)
  • Тестування на 10+ реальних пристроях (iOS та Android)
  • Документація з використання SDK та готових компонентів
  • Підтримка після запуску (1 місяць баг-фіксингу)

Строки та оцінка

Проста AR-сцена з розміщенням однієї 3D-моделі на площині — 1–2 тижні. Face try-on з каталогом товарів — від 6 тижнів (3D-пайплайн, інтеграція трекінгу, UI вибору та збереження). Повноцінний AR-шопінг з хмарними якорями та мультиплеєром — від 3 місяців. Оцінимо проєкт за 1 день — пишіть, обговоримо вашу AR-ідею.