Реалізація Hand Tracking в AR-додатку: Технічні рішення та оптимізація

Реалізація Hand Tracking в AR-додатку

Hand tracking — відстеження кистей рук та пальців без маркерів через камеру. Самостійне керування AR-інтерфейсом, віртуальні музичні інструменти, навчальні додатки з хірургії або механіки — скрізь, де руки стають контролером, потрібне точне розпізнавання 21 суглоба на кожну руку. Технічно задача складна: швидкі рухи, перекриття пальців, втрата трекінгу при поганому освітленні. Наш досвід (5+ років у AR, 20+ проєктів з hand tracking) дозволяє вирішувати ці проблеми за допомогою нативних та крос-платформних рішень, скорочуючи витрати на розробку до 40% (економія від $2000 на типових проєктах).

Чому hand tracking — складна технічна задача?

Кожна рука має 21 joint (у MediaPipe) або 26 (в ARKit), які потрібно відстежувати в реальному часі з низькою затримкою. Проблеми: самоперекриття пальців (щипок, коли великий палець перекриває вказівний), втрата трекінгу при слабкому освітленні (<200 лк) та високе обчислювальне навантаження на GPU. Сучасні рішення комбінують машинне навчання (згорткові нейромережі, оптичний потік) та геометричні алгоритми для стабільного захоплення.

Платформенна ситуація та технічні рішення

iOS: Починаючи з останніх версій iOS та ARKit Hand Tracking надає публічний API з 26 joints. До цього використовувалися сторонні ML-рішення. Android: ARCore не має hand tracking, тому стандартом став MediaPipe Hands з 21 joint, який працює і на iOS для крос-платформності.

Як ARKit та MediaPipe вирішують проблему перекриття пальців?

Обидва фреймворки використовують 2.5D-підхід: спочатку визначають bounding box кисті, потім уточнюють joints всередині. При перекритті впевненість падає, але ARKit краще справляється завдяки глибині від LiDAR (на iPad Pro/iPhone Pro). MediaPipe використовує лише RGB і дає більш плавний трекінг, але з більшою затримкою на слабких пристроях. Завдяки новітнім алгоритмам, ARKit в 2 рази кращий за затримкою на iPhone 15 (15 мс проти 30 мс у MediaPipe).

Реалізація на різних платформах

Hand tracking на iOS (Swift)

// Останні версії iOS, RealityKit
let session = ARKitSession()
let handTrackingProvider = HandTrackingProvider()

Task {
    try await session.run([handTrackingProvider])

    for await update in handTrackingProvider.anchorUpdates {
        let handAnchor = update.anchor
        guard handAnchor.isTracked else { continue }

        // Позиція кінчика вказівного пальця
        if let indexTip = handAnchor.skeleton.joint(named: .indexFingerTip) {
            let worldTransform = handAnchor.originFromAnchorTransform * indexTip.anchorFromJointTransform
            // Прив'язати об'єкт до кінчика пальця
        }
    }
}

Hand tracking з MediaPipe (крос-платформне рішення)

MediaPipe Hands безкоштовний, крос-платформний і підходить, якщо потрібна підтримка старих пристроїв або єдина кодова база. Приклад на Kotlin:

// Android
val handLandmarker = HandLandmarker.createFromOptions(context,
    HandLandmarkerOptions.builder()
        .setBaseOptions(BaseOptions.builder().setModelAssetPath("hand_landmarker.task").build())
        .setNumHands(2)
        .setMinHandDetectionConfidence(0.5f)
        .setMinTrackingConfidence(0.5f)
        .build()
)

val result = handLandmarker.detect(mpImage)
// result.landmarks() — List<List<NormalizedLandmark>>
// 21 точка на кожну руку в нормалізованих координатах [0..1]

21 joint в MediaPipe: WRIST, THUMB_CMC .. THUMB_TIP, INDEX_FINGER_MCP .. INDEX_FINGER_TIP, аналогічно для решти пальців. Для AR-прив'язки в 3D: нормалізовані 2D-координати → unproject через camera intrinsics + depth (LiDAR або monocular depth estimation).

Порівняння ARKit та MediaPipe

ARKit швидший за MediaPipe в 2-3 рази на сучасних пристроях, але MediaPipe забезпечує крос-платформність.

Розпізнавання жестів

Базові жести без ML — через геометрію joints:

• Pinch (щипок): відстань між THUMB_TIP та INDEX_FINGER_TIP < поріг (2-3 см).
• Відкрита долоня: всі TIP joints вище відповідних MCP joints по Y-осі.
• Кулак: всі TIP joints нижче MCP по Y-осі.
• Victory (V): index та middle TIP вище MCP, інші — нижче.

Складні жести (ASL алфавіт, кастомні комбінації) — CreateML GestureClassifier або TensorFlow Lite custom model. Навчання на 500-1000 зразках кожного жесту. Наприклад, для навчання кастомного жесту використовуйте CreateML з датасетом з 1000 кадрів — точність класифікатора досягає 95%.

Як hand tracking взаємодіє з AR-об'єктами

Picking об'єктів: ray з долоні/пальця → intersection з AR-об'єктами. PinchGesture = «схопити», розтиснути = «відпустити». Дві руки одночасно → масштабування (відстань між долонями), обертання (орієнтація вектора між долонями). Хірургічна симуляція: кінчик пальця взаємодіє з віртуальними органами через collision detection.

Обмеження та оптимізація

Перекриття пальців залишається проблемою. MediaPipe та ARKit використовують 2.5D — самоперекриття не вирішено повністю. Контрастність руки на темному фоні знижує confidence. Мінімальне освітлення для стабільного трекінгу — 200 лк. Latency: MediaPipe на середньому Android — 35-45 мс, ARKit на iPhone — 15-20 мс. Для музичних інструментів різниця відчутна. Оптимізація: асинхронна обробка на GPU, зниження частоти кадрів трекінгу до 30 FPS, використання легших ML-моделей.

Покроковий план реалізації

1. Аналіз вимог та вибір платформи (ARKit / MediaPipe / гібрид).
2. Інтеграція бібліотеки та налаштування конфігурації (пороги впевненості, кількість рук).
3. Розробка логіки жестів (геометрична або ML-класифікація).
4. Реалізація взаємодії з AR-об'єктами (raycast, collision).
5. Тестування на реальних пристроях в різних умовах освітлення.
6. Оптимізація продуктивності (зниження навантаження на GPU, асинхронна обробка).

Що входить в роботу

• Архітектурний опис та технічна документація.
• Вихідний код з коментарями та інтеграцією в існуючий проєкт.
• Тестовий білд для iOS та/або Android.
• Консультація щодо доопрацювань та підтримка на етапі впровадження.
• Гарантія якості та дотримання термінів.

Наша команда з 5-річним досвідом у AR та 20+ успішними проєктами hand tracking готова реалізувати ваше рішення. Отримайте консультацію — ми оцінимо терміни та вартість (від $1500 за базове рішення). Замовте розробку hand tracking та прискорте виведення вашого AR-продукту на ринок.

Терміни та вартість

Базовий hand tracking з розпізнаванням pinch/open жестів на iOS — від 1 до 2 тижнів (від $1500). Крос-платформне рішення на MediaPipe — від 2 до 3 тижнів (від $2500). Кастомний класифікатор жестів з навчанням — плюс 2-3 тижні (від $2000). Інтерактивна взаємодія рук з AR-об'єктами — плюс 2-4 тижні (від $3000). Вартість розраховується індивідуально після аналізу вимог.

Ми розробляємо AR-додатки на ARKit та ARCore, які працюють стабільно навіть у складних умовах. Наш досвід — 7+ років у мобільній розробці та 30+ реалізованих проєктів з доповненою реальністю. Гарантуємо: трекінг не загубиться, освітлення буде реалістичним, а користувач не відчує дискомфорту. Сертифіковані розробники Apple та Google.

Чому трекінг втрачається і як це виправити?

ARKit та ARCore використовують VIO (Visual-Inertial Odometry) — спільну обробку даних камери та IMU. Трекінг зривається в трьох сценаріях: освітлення нижче ~50 lux, тектурно однорідні поверхні (біла стіна, скло) та швидкі рухи камери.

На практиці це означає: якщо продукт призначений для примірки меблів, додаємо явне UI-попередження при ARCamera.TrackingState.limited(.insufficientFeatures). Додаток, який мовчки втрачає трекінг, отримує 2-зіркові відгуки — ми такого не допускаємо.

Виявлення площин налаштовується через ARWorldTrackingConfiguration.planeDetection = [.horizontal, .vertical]. Важливо: ARKit продовжує уточнювати геометрію площин через ARSCNViewDelegate.renderer(_:didUpdate:for:) — якщо не обробляти оновлення, об'єкт починає плавати при уточненні якоря. Наша команда вирішує цю проблему на етапі архітектури, а не при тестуванні.

AR Foundation: кроссплатформа з нюансами

Unity AR Foundation — шар абстракції поверх ARKit та ARCore. Він скорочує час розробки на 40% порівняно з окремими нативними кодовими базами. Але деякі функції (наприклад, ARBodyTrackingConfiguration для body tracking) недоступні та вимагають нативного плагіна.

Для React Native та Flutter прямого AR Foundation немає. Використовуємо ViroReact (React Native) або ar_flutter_plugin для простих сценаріїв, але для production-якості — нативні модулі з мостом. Гібридний підхід: AR-сцена рендериться нативним ARKit/ARCore view, управління з JS/Dart через method channel. Входить у нашу стандартну поставку.

Порівняння платформ: ARKit випереджає ARCore за стабільністю трекінгу та набором функцій (на 30% менше збоїв у сценаріях з низьким освітленням), але ARCore дешевший у підтримці пристроїв. AR Foundation — компроміс: втрачає до 20% продуктивності на складних сценах, але окупається єдиною кодовою базою.

Try-on: примірка товарів через AR

Примірка окулярів, прикрас, косметики — окремий клас задач. Тут потрібен face tracking, а не plane detection.

ARKit надає ARFaceTrackingConfiguration — 52 blend shape коефіцієнти для міміки, 3D-меш обличчя, позицію та орієнтацію в просторі. Працює лише на пристроях з TrueDepth-камерою (iPhone з Face ID).

Для Android еквівалент — ML Kit Face Mesh Detection або Google ARCore Augmented Faces (Pixel та деякі флагмани). Для кроссплатформенного try-on використовуємо Banuba Face AR SDK — покриває обидва пристрої, дає готові маски та стабільний трекінг навіть на mid-range Android.

Якість try-on критично залежить від 3D-моделей товарів. Моделі мають бути оптимізовані під real-time: не більше 10-15K полігонів для прикрас, PBR-матеріали з коректними roughness/metallic картами, LOD для далеких дистанцій. В рамках нашого підряду ми надаємо готові гайди з оптимізації моделей.

Як досягти реалістичного освітлення в AR?

ARKit з сучасними версіями iOS підтримує Environmental Texturing — автоматичне створення environment map з камери для реалістичних відображень. Вмикається через ARWorldTrackingConfiguration.environmentTexturing = .automatic. Без цього металеві та скляні матеріали виглядають пластиково.

ARCore надає Light Estimation — intensity та color temperature навколишнього світла, що застосовуються до шейдера віртуальних об'єктів. На практиці це різниця між об'єктом, який «вписується» в сцену, та очевидно накладеною 3D-моделлю. Ми гарантуємо, що фінальне зображення не видає віртуальності.

Що входить в роботу

• Архітектура AR-рішення (вибір стеку, проектування модулів)
• 3D-пайплайн: оптимізація моделей під real-time, PBR-матеріали, LOD
• Інтеграція трекінгу (площини, обличчя, зображення, об'єкти)
• Тестування на 10+ реальних пристроях (iOS та Android)
• Документація з використання SDK та готових компонентів
• Підтримка після запуску (1 місяць баг-фіксингу)

Строки та оцінка

Проста AR-сцена з розміщенням однієї 3D-моделі на площині — 1–2 тижні. Face try-on з каталогом товарів — від 6 тижнів (3D-пайплайн, інтеграція трекінгу, UI вибору та збереження). Повноцінний AR-шопінг з хмарними якорями та мультиплеєром — від 3 місяців. Оцінимо проєкт за 1 день — пишіть, обговоримо вашу AR-ідею.