Реалізація Hand Tracking в AR-додатку
Hand tracking — відстеження кистей рук та пальців без маркерів через камеру. Самостійне керування AR-інтерфейсом, віртуальні музичні інструменти, навчальні додатки з хірургії або механіки — скрізь, де руки стають контролером, потрібне точне розпізнавання 21 суглоба на кожну руку. Технічно задача складна: швидкі рухи, перекриття пальців, втрата трекінгу при поганому освітленні. Наш досвід (5+ років у AR, 20+ проєктів з hand tracking) дозволяє вирішувати ці проблеми за допомогою нативних та крос-платформних рішень, скорочуючи витрати на розробку до 40% (економія від $2000 на типових проєктах).
Чому hand tracking — складна технічна задача?
Кожна рука має 21 joint (у MediaPipe) або 26 (в ARKit), які потрібно відстежувати в реальному часі з низькою затримкою. Проблеми: самоперекриття пальців (щипок, коли великий палець перекриває вказівний), втрата трекінгу при слабкому освітленні (<200 лк) та високе обчислювальне навантаження на GPU. Сучасні рішення комбінують машинне навчання (згорткові нейромережі, оптичний потік) та геометричні алгоритми для стабільного захоплення.
Платформенна ситуація та технічні рішення
iOS: Починаючи з останніх версій iOS та ARKit Hand Tracking надає публічний API з 26 joints. До цього використовувалися сторонні ML-рішення. Android: ARCore не має hand tracking, тому стандартом став MediaPipe Hands з 21 joint, який працює і на iOS для крос-платформності.
Як ARKit та MediaPipe вирішують проблему перекриття пальців?
Обидва фреймворки використовують 2.5D-підхід: спочатку визначають bounding box кисті, потім уточнюють joints всередині. При перекритті впевненість падає, але ARKit краще справляється завдяки глибині від LiDAR (на iPad Pro/iPhone Pro). MediaPipe використовує лише RGB і дає більш плавний трекінг, але з більшою затримкою на слабких пристроях. Завдяки новітнім алгоритмам, ARKit в 2 рази кращий за затримкою на iPhone 15 (15 мс проти 30 мс у MediaPipe).
Реалізація на різних платформах
Hand tracking на iOS (Swift)
// Останні версії iOS, RealityKit let session = ARKitSession() let handTrackingProvider = HandTrackingProvider() Task { try await session.run([handTrackingProvider]) for await update in handTrackingProvider.anchorUpdates { let handAnchor = update.anchor guard handAnchor.isTracked else { continue } // Позиція кінчика вказівного пальця if let indexTip = handAnchor.skeleton.joint(named: .indexFingerTip) { let worldTransform = handAnchor.originFromAnchorTransform * indexTip.anchorFromJointTransform // Прив'язати об'єкт до кінчика пальця } } } Hand tracking з MediaPipe (крос-платформне рішення)
MediaPipe Hands безкоштовний, крос-платформний і підходить, якщо потрібна підтримка старих пристроїв або єдина кодова база. Приклад на Kotlin:
// Android val handLandmarker = HandLandmarker.createFromOptions(context, HandLandmarkerOptions.builder() .setBaseOptions(BaseOptions.builder().setModelAssetPath("hand_landmarker.task").build()) .setNumHands(2) .setMinHandDetectionConfidence(0.5f) .setMinTrackingConfidence(0.5f) .build() ) val result = handLandmarker.detect(mpImage) // result.landmarks() — List<List<NormalizedLandmark>> // 21 точка на кожну руку в нормалізованих координатах [0..1] 21 joint в MediaPipe: WRIST, THUMB_CMC .. THUMB_TIP, INDEX_FINGER_MCP .. INDEX_FINGER_TIP, аналогічно для решти пальців. Для AR-прив'язки в 3D: нормалізовані 2D-координати → unproject через camera intrinsics + depth (LiDAR або monocular depth estimation).
Порівняння ARKit та MediaPipe
| Критерій | ARKit Hand Tracking | MediaPipe Hands |
|---|---|---|
| Платформи | iOS, visionOS | iOS, Android |
| Кількість joints | 26 | 21 |
| Затримка (iPhone 15 Pro) | 15-20 мс | 20-30 мс (iOS) |
| Затримка (Android середній) | — | 35-45 мс |
| Безкоштовність | Так (у складі платформи) | Так |
| Точність при перекритті | Вища | Нижча |
ARKit швидший за MediaPipe в 2-3 рази на сучасних пристроях, але MediaPipe забезпечує крос-платформність.
Розпізнавання жестів
Базові жести без ML — через геометрію joints:
- Pinch (щипок): відстань між THUMB_TIP та INDEX_FINGER_TIP < поріг (2-3 см).
- Відкрита долоня: всі TIP joints вище відповідних MCP joints по Y-осі.
- Кулак: всі TIP joints нижче MCP по Y-осі.
- Victory (V): index та middle TIP вище MCP, інші — нижче.
Складні жести (ASL алфавіт, кастомні комбінації) — CreateML GestureClassifier або TensorFlow Lite custom model. Навчання на 500-1000 зразках кожного жесту. Наприклад, для навчання кастомного жесту використовуйте CreateML з датасетом з 1000 кадрів — точність класифікатора досягає 95%.
Як hand tracking взаємодіє з AR-об'єктами
Picking об'єктів: ray з долоні/пальця → intersection з AR-об'єктами. PinchGesture = «схопити», розтиснути = «відпустити». Дві руки одночасно → масштабування (відстань між долонями), обертання (орієнтація вектора між долонями). Хірургічна симуляція: кінчик пальця взаємодіє з віртуальними органами через collision detection.
Обмеження та оптимізація
Перекриття пальців залишається проблемою. MediaPipe та ARKit використовують 2.5D — самоперекриття не вирішено повністю. Контрастність руки на темному фоні знижує confidence. Мінімальне освітлення для стабільного трекінгу — 200 лк. Latency: MediaPipe на середньому Android — 35-45 мс, ARKit на iPhone — 15-20 мс. Для музичних інструментів різниця відчутна. Оптимізація: асинхронна обробка на GPU, зниження частоти кадрів трекінгу до 30 FPS, використання легших ML-моделей.
Покроковий план реалізації
- Аналіз вимог та вибір платформи (ARKit / MediaPipe / гібрид).
- Інтеграція бібліотеки та налаштування конфігурації (пороги впевненості, кількість рук).
- Розробка логіки жестів (геометрична або ML-класифікація).
- Реалізація взаємодії з AR-об'єктами (raycast, collision).
- Тестування на реальних пристроях в різних умовах освітлення.
- Оптимізація продуктивності (зниження навантаження на GPU, асинхронна обробка).
Що входить в роботу
- Архітектурний опис та технічна документація.
- Вихідний код з коментарями та інтеграцією в існуючий проєкт.
- Тестовий білд для iOS та/або Android.
- Консультація щодо доопрацювань та підтримка на етапі впровадження.
- Гарантія якості та дотримання термінів.
Наша команда з 5-річним досвідом у AR та 20+ успішними проєктами hand tracking готова реалізувати ваше рішення. Отримайте консультацію — ми оцінимо терміни та вартість (від $1500 за базове рішення). Замовте розробку hand tracking та прискорте виведення вашого AR-продукту на ринок.
Терміни та вартість
Базовий hand tracking з розпізнаванням pinch/open жестів на iOS — від 1 до 2 тижнів (від $1500). Крос-платформне рішення на MediaPipe — від 2 до 3 тижнів (від $2500). Кастомний класифікатор жестів з навчанням — плюс 2-3 тижні (від $2000). Інтерактивна взаємодія рук з AR-об'єктами — плюс 2-4 тижні (від $3000). Вартість розраховується індивідуально після аналізу вимог.