Уявіть: ви створюєте AR-фітнес-тренера. Користувач робить вправу, а віртуальний персонаж має дзеркально повторювати рух. Якщо трекінг неточний — анімація розсинхронізується, користувач втрачає мотивацію. Наші інженери зіткнулися з цим під час розробки застосунку для сквошу: затримка в 3 кадри робила гру неіграбельною. Рішення — оптимізувати пайплайн трекінгу під конкретний пристрій. Ми переписали обробник на Metal, і затримка впала до 1 кадру.
Використовуємо ARKit на iOS (A12+) та MediaPipe на Android. У кожної платформи свої особливості: ARKit видає 91 точку скелета з точністю до сантиметра, MediaPipe — 33 ключові точки з похибкою 5–10 см. Вибір залежить від цільової аудиторії та бюджету. Правильний вибір платформи економить до 30% бюджету на етапі прототипування.
У цій статті розберемо: як отримувати позу в реальному часі, прив'язувати 3D-модель до скелета, аналізувати кути суглобів для фітнесу та порівнювати платформи. Всі снипети коду готові до інтеграції. Ми працюємо з ARKit 6, RealityKit, MediaPipe 2.0 та Flutter. Для замовників, яким потрібна максимальна точність, рекомендуємо iOS з LiDAR — це дає додаткову глибину.
Як ARKit відстежує тіло?
iOS пропонує ARBodyTrackingConfiguration (потрібен A12+). Скелет — 91 joint, ієрархічно пов'язаних. Код отримання позиції зап'ястя:
func session(_ session: ARSession, didUpdate anchors: [ARAnchor]) {
guard let bodyAnchor = anchors.first as? ARBodyAnchor else { return }
let skeleton = bodyAnchor.skeleton
if let wristTransform = skeleton.modelTransform(for: .rightHand) {
let worldTransform = bodyAnchor.transform * wristTransform
// Прив'язати об'єкт до зап'ястя
}
}
Обмеження: дистанція 1.5–5 м; одна людина в кадрі; при швидких рухах затримка 2–4 кадри. Для multi-person використовуємо сторонні ML-рішення.
Як працює MediaPipe Pose?
Для Android використовуємо MediaPipe Pose Landmarker (33 ключові точки). Точність нижча за ARKit (5–10 см проти 1–3 см), але для фітнес-аналітики достатньо. Порівняння:
| Параметр | ARKit (iOS) | MediaPipe (Android) |
|---|---|---|
| Кількість точок | 91 joint | 33 landmarks |
| Точність | 1–3 см | 5–10 см |
| Вимоги | A12+, Neural Engine | Будь-яка RGB-камера |
| Частота кадрів | 60 fps | 30–60 fps |
Чому ARKit точніший за MediaPipe?
ARKit використовує нейронний двигун та дані від LiDAR (на Pro-моделях), що дає стабільну глибину. MediaPipe покладається лише на RGB-зображення, тому на складному фоні або при поганому освітленні точність падає. У реальних тестах ARKit показує в 3 рази меншу помилку позиціонування суглобів, ніж MediaPipe на тому ж сценарії.
Порівняння продуктивності
На реальних пристроях продуктивність відрізняється:
| Пристрій | FPS | RAM (MB) | CPU Usage (%) |
|---|---|---|---|
| iPhone 14 Pro | 60 | 150 | 25 |
| Samsung Galaxy S22 | 45 | 200 | 35 |
| Google Pixel 7 | 30 | 180 | 40 |
ARKit в 3 рази точніший за MediaPipe за позиціонуванням суглобів, але MediaPipe працює на ширшому спектрі пристроїв. Якщо точність критична — обирайте iOS.
Як прив'язати 3D-персонаж до скелета?
Готова USDZ-сцена з rigg, сумісним з ARKit joint hierarchy (ті ж імена). RealityKit BodyTrackedEntity автоматично застосовує скелетні трансформації. Якщо імена joints не збігаються — персонаж "розлітається". Перевіряємо через Reality Composer Pro.
Аналіз рухів для фітнесу
Кут у суглобі — через dot product:
func jointAngle(joint1: simd_float3, vertex: simd_float3, joint2: simd_float3) -> Float {
let v1 = normalize(joint1 - vertex)
let v2 = normalize(joint2 - vertex)
return acos(dot(v1, v2)) * (180 / .pi)
}
Кут коліна при присіданні: 80–110° — норма. Менше 60° — занадто глибоко. Реалізуємо real-time фідбек з голосовими підказками.
Чи можна відстежувати кількох людей?
Стандартний ARKit не підтримує відстеження кількох людей. Для цього ми використовуємо MediaPipe Pose з окремим детектором на кожну людину та оптимізуємо за допомогою GPU. На iPhone 15 Pro досягаємо 30 fps для двох людей. На Android за допомогою NNAPI можна отримати 20–25 fps для двох людей.
Як оптимізувати body tracking для реального часу?
- Знизьте частоту кадрів до 30 fps, якщо точність дозволяє.
- Використовуйте LOD для 3D-моделей: знижуйте полігональність вдалині.
- Кешуйте результати детекції при статичній позі.
- На Android застосовуйте NNAPI або GPU делегат MediaPipe.
- На iOS використовуйте Metal для GPU-обчислень — це знижує навантаження на CPU.
Що входить у роботу
- SDK з документацією та прикладами коду для iOS/Android.
- Готовий прототип з базовим трекінгом та прив'язкою 3D-об'єкта.
- Інтеграція фітнес-аналітики (кути, повторення, спалені калорії).
- Ріггінг та анімація 3D-персонажа під скелет.
- Оптимізація продуктивності під конкретні пристрої.
- Підтримка після релізу: 1 місяць безкоштовно.
Терміни та вартість
Базовий body tracking з прив'язкою 3D-об'єкта — 1–2 тижні. Ріггінг персонажа + інтеграція — 3–4 тижні. Фітнес-аналітика — 4–6 тижнів. Android-версія (MediaPipe) — додатково 2–3 тижні. Вартість розраховується індивідуально. Замовте консультацію — ми підберемо оптимальне рішення під ваш бюджет.
Чому обирають нас?
- 10+ років досвіду в мобільній розробці
- 50+ успішних AR-проектів
- Гарантуємо дотримання термінів та NDA
- Сертифіковані спеціалісти з ARKit та MediaPipe
Потрібен точний body tracking для вашого проекту? Зв'яжіться з нами для безкоштовної оцінки — запропонуємо оптимальне рішення.