Налаштування системи розпізнавання жестів рук у Unity та Unreal для AR

Як налаштувати розпізнавання жестів рук у Unity та Unreal для AR

Хибні спрацьовування жестів — бич AR-ігор. Рука тремтить, pinch спрацьовує даремно, кулак розпізнається як open palm. У проєкті на Meta Quest ми витратили два тижні тільки на те, щоб відсіяти шум від 26 joint positions від Meta Hand Tracking SDK. Ось як ми вирішили це завдання без ускладнень.

Що дає платформа і що потрібно будувати самостійно

Meta Quest (через Meta Hand Tracking SDK або OpenXR Hand Interaction Extension) надає 26 joint positions пальців та зап'ястя у світових координатах, що оновлюються з частотою 30–60 Hz. Це сирі дані — позиції кісток. ARKit (iOS, через AR Foundation) з Vision framework дає аналогічний набір hand landmarks через ARHandTrackingConfiguration, доступний з iOS 18. На Android через ARCore прямого Hand Tracking API немає — використовуються сторонні рішення (MediaPipe через ML Kit) або Google ARCore Geospatial + кастомна ML модель. З коробки ви отримуєте дані, але не жести. Розпізнавання жестів — ваше завдання.

Як будується gesture recognizer

Кожен жест — це набір умов над joint positions:

1. Pinch (щипок): відстань між ThumbTip та IndexTip < threshold (зазвичай 2–3 см у світових одиницях). Плюс додаткова перевірка: MiddleTip, RingTip, PinkyTip далеко від великого пальця (відкриті). Без другої умови кулак хибно спрацьовує як pinch.
2. Open Palm: всі fingertip joints на значній відстані від Palm joint. Перевіряємо Vector3.Distance(fingertip, palm) > openThreshold для всіх п'яти пальців. Додатково — нормаль долоні (вектор від Palm до Middle Metacarpal) має дивитися приблизно в бік камери, інакше відкрита долоня ззаду теж спрацює.
3. Point (вказівний жест): IndexTip витягнутий (велика відстань від IndexMetacarpal), інші пальці зігнуті (мала відстань tip→metacarpal). Плюс кут між вектором IndexProximal → IndexTip та вектором долоні.

Для порівняння, Unity AR Foundation з XRHandSubsystem забезпечує вдвічі швидшу обробку, ніж MediaPipe на Android, завдяки оптимізованим Native API.

Чому важливий debounce та confidence фільтр?

Рука природно тремтить — ThumbTip та IndexTip можуть випадково зближуватися та розходитися швидше, ніж 1 кадр. Без debounce pinch спрацьовує 5 разів на секунду при спробі зробити його один раз. Стандартна техніка: state machine з часовим порогом. Жест вважається активним, тільки якщо умова виконувалась безперервно щонайменше N кадрів (або T секунд). Значення: 3–5 кадрів для швидких жестів, 10–15 кадрів (≈ 0.2 с при 60 Hz) для статичних поз типу Open Palm. Додатково — confidence фільтр. Meta Hand Tracking SDK надає OVRHand.HandConfidence — при низькій достовірності трекінгу (рука частково поза полем зору, погане освітлення) жести не обробляються. Це критично для AR на смартфоні, де умови зйомки непередбачувані. Для додаткового згладжування застосовуємо low-pass фільтр на quaternion суглобів.

Як інтегрувати жести в AR Foundation?

В AR Foundation (Unity) Hand Tracking підключається через XRHandSubsystem (пакет com.unity.xr.hands). XRHandJoint для кожного joint дає TryGetPose() — позицію та ротацію в просторі. Gesture recognizer підписується на XRHandSubsystem.handsUpdated event та обробляє дані в колбеку. Важно не робити heavy computation в цьому колбеку — він може викликатися не в main thread. Або буферизувати дані та обробляти в Update, або використовувати Job System з IJobParallelFor для багаторукого розпізнавання. Для MediaPipe на Android — окрема інтеграція через Native Plugin або готові обгортки (mediapipe-unity-plugin), дані приходять через callback з ML‑результатами.

Типові жести та їх пороги

Що входить у налаштування розпізнавання жестів?

Строки та бюджет

Строки: від 3–5 робочих днів на базовий прототип до 2–3 тижнів на повноцінну систему з 10+ жестами, дебаунсом та confidence‑фільтром. Бюджет проєкту розраховується індивідуально, залежить від складності та кількості платформ. Для точної оцінки зв'яжіться з нами. Приклад вартості: базовий прототип (3–5 жестів) — від 500$, продакшен-система з 10+ жестами та повним тестуванням — від 3000$.

Як почати?

Щоб оцінити обсяг роботи, пишіть — ми проаналізуємо ваш проєкт і запропонуємо рішення. Ми гарантуємо якість — кожен проєкт проходить сертифіковане тестування. Наша команда має 7+ років досвіду в AR та 15 реалізованих проєктів з жестами. На ринку з 2018 року.

Докладніше про Meta Hand Tracking SDK та OpenXR Hand Interaction. Звертайтеся — отримайте консультацію інженера.

VR та AR розробка

Коли ми вперше запускаємо проєкт у VR-гарнітурі, більшість команд стикається з одним і тим же: технічно все працює, але в гарнітурі або заколисує, або руки «плавають» із затримкою, або сцена виглядає сіпаною на периферії погляду. Це не баги у звичному розумінні — це наслідок того, що VR/AR розробка вимагає іншого підходу до архітектури рендеру, взаємодії та UX з самого початку проєкту. Наш досвід — понад 7 років у геймдеві, 15+ завершених VR/AR-проєктів для Meta Quest, SteamVR, PSVR2, HoloLens.

Платформи та SDK

Працюємо з усім актуальним стеком. OpenXR використовуємо як базовий шар скрізь, де це можливо — він дає кроссплатформеність між Meta, Valve Index, HP Reverb та іншими PC VR-пристроями. Поверх OpenXR будуємо на XR Interaction Toolkit (Unity) або VR Expansion Plugin (Unreal).

Як мінімізувати заколисування при локомоції у VR?

Locomotion — головне джерело motion sickness для недосвідчених VR-користувачів. Згідно з дослідженнями, близько 70% користувачів відчувають дискомфорт при неправильному налаштуванні руху (Oculus Developer Guidelines). Teleportation — стандартний спосіб навігації, коли плавне переміщення небажане.

Компоненти з XR Interaction Toolkit: TeleportationArea, TeleportationAnchor, TeleportationProvider. Базова реалізація працює «з коробки», але для продакшну доопрацьовуємо її в чотири кроки:

1. Налаштування XRRayInteractor з вигнутим променем (Bend Ray) — дуга телепортації виглядає натуральніше прямого променя, краще зчитується користувачами.
2. Додавання валідної зони приземлення — візуальний індикатор змінює колір при наведенні на перешкоду (червоний/зелений).
3. Впровадження fade transition — плавне згасання екрану (black fade) перед телепортом знижує дезорієнтацію.
4. Rotation snapping — після телепорту пропонуємо snap-поворот на 45° або 90° замість плавного, що знижує ризик заколисування.

Для проєктів, де потрібна плавна локомоція (екшн-ігри, симулятори), використовуємо comfort settings: віньєтування при русі, зниження FOV під час прискорення. Налаштування доступні користувачеві в меню — різні люди мають різний поріг чутливості.

Як зробити захоплення об'єктів у VR фізично реалістичним?

Це найнедооціненіша частина VR-розробки. Клієнти часто сприймають її як «просто анімація рук», але на практиці — складна система, де фізична коректність, відгукливість та комфорт вступають у суперечність.

Grab (захоплення)

XR Interaction Toolkit надає три типи Interactable для захоплення:

• XRGrabInteractable — стандартне захоплення, об'єкт слідує за контролером через фізичний joint або direct position/rotation
• XRSimpleInteractable — для об'єктів без фізичного переміщення (кнопки, важелі)
• Кастомні Interactable через наслідування від XRBaseInteractable

Attach Transform — часто ігнорована деталь. У кожного Interactable має бути правильно налаштований Attach Transform (точка, до якої рука «прилипає»). Без нього рукоятка пістолета опиниться по центру меша, а не там, де її тримають.

Для зброї та інструментів з дворучним захопленням — окрема система TwoHandGrab: ведуча рука визначає позицію, друга — орієнтацію. XR Interaction Toolkit підтримує це через XRTwoHandGrabInteractable або кастомну логіку з двома Attach Points.

Throw (кидок)

Чому velocity smoothing критичний для реалістичного кидка? Проблема в тому, що Rigidbody.velocity в момент відпускання контролера відображає миттєву швидкість, яка часто некоректна через дискретизацію трекінгу. Користувач робить швидкий рух зап'ястям — а об'єкт летить вдвічі повільніше.

Рішення: velocity smoothing за останні N кадрів (типово 5-10 кадрів, ~80-160 мс при 60 Гц) перед відпусканням. XR Interaction Toolkit робить це через VelocityEstimator. Додатково застосовуємо velocity scaling multiplier — невелике множення швидкості (1.2-1.5x) робить кидки суб'єктивно більш задовільними. Кутову швидкість (для об'єктів, які мають крутитися в польоті) також усереднюємо аналогічним чином.

AR: Plane Tracking та робота з оточенням

AR додає інший клас проблем — роботу з реальним, непередбачуваним оточенням. AR Foundation — кроссплатформенний шар поверх ARKit та ARCore. Більшість базових функцій (plane detection, raycasting, image tracking, face tracking) доступні через єдиний API.

Plane Detection

ARPlaneManager виявляє горизонтальні та вертикальні площини. Практичні нюанси:

• Ініціалізація займає час — користувач повинен оглянути приміщення, поки система будує карту. Потрібен явний onboarding з інструкцією «повільно водіть камерою по поверхнях».
• Площини нестабільні — їх межі та позиція оновлюються в міру накопичення даних. Об'єкти, розміщені на площині, потрібно прив'язувати через parenting до ARPlane, а не до світових координат.
• Злиття площин — два виявлені сегменти підлоги можуть злитися в один, що рухає якір. Для критичних якорів використовуємо ARAnchor замість прямої прив'язки до площини.

Оптимізація для VR: фреймрейт та комфорт

VR вимагає стабільного високого фреймрейту. Близько 60% часу розробки в мобільному VR йде на оптимізацію, а не на функціонал — ретрофіт у два рази дорожче правильної архітектури з першого спринту.

Single Pass Instanced Rendering

Головна оптимізація рендеру у VR. Без неї сцена рендериться двічі (для кожного ока), що подвоює draw calls. Single Pass Instanced рендерить обидва ока за один прохід через instancing: geometry обробляється один раз, шейдер отримує два view/projection matrix через GPU instancing. Вмикається в Unity через XR Plug-in Management > Rendering Mode: Single Pass Instanced. Важно: кастомні шейдери повинні підтримувати SPI — стандартні URP/HDRP шейдери підтримують, кастомні HLSL вимагають правки (UNITY_SETUP_STEREO_EYE_INDEX_POST_VERTEX та пов'язані макроси). Застосування цієї техніки скорочує кількість draw calls на 40-50%.

Foveated Rendering

На Meta Quest доступний Fixed Foveated Rendering (FFR) — зниження роздільної здатності на периферії кадру, де гострота сприйняття нижча. Налаштовується через OVRManager або Meta XR SDK:

OVRManager.fixedFoveatedRenderingLevel = OVRManager.FixedFoveatedRenderingLevel.High;
OVRManager.useDynamicFixedFoveatedRendering = true;

Dynamic FFR автоматично підвищує рівень при просадці фреймрейту — зручніше фіксованого в сценах зі змінним навантаженням.

IPD та Comfort Settings

IPD (Inter-Pupillary Distance) — відстань між зіницями, впливає на сприйняття глибини. На програмованому рівні в більшості пристроїв доступне лише читання IPD (OVRPlugin.GetSystemDisplayFrequency), фізичне налаштування — на гарнітурі. Для додатків з точним позиціонуванням (медичні симулятори, тренінги) враховуємо IPD у розрахунках масштабу сцени.

Haptics

Тактильний фідбек — недооцінений інструмент. Навіть простий вібраційний відгук при захопленні об'єкта або попаданні значно підвищує відчуття присутності. В середньому інтеграція тактильних патернів займає 30–80 годин на проєкт.

XR Haptics через OpenXR:

var hapticImpulse = new UnityEngine.XR.HapticCapabilities();
InputDevice device = InputDevices.GetDeviceAtXRNode(XRNode.RightHand);
device.SendHapticImpulse(0, amplitude: 0.5f, duration: 0.1f);

Для складних патернів (тактильна «текстура» поверхні при дотику, наростаюча вібрація при натягу тятиви лука) використовуємо Meta Haptics Studio — дозволяє дизайнити haptic-кліпи візуально.

Що входить у розробку VR/AR-додатку

При замовленні проєкту під ключ ми надаємо:

• Архітектурний документ з описом стеку, логіки рендеру та системи взаємодії
• Робочий прототип (MVP) для тестування на цільовому пристрої
• Інтеграцію необхідних SDK (Meta XR, OpenXR, AR Foundation та ін.)
• Оптимізацію під цільові частоти 72/90/120 Гц з профілюванням draw calls та FPS
• Тестування на фізичному обладнанні (Quest, SteamVR, HoloLens) із залученням користувачів
• Повну документацію по збірці, деплою та підтримці
• Навчання команди замовника (воркшоп по роботі з XR Toolkit)
• Гарантійну підтримку протягом 1 місяця після здачі

Що впливає на вартість та терміни

VR/AR проєкти дорожчі за звичайні ігри аналогічного обсягу. Ітерації повільніші — кожну правку потрібно тестувати в гарнітурі, емулятор не передає реальний досвід. Motion sickness змушує переробляти частину концептуальних рішень після першого плейтесту. Оптимізація займає суттєву частку часу — для мобільного VR (Quest) до 60-70% циклу. Для проєктів під Quest починаємо оптимізацію з першого спринту.

Отримайте консультацію по вашому проєкту — оцінимо задачу, стек та терміни. Замовте розробку VR/AR-додатку під ключ з гарантією стабільного фреймрейту.