Інтеграція Eye Tracking SDK у VR: FFR, gaze-взаємодія та калібрування

За 5 років ми виконали понад 20 інтеграцій Eye Tracking у VR-проекти — від прототипів на Quest 3 до корпоративних рішень на Varjo XR-3. Основна біль клієнтів: GPU-бюджет жорсткий, а Fixed Foveated Rendering економить лише 10–15%. Dynamic FFR з Eye Tracking вичавлює до 25% продуктивності. Але підключити SDK і просто зчитувати gaze direction замало: raw data зашумлена, потребує фільтрації, а для кожного типу інтеракції потрібна своя логіка. Наші інженери пройшли сертифікацію Meta XR та OpenXR, що гарантує стабільну роботу на всіх підтримуваних гарнітурах.

Платформи та SDK

Meta Quest Pro / Quest 3

Meta надає Meta Movement SDK (раніше OVRPlugin). Компонент OVREyeGaze та низькорівневий OVRPlugin.GetEyeGazesState() дозволяють отримати direction gaze, eye openness та pupil dilation. Точність після калібрування — ±1.5–3°. Перед використанням потрібно запросити permission через OVRPermissionsRequester.

OpenXR

Крос-платформний шлях через розширення XR_EXT_eye_gaze_interaction. У Unity підключається через XR Interaction Toolkit 2.3+ — GazeInteractor та GazeInteractable. Один код для всіх гарнітур, що підтримують OpenXR: від Quest Pro до Varjo. Це знижує вартість підтримки та окупається на мультиплатформних проектах.

Tobii XR SDK

Для старих PC-гарнітур (HTC Vive Pro Eye) використовується Tobii XR SDK. Офіційний Unity пакет, але інтеграція через Windows Mixed Reality. Потрібне окреме налаштування калібрування.

Порівняння платформ

Порівняння методів фільтрації gaze data

Як працює EyeTracked FFR?

Fixed Foveated Rendering (FFR) рендерить краї у зниженій роздільній здатності, але центр фіксований. Dynamic FFR зміщує високоякісну зону за поглядом. На Quest 3 це дає приріст 15–25% GPU — різниця між 72 та 90 FPS у важких сценах.

Підключення в Unity через OpenXR: увімкнути XR_FB_foveation та XR_FB_foveation_vulkan. Для Meta SDK — OVRManager.eyeTrackingEnabled = true та OVRManager.fixedFoveatedRenderingLevel у парі з OVRPlugin.useDynamicFixedFoveatedRendering. Dynamic FFR перевершує Fixed FFR на 20–30% за економією GPU, зберігаючи якість у точці погляду.

Чому gaze cursor потрібно фільтрувати?

Raw gaze data містить високочастотний шум ±0.5–1°. Без фільтрації об'єкт під поглядом мерехтить selected/unselected. Рішення: експоненційний фільтр.

// Експоненційний фільтр для gaze cursor
smoothedGaze = Vector3.Slerp(smoothedGaze, rawGaze, smoothFactor * Time.deltaTime);
// smoothFactor ≈ 10–15

Додатково — dwell time activation: об'єкт активується, якщо погляд утримується довше 0.5–1.5 секунд. Візуальний індикатор — arc/ring навколо об'єкта.

Дозволи та приватність

Eye Tracking потребує спеціальних permissions у Meta Developer Hub. Для публікації в Meta Store — окремий policy review: додаток не повинен передавати raw eye data на сервер без явної згоди користувача. У Unity обробляти OVRPermissionsRequester та перевіряти OVRPlugin.eyeTrackingEnabled. Для корпоративних рішень — окрема юридична документація.

Що входить у роботу

• Аналіз вимог та вибір оптимального SDK
• Налаштування Eye Tracking на цільовій гарнітурі
• Реалізація gaze cursor з фільтрацією та dwell time
• Інтеграція Dynamic Foveated Rendering (якщо підтримується)
• Збір аналітики уваги (heatmaps, gaze duration)
• Документація по API та навчання команди
• Підтримка після релізу (1 місяць)

Процес та терміни

1. Аналітика: визначаємо платформу, SDK, необхідні дозволи (1–2 дні).
2. Проектування: вибір підходу до фільтрації та інтеракції, прототипування (2–3 дні).
3. Реалізація: інтеграція SDK, налаштування FFR, gaze-логіка (4–8 днів).
4. Тестування: перевірка точності, заміри FPS, юзабіліті (2–3 дні).
5. Деплой: збірка для target-платформи, передача сирців та документації.

Орієнтовні терміни: базова інтеграція (gaze cursor + selection) — 2–4 робочі дні; повна (Dynamic FFR + аналітика) — 1–2 тижні. Вартість залежить від складності та потрібного функціоналу — зв'яжіться з нами для оцінки вашого проекту. Інвестиції окупаються за рахунок підвищення продуктивності та зниження витрат на адаптацію додатка під різні гарнітури.

Отримайте консультацію по вашому VR-проекту: проаналізуємо вимоги та запропонуємо оптимальне рішення з урахуванням вашого стеку та бюджету. Наші інженери мають 5+ років досвіду та сертифікацію Meta XR.

VR та AR розробка

Коли ми вперше запускаємо проєкт у VR-гарнітурі, більшість команд стикається з одним і тим же: технічно все працює, але в гарнітурі або заколисує, або руки «плавають» із затримкою, або сцена виглядає сіпаною на периферії погляду. Це не баги у звичному розумінні — це наслідок того, що VR/AR розробка вимагає іншого підходу до архітектури рендеру, взаємодії та UX з самого початку проєкту. Наш досвід — понад 7 років у геймдеві, 15+ завершених VR/AR-проєктів для Meta Quest, SteamVR, PSVR2, HoloLens.

Платформи та SDK

Працюємо з усім актуальним стеком. OpenXR використовуємо як базовий шар скрізь, де це можливо — він дає кроссплатформеність між Meta, Valve Index, HP Reverb та іншими PC VR-пристроями. Поверх OpenXR будуємо на XR Interaction Toolkit (Unity) або VR Expansion Plugin (Unreal).

Як мінімізувати заколисування при локомоції у VR?

Locomotion — головне джерело motion sickness для недосвідчених VR-користувачів. Згідно з дослідженнями, близько 70% користувачів відчувають дискомфорт при неправильному налаштуванні руху (Oculus Developer Guidelines). Teleportation — стандартний спосіб навігації, коли плавне переміщення небажане.

Компоненти з XR Interaction Toolkit: TeleportationArea, TeleportationAnchor, TeleportationProvider. Базова реалізація працює «з коробки», але для продакшну доопрацьовуємо її в чотири кроки:

1. Налаштування XRRayInteractor з вигнутим променем (Bend Ray) — дуга телепортації виглядає натуральніше прямого променя, краще зчитується користувачами.
2. Додавання валідної зони приземлення — візуальний індикатор змінює колір при наведенні на перешкоду (червоний/зелений).
3. Впровадження fade transition — плавне згасання екрану (black fade) перед телепортом знижує дезорієнтацію.
4. Rotation snapping — після телепорту пропонуємо snap-поворот на 45° або 90° замість плавного, що знижує ризик заколисування.

Для проєктів, де потрібна плавна локомоція (екшн-ігри, симулятори), використовуємо comfort settings: віньєтування при русі, зниження FOV під час прискорення. Налаштування доступні користувачеві в меню — різні люди мають різний поріг чутливості.

Як зробити захоплення об'єктів у VR фізично реалістичним?

Це найнедооціненіша частина VR-розробки. Клієнти часто сприймають її як «просто анімація рук», але на практиці — складна система, де фізична коректність, відгукливість та комфорт вступають у суперечність.

Grab (захоплення)

XR Interaction Toolkit надає три типи Interactable для захоплення:

• XRGrabInteractable — стандартне захоплення, об'єкт слідує за контролером через фізичний joint або direct position/rotation
• XRSimpleInteractable — для об'єктів без фізичного переміщення (кнопки, важелі)
• Кастомні Interactable через наслідування від XRBaseInteractable

Attach Transform — часто ігнорована деталь. У кожного Interactable має бути правильно налаштований Attach Transform (точка, до якої рука «прилипає»). Без нього рукоятка пістолета опиниться по центру меша, а не там, де її тримають.

Для зброї та інструментів з дворучним захопленням — окрема система TwoHandGrab: ведуча рука визначає позицію, друга — орієнтацію. XR Interaction Toolkit підтримує це через XRTwoHandGrabInteractable або кастомну логіку з двома Attach Points.

Throw (кидок)

Чому velocity smoothing критичний для реалістичного кидка? Проблема в тому, що Rigidbody.velocity в момент відпускання контролера відображає миттєву швидкість, яка часто некоректна через дискретизацію трекінгу. Користувач робить швидкий рух зап'ястям — а об'єкт летить вдвічі повільніше.

Рішення: velocity smoothing за останні N кадрів (типово 5-10 кадрів, ~80-160 мс при 60 Гц) перед відпусканням. XR Interaction Toolkit робить це через VelocityEstimator. Додатково застосовуємо velocity scaling multiplier — невелике множення швидкості (1.2-1.5x) робить кидки суб'єктивно більш задовільними. Кутову швидкість (для об'єктів, які мають крутитися в польоті) також усереднюємо аналогічним чином.

AR: Plane Tracking та робота з оточенням

AR додає інший клас проблем — роботу з реальним, непередбачуваним оточенням. AR Foundation — кроссплатформенний шар поверх ARKit та ARCore. Більшість базових функцій (plane detection, raycasting, image tracking, face tracking) доступні через єдиний API.

Plane Detection

ARPlaneManager виявляє горизонтальні та вертикальні площини. Практичні нюанси:

• Ініціалізація займає час — користувач повинен оглянути приміщення, поки система будує карту. Потрібен явний onboarding з інструкцією «повільно водіть камерою по поверхнях».
• Площини нестабільні — їх межі та позиція оновлюються в міру накопичення даних. Об'єкти, розміщені на площині, потрібно прив'язувати через parenting до ARPlane, а не до світових координат.
• Злиття площин — два виявлені сегменти підлоги можуть злитися в один, що рухає якір. Для критичних якорів використовуємо ARAnchor замість прямої прив'язки до площини.

Оптимізація для VR: фреймрейт та комфорт

VR вимагає стабільного високого фреймрейту. Близько 60% часу розробки в мобільному VR йде на оптимізацію, а не на функціонал — ретрофіт у два рази дорожче правильної архітектури з першого спринту.

Single Pass Instanced Rendering

Головна оптимізація рендеру у VR. Без неї сцена рендериться двічі (для кожного ока), що подвоює draw calls. Single Pass Instanced рендерить обидва ока за один прохід через instancing: geometry обробляється один раз, шейдер отримує два view/projection matrix через GPU instancing. Вмикається в Unity через XR Plug-in Management > Rendering Mode: Single Pass Instanced. Важно: кастомні шейдери повинні підтримувати SPI — стандартні URP/HDRP шейдери підтримують, кастомні HLSL вимагають правки (UNITY_SETUP_STEREO_EYE_INDEX_POST_VERTEX та пов'язані макроси). Застосування цієї техніки скорочує кількість draw calls на 40-50%.

Foveated Rendering

На Meta Quest доступний Fixed Foveated Rendering (FFR) — зниження роздільної здатності на периферії кадру, де гострота сприйняття нижча. Налаштовується через OVRManager або Meta XR SDK:

OVRManager.fixedFoveatedRenderingLevel = OVRManager.FixedFoveatedRenderingLevel.High;
OVRManager.useDynamicFixedFoveatedRendering = true;

Dynamic FFR автоматично підвищує рівень при просадці фреймрейту — зручніше фіксованого в сценах зі змінним навантаженням.

IPD та Comfort Settings

IPD (Inter-Pupillary Distance) — відстань між зіницями, впливає на сприйняття глибини. На програмованому рівні в більшості пристроїв доступне лише читання IPD (OVRPlugin.GetSystemDisplayFrequency), фізичне налаштування — на гарнітурі. Для додатків з точним позиціонуванням (медичні симулятори, тренінги) враховуємо IPD у розрахунках масштабу сцени.

Haptics

Тактильний фідбек — недооцінений інструмент. Навіть простий вібраційний відгук при захопленні об'єкта або попаданні значно підвищує відчуття присутності. В середньому інтеграція тактильних патернів займає 30–80 годин на проєкт.

XR Haptics через OpenXR:

var hapticImpulse = new UnityEngine.XR.HapticCapabilities();
InputDevice device = InputDevices.GetDeviceAtXRNode(XRNode.RightHand);
device.SendHapticImpulse(0, amplitude: 0.5f, duration: 0.1f);

Для складних патернів (тактильна «текстура» поверхні при дотику, наростаюча вібрація при натягу тятиви лука) використовуємо Meta Haptics Studio — дозволяє дизайнити haptic-кліпи візуально.

Що входить у розробку VR/AR-додатку

При замовленні проєкту під ключ ми надаємо:

• Архітектурний документ з описом стеку, логіки рендеру та системи взаємодії
• Робочий прототип (MVP) для тестування на цільовому пристрої
• Інтеграцію необхідних SDK (Meta XR, OpenXR, AR Foundation та ін.)
• Оптимізацію під цільові частоти 72/90/120 Гц з профілюванням draw calls та FPS
• Тестування на фізичному обладнанні (Quest, SteamVR, HoloLens) із залученням користувачів
• Повну документацію по збірці, деплою та підтримці
• Навчання команди замовника (воркшоп по роботі з XR Toolkit)
• Гарантійну підтримку протягом 1 місяця після здачі

Що впливає на вартість та терміни

VR/AR проєкти дорожчі за звичайні ігри аналогічного обсягу. Ітерації повільніші — кожну правку потрібно тестувати в гарнітурі, емулятор не передає реальний досвід. Motion sickness змушує переробляти частину концептуальних рішень після першого плейтесту. Оптимізація займає суттєву частку часу — для мобільного VR (Quest) до 60-70% циклу. Для проєктів під Quest починаємо оптимізацію з першого спринту.

Отримайте консультацію по вашому проєкту — оцінимо задачу, стек та терміни. Замовте розробку VR/AR-додатку під ключ з гарантією стабільного фреймрейту.