Интеграция Eye Tracking SDK в VR: FFR, gaze-интеракция и калибровка

За 5 лет мы выполнили более 20 интеграций Eye Tracking в VR-проекты — от прототипов на Quest 3 до корпоративных решений на Varjo XR-3. Основная боль клиентов: GPU-бюджет жёсткий, а Fixed Foveated Rendering экономит всего 10–15%. Dynamic FFR с Eye Tracking выжимает до 25% производительности. Но подключить SDK и просто считывать gaze direction мало: raw data зашумлена, требует фильтрации, а для каждого типа интеракции нужна своя логика. Наши инженеры прошли сертификацию Meta XR и OpenXR, что гарантирует стабильную работу на всех поддерживаемых гарнитурах.

Платформы и SDK

Meta Quest Pro / Quest 3

Meta предоставляет Meta Movement SDK (ранее OVRPlugin). Компонент OVREyeGaze и низкоуровневый OVRPlugin.GetEyeGazesState() позволяют получить direction gaze, eye openness и pupil dilation. Точность после калибровки — ±1.5–3°. Перед использованием нужно запросить permission через OVRPermissionsRequester.

OpenXR

Кросс-платформенный путь через расширение XR_EXT_eye_gaze_interaction. В Unity подключается через XR Interaction Toolkit 2.3+ — GazeInteractor и GazeInteractable. Один код для всех гарнитур, поддерживающих OpenXR: от Quest Pro до Varjo. Это снижает стоимость поддержки и окупается на мультиплатформенных проектах.

Tobii XR SDK

Для старых PC-гарнитур (HTC Vive Pro Eye) используется Tobii XR SDK. Официальный Unity пакет, но интеграция через Windows Mixed Reality. Требуется отдельная настройка калибровки.

Сравнение платформ

Сравнение методов фильтрации gaze data

Как работает EyeTracked FFR?

Fixed Foveated Rendering (FFR) рендерит края в пониженном разрешении, но центр фиксирован. Dynamic FFR смещает высококачественную зону вслед за взглядом. На Quest 3 это даёт прирост 15–25% GPU — разница между 72 и 90 FPS в тяжёлых сценах.

Подключение в Unity через OpenXR: включить XR_FB_foveation и XR_FB_foveation_vulkan. Для Meta SDK — OVRManager.eyeTrackingEnabled = true и OVRManager.fixedFoveatedRenderingLevel в паре с OVRPlugin.useDynamicFixedFoveatedRendering. Dynamic FFR превосходит Fixed FFR на 20–30% по экономии GPU, сохраняя качество в точке взгляда.

Почему gaze cursor нужно фильтровать?

Raw gaze data содержит высокочастотный шум ±0.5–1°. Без фильтрации объект под взглядом мерцает selected/unselected. Решение: экспоненциальный фильтр.

// Экспоненциальный фильтр для gaze cursor
smoothedGaze = Vector3.Slerp(smoothedGaze, rawGaze, smoothFactor * Time.deltaTime);
// smoothFactor ≈ 10–15

Дополнительно — dwell time activation: объект активируется, если взгляд удерживается дольше 0.5–1.5 секунд. Визуальный индикатор — arc/ring вокруг объекта.

Разрешения и приватность

Eye Tracking требует специальных permissions в Meta Developer Hub. Для публикации в Meta Store — отдельный policy review: приложение не должно передавать raw eye data на сервер без явного согласия пользователя. В Unity обрабатывать OVRPermissionsRequester и проверять OVRPlugin.eyeTrackingEnabled. Для корпоративных решений — отдельная юридическая документация.

Что входит в работу

• Анализ требований и выбор оптимального SDK
• Настройка Eye Tracking на целевой гарнитуре
• Реализация gaze cursor с фильтрацией и dwell time
• Интеграция Dynamic Foveated Rendering (если поддерживается)
• Сбор аналитики внимания (heatmaps, gaze duration)
• Документация по API и обучение команды
• Поддержка после релиза (1 месяц)

Процесс и сроки

1. Аналитика: определяем платформу, SDK, необходимые разрешения (1–2 дня).
2. Проектирование: выбор подхода к фильтрации и интеракции, прототипирование (2–3 дня).
3. Реализация: интеграция SDK, настройка FFR, gaze-логика (4–8 дней).
4. Тестирование: проверка точности, замеры FPS, юзабилити (2–3 дня).
5. Деплой: сборка для target-платформы, передача исходников и документации.

Ориентировочные сроки: базовая интеграция (gaze cursor + selection) — 2–4 рабочих дня; полная (Dynamic FFR + аналитика) — 1–2 недели. Стоимость зависит от сложности и требуемого функционала — свяжитесь с нами для оценки вашего проекта. Инвестиции окупаются за счёт повышения производительности и снижения затрат на адаптацию приложения под разные гарнитуры.

Получите консультацию по вашему VR-проекту: проанализируем требования и предложим оптимальное решение с учётом вашего стека и бюджета. Наши инженеры имеют 5+ лет опыта и сертификацию Meta XR.

VR и AR разработка

Когда мы впервые запускаем проект в VR-гарнитуре, большинство команд сталкивается с одним и тем же: технически всё работает, но в гарнитуре либо укачивает, либо руки «плавают» с задержкой, либо сцена выглядит дёрганой на периферии взгляда. Это не баги в привычном смысле — это следствие того, что VR/AR разработка требует другого подхода к архитектуре рендера, взаимодействию и UX с самого начала проекта. Наш опыт — более 7 лет в геймдеве, 15+ завершённых VR/AR-проектов для Meta Quest, SteamVR, PSVR2, HoloLens.

Платформы и SDK

Работаем со всем актуальным стеком. OpenXR используем как базовый слой везде, где это возможно — он даёт кроссплатформенность между Meta, Valve Index, HP Reverb и другими PC VR-устройствами (OpenXR на Wikipedia). Поверх OpenXR строим на XR Interaction Toolkit (Unity) или VR Expansion Plugin (Unreal).

Как минимизировать укачивание при локомоции в VR?

Locomotion — главный источник motion sickness для неопытных VR-пользователей. Согласно исследованиям, около 70% пользователей испытывают дискомфорт при неправильной настройке движения (Oculus Developer Guidelines). Teleportation — стандартный способ навигации, когда плавное передвижение нежелательно.

Компоненты из XR Interaction Toolkit: TeleportationArea, TeleportationAnchor, TeleportationProvider. Базовая реализация работает «из коробки», но для продакшна дорабатываем её в четыре шага:

1. Настройка XRRayInteractor с изогнутым лучом (Bend Ray) — дуга телепортации выглядит натуральнее прямого луча, лучше считывается пользователями.
2. Добавление валидной зоны приземления — визуальный индикатор меняет цвет при наведении на препятствие (красный/зелёный).
3. Внедрение fade transition — плавное затухание экрана (black fade) перед телепортом снижает дезориентацию.
4. Rotation snapping — после телепорта предлагаем snap-поворот на 45° или 90° вместо плавного, что снижает риск укачивания.

Для проектов, где нужна плавная локомоция (экшн-игры, симуляторы), используем comfort settings: виньетирование при движении, снижение FOV во время ускорения. Настройки доступны пользователю в меню — разные люди имеют разный порог чувствительности.

Как сделать захват объектов в VR физически реалистичным?

Это самая недооценённая часть VR-разработки. Клиенты часто воспринимают её как «просто анимация рук», но на практике — сложная система, где физическая корректность, отзывчивость и комфорт вступают в противоречие.

Grab (захват)

XR Interaction Toolkit предоставляет три типа Interactable для захвата:

• XRGrabInteractable — стандартный захват, объект следует за контроллером через физический joint или direct position/rotation
• XRSimpleInteractable — для объектов без физического перемещения (кнопки, рычаги)
• Кастомные Interactable через наследование от XRBaseInteractable

Attach Transform — часто игнорируемая деталь. У каждого Interactable должен быть правильно настроенный Attach Transform (точка, к которой рука «прилипает»). Без него рукоятка пистолета окажется по центру меша, а не там, где её держат.

Для оружия и инструментов с двуручным захватом — отдельная система TwoHandGrab: ведущая рука определяет позицию, вторая — ориентацию. XR Interaction Toolkit поддерживает это через XRTwoHandGrabInteractable или кастомную логику с двумя Attach Points.

Throw (бросок)

Почему velocity smoothing критично для реалистичного броска? Проблема в том, что Rigidbody.velocity в момент отпускания контроллера отражает мгновенную скорость, которая часто некорректна из-за дискретизации трекинга. Пользователь делает быстрое движение запястьем — а объект летит вдвое медленнее.

Решение: velocity smoothing за последние N кадров (типично 5-10 кадров, ~80-160 мс при 60 Hz) перед отпусканием. XR Interaction Toolkit делает это через VelocityEstimator. Дополнительно применяем velocity scaling multiplier — небольшое умножение скорости (1.2-1.5x) делает броски субъективно более удовлетворительными. Угловую скорость (для объектов, которые должны крутиться в полёте) тоже усредняем аналогичным образом.

AR: Plane Tracking и работа с окружением

AR добавляет другой класс проблем — работу с реальным, непредсказуемым окружением. AR Foundation — кроссплатформенный слой поверх ARKit и ARCore. Большинство базовых функций (plane detection, raycasting, image tracking, face tracking) доступны через единый API.

Plane Detection

ARPlaneManager обнаруживает горизонтальные и вертикальные плоскости. Практические нюансы:

• Инициализация занимает время — пользователь должен осмотреть помещение, пока система строит карту. Нужен явный onboarding с инструкцией «медленно поводите камерой по поверхностям».
• Плоскости нестабильны — их границы и позиция обновляются по мере накопления данных. Объекты, размещённые на плоскости, нужно привязывать через parenting к ARPlane, а не к мировым координатам.
• Слияние плоскостей — два обнаруженных сегмента пола могут слиться в один, что двигает якорь. Для критичных якорей используем ARAnchor вместо прямой привязки к плоскости.

Оптимизация для VR: фреймрейт и комфорт

VR требует стабильного высокого фреймрейта. Около 60% времени разработки в мобильном VR уходит на оптимизацию, а не на функционал — ретрофит в два раза дороже правильной архитектуры с первого спринта.

Single Pass Instanced Rendering

Главная оптимизация рендера в VR. Без неё сцена рендерится дважды (для каждого глаза), что удваивает draw calls. Single Pass Instanced рендерит оба глаза за один проход через instancing: geometry обрабатывается один раз, шейдер получает два view/projection matrix через GPU instancing. Включается в Unity через XR Plug-in Management > Rendering Mode: Single Pass Instanced. Важно: кастомные шейдеры должны поддерживать SPI — стандартные URP/HDRP шейдеры поддерживают, кастомные HLSL требуют правки (UNITY_SETUP_STEREO_EYE_INDEX_POST_VERTEX и связанные макросы). Применение этой техники сокращает количество draw calls на 40-50%.

Foveated Rendering

На Meta Quest доступен Fixed Foveated Rendering (FFR) — снижение разрешения на периферии кадра, где острота восприятия ниже. Настраивается через OVRManager или Meta XR SDK:

OVRManager.fixedFoveatedRenderingLevel = OVRManager.FixedFoveatedRenderingLevel.High;
OVRManager.useDynamicFixedFoveatedRendering = true;

Dynamic FFR автоматически повышает уровень при просадке фреймрейта — удобнее фиксированного в сценах с переменной нагрузкой.

IPD и Comfort Settings

IPD (Inter-Pupillary Distance) — расстояние между зрачками, влияет на восприятие глубины. На программируемом уровне в большинстве устройств доступно только чтение IPD (OVRPlugin.GetSystemDisplayFrequency), физическая настройка — на гарнитуре. Для приложений с точным позиционированием (медицинские симуляторы, тренинги) учитываем IPD в расчётах масштаба сцены.

Haptics

Тактильный фидбек — недооценённый инструмент. Даже простой вибрационный отклик при захвате объекта или попадании значительно повышает ощущение присутствия. В среднем интеграция тактильных паттернов занимает 30–80 часов на проект.

XR Haptics через OpenXR:

var hapticImpulse = new UnityEngine.XR.HapticCapabilities();
InputDevice device = InputDevices.GetDeviceAtXRNode(XRNode.RightHand);
device.SendHapticImpulse(0, amplitude: 0.5f, duration: 0.1f);

Для сложных паттернов (тактильная «текстура» поверхности при прикосновении, нарастающая вибрация при натяжении тетивы лука) используем Meta Haptics Studio — позволяет дизайнить haptic-клипы визуально.

Что входит в разработку VR/AR-приложения

При заказе проекта под ключ мы предоставляем:

• Архитектурный документ с описанием стека, логики рендера и системы взаимодействия
• Рабочий прототип (MVP) для тестирования на целевом устройстве
• Интеграцию необходимых SDK (Meta XR, OpenXR, AR Foundation и др.)
• Оптимизацию под целевые частоты 72/90/120 Hz с профилированием draw calls и FPS
• Тестирование на физическом оборудовании (Quest, SteamVR, HoloLens) с привлечением пользователей
• Полную документацию по сборке, деплою и поддержке
• Обучение команды заказчика (воркшоп по работе с XR Toolkit)
• Гарантийную поддержку в течение 1 месяца после сдачи

Что влияет на стоимость и сроки

VR/AR проекты дороже обычных игр аналогичного объёма. Итерации медленнее — каждую правку нужно тестировать в гарнитуре, эмулятор не передаёт реальный опыт. Motion sickness вынуждает переделывать часть концептуальных решений после первого плейтеста. Оптимизация занимает существенную долю времени — для мобильного VR (Quest) до 60-70% цикла. Для проектов под Quest начинаем оптимизацию с первого спринта. Стоимость интеграции базового SDK (XR Interaction Toolkit) обычно варьируется от 200 000 до 600 000 рублей в зависимости от объёма кастомных Interactable. Средний бюджет полного проекта под Quest составляет от 1 500 000 до 4 000 000 рублей.

Получите консультацию по вашему проекту — оценим задачу, стек и сроки. Закажите разработку VR/AR-приложения под ключ с гарантией стабильного фреймрейта.