Створення розширень для взаємодії з фізичними стендами у VR

id: 235 slug: physical-stand-vr-interaction-extension-development title_ua: "Створення розширень для взаємодії з фізичними стендами у VR" tags: [vr-ar]

Створення розширень для взаємодії з фізичними стендами у VR

Фізичний стенд у VR-інсталяції — це кнопки, важелі, педалі, сенсорні панелі, тактильні пристрої — все, що користувач торкає руками, а віртуальна сцена реагує. Міст між залізом та Unity — це не «підключи Arduino та читай Serial». Це синхронізація фізичного вводу з VR-простором без lag, дрейфу та рассинхронізації при втраті з'єднання.

Що робить інтеграцію з фізичним стендом складною

Синхронізація просторового позиціонування. Якщо на стенді є фізичний штурвал, а в VR — віртуальний, вони повинні співпадати візуально. Помилка калібрування в 5 мм при куті повороту штурвала дає видиме розходження. Калібрування будується через reference markers: фізичні точки стенда (QR-коди або ArUco-маркери) зіставляються з віртуальними через AR Foundation Image Tracking, матриця трансформації фіксується та застосовується до coordinate system стенда.

Протокол зв'язку та затримки. Між контролером стенда (Arduino, Raspberry Pi, промислова ПЛК) та Unity кілька варіантів:

• USB HID — нативно розпізнається як joystick через Input.GetJoystickNames(). Затримка 1–8 мс, надійна. Обмеження: до 8 аналогових осей, 128 кнопок в стандартному HID дескрипторі.
• Serial (COM-порт) — універсальна для Arduino. System.IO.Ports.SerialPort у Unity працює, але читання блокується — обов'язково в окремому потоці з ConcurrentQueue<byte[]> для передачі даних в основний потік.
• UDP — для WiFi стендів або багатопристрійних інсталяцій. Затримка 1–5 мс у локальній мережі, але немає гарантій доставки — потрібна власна логіка виявлення втрат.
• WebSocket — якщо стенд керується через браузерний інтерфейс або Node.js сервер. NativeWebSocket або websocket-sharp для Unity.

Фізична зворотна інформація (haptics). Сервоприводи, вібромотори, лінійні актуатори на стенді керуються командами з Unity. Це двонаправлений канал: Unity → стенд (активувати вібрацію при дотику об'єкта), стенд → Unity (опір при повороту важеля). Архітектура повинна враховувати round-trip latency: команда з Unity → стенд → механічна реакція → трекінг → Unity. На USB HID total latency 10–20 мс, що помітно при тактильній взаємодії.

Архітектура розширення

Будуємо на паттерні Hardware Abstraction Layer:

PhysicalStandInput (IStandInputProvider)
    ├── UsbHidProvider
    ├── SerialProvider
    └── UdpProvider

Верхній шар VR-програми працює лише з IStandInputProvider — не знає, звідки приходять дані. Це дозволяє тестувати VR-логіку без фізичного стенда через MockStandInputProvider та легко міняти протокол при зміні залізо.

State Machine стенда — окремий компонент, що відстежує агреговане состояние всіх фізичних елементів. Не обробляємо кожну подію в Unity Update — збираємо пакет станів кожні 16 мс (1 кадр при 60 FPS) та застосовуємо дельту.

Для просторового совмещення фізичних та віртуальних об'єктів використовуємо Transform.SetPositionAndRotation() з інтерполяцією через Vector3.Lerp / Quaternion.Slerp — сирі дані з контролера дають скачки, інтерполяція за 2–3 кадри дає плавність без помітної затримки.

З конкретного кейса: VR-тренажер для операторів буровой установки з фізичним пультом управління (12 тумблерів, 4 джойстика, манометри з сервоприводами). Зв'язок через USB HID (пульт як custom HID device). Проблема — при швидкому перемиканні кількох тумблерів поспілляділи Unity пропускав events тому, що читали Input.GetAxis() в Update (опитування, не event-driven). Вирішили через raw HID data reading з InputSystem.onEvent — перейшли на Input System 1.x з custom InputDevice та InputControl для кожного елемента пульта.

Етапи роботи

Технічний аналіз стенда. Вивчаємо схему залізо, протокол зв'язку, вимоги до затримок, наявність зворотної інформації.

Прототип комунікаційного шару. Мінімальна реалізація читання даних + візуалізація у Unity для верифікації.

HAL розробка. Повна Hardware Abstraction Layer з mock-провайдером для тестування.

Просторова калібрування. Система совмещення фізичних та віртуальних об'єктів.

Інтеграція з VR-сценарієм. Підключення HAL до ігрової логіки, haptic feedback.

Тестування на стенді. Довготривалий тест на стабільність, перевірка reconnect при втраті з'єднання.

Вартість розраховується після вивчення технічної документації на стенд та вимог інтеграції.