Інтеграція ARKit: від трекінгу до Face Tracking

Інтеграція ARKit потребує ретельного налаштування. Успішна інтеграція ARKit вимагає врахування особливостей пристрою. Правильна інтеграція ARKit — запорука стабільної роботи AR-додатку. У нашій практиці ми стикаємося з тим, що ARKit — це не просто накладання 3D-об’єктів на камеру. Це зв’язка з LiDAR-сканера, Visual Inertial Odometry та нейромережевих моделей для розуміння сцени, яка при неправильному використанні дає нестабільний tracking, артефакти окклюзії та крэш при ARSession у фоні. Нижче розберемо ключові проблеми та способи їх вирішення, спираючись на досвід ARKit-розробки в реальних проєктах.

Як уникнути зриву трекінгу в темних сценах

Трекінг падає при поганому освітленні. ARWorldTrackingConfiguration будує карту по точках інтересу (feature points) — у темних приміщеннях або на однотонних поверхнях tracking деградує до ARCamera.TrackingState.limited(.insufficientFeatures). Ігнорувати цей state не можна: якщо не показувати користувачеві, що потрібно освітлити сцену, anchors починають дрейфувати, і 3D-об’єкт відлітає вбік. Правильно — підписатися на session(_:cameraDidChangeTrackingState:) і показувати відповідну інструкцію.

Прискорення виявлення площин

Площини виявляються із затримкою. ARPlaneDetection.horizontal знаходить підлогу за 2–4 секунди при хорошому освітленні. Якщо користувач намагається розмістити об’єкт раніше — промах. Часте рішення: робити plane detection опціональним і додавати raycast проти ARMeshAnchor з LiDAR — на iPhone 12 Pro+ це дає точність влучення ~1 см без очікування. Використання LiDAR-сумісних пристроїв забезпечує в 2 рази швидшу детекцію площин порівняно зі звичайними камерами. Порівняння: raycast забезпечує в 1.4 разу більш стабільні результати, ніж застарілий hitTest.

Оклюзія без LiDAR

Окклюзія працює тільки з LiDAR. ARView.environment.sceneUnderstanding.options з .occlusion — виключно на пристроях з LiDAR (Pro-серія з iPhone 12). На iPhone без LiDAR об’єкт завжди поверх реального світу. Потрібно чікати ARWorldTrackingConfiguration.supportsSceneReconstruction(.mesh) при старті і деградувати gracefully: відключати окклюзію та використовувати напівпрозорі тіні.

Налаштування Image Tracking

ARImageTrackingConfiguration з maximumNumberOfTrackedImages = 4 — для маркерного AR. Референсні зображення завантажуємо з ARReferenceImage з фізичним розміром. physicalWidth критичний — ARKit використовує його для обчислення дистанції та масштабу. Невірний розмір = об’єкт висить не там де треба.

let referenceImage = ARReferenceImage(
    cgImage,
    orientation: .up,
    physicalWidth: 0.15 // 15 см у реальному світі
)
config.trackingImages = [referenceImage]

Використання Face Tracking

ARFaceTrackingConfiguration працює тільки на пристроях з TrueDepth-камерою (Face ID). Доступно 52 blend shape коефіцієнти через ARFaceAnchor.blendShapes — від .jawOpen до .eyeBlinkLeft. На цьому будуємо віртуальні примірки, AR-аватари та Liveness Detection.

func session(_ session: ARSession, didUpdate anchors: [ARAnchor]) {
    guard let faceAnchor = anchors.first as? ARFaceAnchor else { return }
    let jawOpen = faceAnchor.blendShapes[.jawOpen]?.floatValue ?? 0
    // Керуємо анімацією персонажа
}

Підвищення продуктивності AR-додатку

ARKit + RealityKit навантажують GPU та CPU одночасно. Інструменти діагностики: Xcode Reality Composer Pro для прев’ю сцени, GPU Frame Capture для аналізу draw calls, Metal System Trace в Instruments для діагностики GPU bubbles.

Типові вузькі місця:

• USDZ з > 100K полігонів на середнячку — просідання до 30 FPS.
• Кілька ModelEntity без інстансингу копіюють геометрію в пам’яті.
• arView.renderOptions — відключення .disableDepthOfField та .disableMotionBlur дає +15% FPS на старих пристроях.

Оптимізації продуктивності

Інтеграція ARKit

Як оптимізувати ARKit?

Покрокова інструкція з розміщення об’єкта

1. Запустити сесію ARWorldTrackingConfiguration з увімкненим planeDetection та environmentTexturing.
2. Дочекатися події session(_:didAdd:) або виконати raycast з центру екрану.
3. Створити ARAnchor з результатом raycast.
4. Завантажити USDZ-модель через ModelEntity.loadModel.
5. Створити AnchorEntity з прив’язкою до anchor.
6. Додати AnchorEntity у сцену.

Приклад коду розміщення по raycast

let query = arView.makeRaycastQuery(
    from: arView.center,
    allowing: .estimatedPlane,
    alignment: .horizontal
)

if let query = query,
   let result = arView.session.raycast(query).first {
    let anchor = ARAnchor(name: "placed-object", transform: result.worldTransform)
    arView.session.add(anchor: anchor)

    let modelEntity = try! ModelEntity.loadModel(named: "model.usdz")
    let anchorEntity = AnchorEntity(anchor: anchor)
    anchorEntity.addChild(modelEntity)
    arView.scene.addAnchor(anchorEntity)
}

Основні етапи інтеграції ARKit

Що входить у роботу з інтеграції ARKit

• Аудит вимог та сумісності пристроїв (цільові моделі, наявність LiDAR).
• Проектування AR-архітектури з graceful деградацією на старих пристроях.
• Розробка ядра AR: сесія, anchors, розпізнавання площин/зображень/облич.
• Інтеграція 3D-контенту: конвертація в USDZ, налаштування PBR-матеріалів.
• Тестування на фізичних пристроях (мінімум 5 моделей).
• Оптимізація продуктивності під цільові пристрої.
• Передача вихідного коду, документація та навчання команди.

Строки інтеграції

Базова інтеграція ARKit з розміщенням USDZ-об’єкта по площині: 3–5 днів. Image tracking з маркерами та накладанням контенту: 4–7 днів. Комплексне рішення з face tracking, оклюзією LiDAR та кастомними шейдерами Metal: 3–6 тижнів. Вартість базової інтеграції ARKit починається від $2000. Вартість повноцінного AR-рішення може сягати $15 000 залежно від складності 3D-контенту та вимог до підтримуваних пристроїв. При замовленні комплексної інтеграції ви заощаджуєте до 30% порівняно з поетапною розробкою.

Ми займаємося iOS-розробкою понад 5 років (5+ років досвіду на ринку) і виконали 20+ AR-проєктів для різних галузей. Наша команда має сертифікацію Apple та гарантію якості на всі проєкти. Якщо ви хочете впровадити доповнену реальність у свій додаток, зв'яжіться з нами — оцінимо проєкт і запропонуємо оптимальне рішення. Оцініть свій проєкт на предмет AR-можливостей — отримайте консультацію нашого інженера.

Ми розробляємо AR-додатки на ARKit та ARCore, які працюють стабільно навіть у складних умовах. Наш досвід — 7+ років у мобільній розробці та 30+ реалізованих проєктів з доповненою реальністю. Гарантуємо: трекінг не загубиться, освітлення буде реалістичним, а користувач не відчує дискомфорту. Сертифіковані розробники Apple та Google.

Чому трекінг втрачається і як це виправити?

ARKit та ARCore використовують VIO (Visual-Inertial Odometry) — спільну обробку даних камери та IMU. Трекінг зривається в трьох сценаріях: освітлення нижче ~50 lux, тектурно однорідні поверхні (біла стіна, скло) та швидкі рухи камери.

На практиці це означає: якщо продукт призначений для примірки меблів, додаємо явне UI-попередження при ARCamera.TrackingState.limited(.insufficientFeatures). Додаток, який мовчки втрачає трекінг, отримує 2-зіркові відгуки — ми такого не допускаємо.

Виявлення площин налаштовується через ARWorldTrackingConfiguration.planeDetection = [.horizontal, .vertical]. Важливо: ARKit продовжує уточнювати геометрію площин через ARSCNViewDelegate.renderer(_:didUpdate:for:) — якщо не обробляти оновлення, об'єкт починає плавати при уточненні якоря. Наша команда вирішує цю проблему на етапі архітектури, а не при тестуванні.

AR Foundation: кроссплатформа з нюансами

Unity AR Foundation — шар абстракції поверх ARKit та ARCore. Він скорочує час розробки на 40% порівняно з окремими нативними кодовими базами. Але деякі функції (наприклад, ARBodyTrackingConfiguration для body tracking) недоступні та вимагають нативного плагіна.

Для React Native та Flutter прямого AR Foundation немає. Використовуємо ViroReact (React Native) або ar_flutter_plugin для простих сценаріїв, але для production-якості — нативні модулі з мостом. Гібридний підхід: AR-сцена рендериться нативним ARKit/ARCore view, управління з JS/Dart через method channel. Входить у нашу стандартну поставку.

Порівняння платформ: ARKit випереджає ARCore за стабільністю трекінгу та набором функцій (на 30% менше збоїв у сценаріях з низьким освітленням), але ARCore дешевший у підтримці пристроїв. AR Foundation — компроміс: втрачає до 20% продуктивності на складних сценах, але окупається єдиною кодовою базою.

Try-on: примірка товарів через AR

Примірка окулярів, прикрас, косметики — окремий клас задач. Тут потрібен face tracking, а не plane detection.

ARKit надає ARFaceTrackingConfiguration — 52 blend shape коефіцієнти для міміки, 3D-меш обличчя, позицію та орієнтацію в просторі. Працює лише на пристроях з TrueDepth-камерою (iPhone з Face ID).

Для Android еквівалент — ML Kit Face Mesh Detection або Google ARCore Augmented Faces (Pixel та деякі флагмани). Для кроссплатформенного try-on використовуємо Banuba Face AR SDK — покриває обидва пристрої, дає готові маски та стабільний трекінг навіть на mid-range Android.

Якість try-on критично залежить від 3D-моделей товарів. Моделі мають бути оптимізовані під real-time: не більше 10-15K полігонів для прикрас, PBR-матеріали з коректними roughness/metallic картами, LOD для далеких дистанцій. В рамках нашого підряду ми надаємо готові гайди з оптимізації моделей.

Як досягти реалістичного освітлення в AR?

ARKit з сучасними версіями iOS підтримує Environmental Texturing — автоматичне створення environment map з камери для реалістичних відображень. Вмикається через ARWorldTrackingConfiguration.environmentTexturing = .automatic. Без цього металеві та скляні матеріали виглядають пластиково.

ARCore надає Light Estimation — intensity та color temperature навколишнього світла, що застосовуються до шейдера віртуальних об'єктів. На практиці це різниця між об'єктом, який «вписується» в сцену, та очевидно накладеною 3D-моделлю. Ми гарантуємо, що фінальне зображення не видає віртуальності.

Що входить в роботу

• Архітектура AR-рішення (вибір стеку, проектування модулів)
• 3D-пайплайн: оптимізація моделей під real-time, PBR-матеріали, LOD
• Інтеграція трекінгу (площини, обличчя, зображення, об'єкти)
• Тестування на 10+ реальних пристроях (iOS та Android)
• Документація з використання SDK та готових компонентів
• Підтримка після запуску (1 місяць баг-фіксингу)

Строки та оцінка

Проста AR-сцена з розміщенням однієї 3D-моделі на площині — 1–2 тижні. Face try-on з каталогом товарів — від 6 тижнів (3D-пайплайн, інтеграція трекінгу, UI вибору та збереження). Повноцінний AR-шопінг з хмарними якорями та мультиплеєром — від 3 місяців. Оцінимо проєкт за 1 день — пишіть, обговоримо вашу AR-ідею.