AI-трекінг об'єктів для iOS та Android: розробка та оптимізація

Уявіть: ваш мобільний додаток веде підрахунок відвідувачів у магазині, але кожного разу, коли людина виходить за край кадру і повертається, система вважає її новою. Це класична помилка наївної детекції без трекінгу — втрата ідентичності об'єкта. Візьмемо реальний кейс: автоматизація підрахунку відвідувачів у торговому центрі за допомогою камер на вході. Без трекінгу система помилково рахувала одну й ту саму людину кілька разів, якщо вона ненадовго виходила з поля зору. Після впровадження ByteTrack з Kalman фільтром кількість хибних спрацьовувань знизилася на 90%. Ми вирішуємо це завдання, впроваджуючи AI-трекінг, який пов'язує об'єкти між кадрами та зберігає їхні унікальні ID. Крім зміни ID, виникають проблеми з оклюзіями, коли об'єкт тимчасово прихований, або зі швидким рухом, коли об'єкт зміщується за край кадру. Вже на старті важливо розуміти: трекінг — це не просто детекція на кожному кадрі, а асоціація об'єктів у часі. Згідно з ByteTrack, використання низьковпевнених детекцій знижує втрати ID на 30-40%.

Чому трекінг складніший за детекцію?

Детектор визначає клас і позицію об'єкта на кожному кадрі незалежно. Трекер відповідає на питання: «Це той самий об'єкт, що був на минулому кадрі?». Основні складності:

• Оклюзії: об'єкт тимчасово прихований іншим об'єктом або перешкодою.
• Перетини: два об'єкти міняються місцями — трекер може переплутати ID.
• Швидкий рух: об'єкт зміщується за кадр на відстань більшу, ніж розмір bounding box.

Ми використовуємо два підходи: SOT (один об'єкт) і MOT (множина об'єктів). Вибір залежить від сценарію.

Що таке SOT і MOT?

SOT (Single Object Tracking)

Користувач тапає на об'єкт — додаток слідкує за ним. Застосування: спортивні трансляції, стеження за конкретною людиною в кадрі, AR-ігри. Алгоритми: SiamFC, OSTrack, STARK. На iOS — Vision VNTrackObjectRequest.

MOT (Multi-Object Tracking)

Одночасний трекінг усіх об'єктів потрібного класу. Застосування: підрахунок відвідувачів, контроль трафіку, виробничі конвеєри. Алгоритми: SORT, ByteTrack, StrongSORT, OC-SORT.

Чому ByteTrack надійніший за SORT?

SORT використовує лише детекції з confidence > порогу. ByteTrack — всі детекції, навіть низьковпевнені. Це різко знижує втрати треку:

// Android: ByteTrack асоціація class ByteTracker( private val trackThresh: Float = 0.5f, private val highThresh: Float = 0.6f, private val matchThresh: Float = 0.8f ) { private val trackedStracks = mutableListOf<STrack>() private val lostStracks = mutableListOf<STrack>() fun update(detections: List<Detection>): List<STrack> { val highDetections = detections.filter { it.confidence >= highThresh } val lowDetections = detections.filter { it.confidence in trackThresh..<highThresh } val (matches1, unmatched_tracks1, unmatched_dets1) = linearAssignment(trackedStracks, highDetections, matchThresh) val (matches2, _, _) = linearAssignment(unmatched_tracks1, lowDetections, 0.5f) val newTracks = unmatched_dets1.map { STrack(it) } return (matches1 + matches2).map { it.track } + newTracks } } 

ByteTrack знижує втрати ID на 30-40% порівняно з SORT при частих окклюзіях. При цьому обчислювальна складність залишається низькою — трекер працює на CPU без помітного нагріву.

Як працює зв'язка детектора і трекера на iOS?

Стандартний pipeline для мобільних:

// iOS: YOLOv8 детекція + SORT трекінг class MultiObjectTracker { private let detector: YOLOv8Detector private let tracker: SORTTracker // SORT параметри — важливо підібрати під задачу init(targetClass: String, maxAge: Int = 10, // кадрів без детекції до видалення треку minHits: Int = 3, // кадрів детекції для підтвердження треку iouThreshold: Float = 0.3) { self.detector = YOLOv8Detector(targetClass: targetClass) self.tracker = SORTTracker(maxAge: maxAge, minHits: minHits, iouThreshold: iouThreshold) } func processFrame(_ pixelBuffer: CVPixelBuffer) async -> [TrackedObject] { let detections = await detector.detect(pixelBuffer) let tracks = tracker.update(detections: detections.map { det in Detection(bbox: det.boundingBox, confidence: det.confidence) }) return tracks.map { track in TrackedObject( id: track.trackId, boundingBox: track.bbox, isConfirmed: track.hitStreak >= tracker.minHits, velocity: track.kalmanFilter.velocity ) } } } 

maxAge = 10 — трек живе 10 кадрів без детекції (об'єкт за перешкодою). При 30 FPS це 333 мс — достатньо для коротких окклюзій.

Як впровадити ByteTrack за 5 кроків?

1. Вибір моделі детекції: YOLOv8-nano (INT8) для мобільних — 2x швидше, mAP падає на 1-2%.
2. Налаштування трекера: підберіть trackThresh=0.5, highThresh=0.6, matchThresh=0.8.
3. Інтеграція pipeline: детекція на кожному кадрі, трекінг після фільтрації низьковпевнених.
4. Рендер треків: через Metal/OpenGL — до 60 FPS на середньому пристрої.
5. Оптимізація: знизьте FPS до 15-20, якщо точність не критична — економія 40% енергії.

Типові помилки та як їх уникнути

// iOS: ByteTrack pipeline (спрощено) class ByteTrackPipeline { private let detector: YOLOv8Detector = .init() private var tracker: ByteTracker = .init() func process(pixelBuffer: CVPixelBuffer) async -> [Track] { let detections = await detector.detect(pixelBuffer) let tracks = tracker.update(detections: detections) return tracks } } 

Як зменшити навантаження на процесор при AI-трекінгу?

Використовуйте квантовані моделі (INT8) для детекції — приріст швидкості до 2x без помітного падіння mAP. Трекери SORT і ByteTrack самі по собі легкі, їх можна запускати на CPU. Рендер bounding box через Metal (iOS) або OpenGL (Android) знімає навантаження з основного потоку. На iOS підключайте Core ML з Neural Engine, на Android — NNAPI. Якщо точність не критична, знижуйте FPS відеопотоку до 15-20: це економить до 40% енергії.

Що входить у нашу роботу з трекінгу

• Аналіз задачі: вибір підходу (SOT/MOT), цільових класів, сценаріїв окклюзій.
• Прототипування: навчання або fine-tune моделі детекції, підбір трекера.
• Розробка модуля: інтеграція детектора та трекера, рендер треків, обробка орієнтації камери.
• Оптимізація: зниження енергоспоживання, робота при 30 FPS на пристроях середнього сегменту.
• Тестування: 50+ сценаріїв (зміна освітлення, швидкі рухи, перетини).
• Супровід: документація, вихідний код, навчання команди.

Ми маємо 5+ років досвіду в мобільній розробці та реалізували трекінг для ритейлу, логістики та спорту. Замовте консультацію інженера — оцінимо ваш проект і запропонуємо рішення.

Орієнтири за термінами

Зв'яжіться з нами для отримання консультації та точної оцінки термінів. Ми гарантуємо результат і надаємо підтримку після здачі проекту.