ІІ-трекінг об'єктів для VFX
Ми розробляємо AI-системи трекінгу об'єктів для VFX, які вирішують проблему втрати треку при оклюзії та motion blur. Класичні інструменти на кшталт Mocha Pro і PFTrack потребують ручного розставлення точок і ламаються при змазі більше 15 пікселів. Наші рішення на базі нейронних мереж (CoTracker, DiffusionTrack, FoundPose) забезпечують стійке відстеження навіть при 70% оклюзії. У нас понад 5 років досвіду в VFX-трекінгу та більше 10 успішних проєктів для рекламних роликів і кіно. Нейронний трекінг у 3 рази швидший за класичний при схожій точності, а вартість рішення розраховується індивідуально залежно від складності матеріалу. Економія бюджету на постпродакшн — до 60%.
Типи трекінгу та інструменти
2D point tracking — відстеження опорних точок для stabilization або match move. Сучасний нейронний трекінг: CoTracker (Meta) — трекає 256+ точок одночасно з урахуванням взаємних залежностей між ними. Працює через transformer з temporal attention, що дає стійкість при частковій оклюзії. — Meta Research
Planar tracking — трекінг площини (стіна, борт автомобіля, екран) для вставки графіки. Нейронна версія: DiffusionTrack, або гібрид гомографії + deep features від SuperGlue для matching.
6DoF object tracking — трекінг 3D-положення та орієнтації об'єкта. FoundPose, FoundTrack — працюють з CAD-моделлю об'єкта або навченим prior.
Human body tracking — MediaPipe Holistic (33 точки скелета + руки + обличчя), OpenPose, SMPL-X для повноцінної 3D-реконструкції тіла актора з monocular відео. Використовується для motion capture без маркерів.
Чому нейронний трекінг стійкіший за класичний?
Класичний feature-based трекінг (Lucas-Kanade, KLT) втрачає точку при motion blur > 15px, оклюзії > 40% об'єкта, різкій зміні освітлення. Нейронний підхід виграє за рахунок learned descriptors і visibility prediction. Наприклад, CoTracker тримає трекінг при оклюзії до 70% — модель передбачає, чи видима точка в поточному кадрі, і не намагається шукати її там, де її немає. При поверненні об'єкта з-за оклюзії трекінг відновлюється через re-identification.
| Параметр | Класичний (Lucas-Kanade) | Нейронний (CoTracker) |
|---|---|---|
| Motion blur >15 px | Втрата точки | Стабільний до 30 px |
| Оклюзія >40% | Зрив треку | Тримає до 70% |
| Різка зміна освітлення | Дрейф | Стійкий |
| Кількість точок | 10–50 | 256+ |
import torch from cotracker.predictor import CoTrackerPredictor model = CoTrackerPredictor(checkpoint='cotracker2.pth') model = model.cuda() # video: (1, T, 3, H, W) tensor # queries: (1, N, 3) - (t, x, y) для кожної точки tracks, visibility = model(video, queries=queries) # tracks: (1, T, N, 2) - координати N точок у всіх T кадрах # visibility: (1, T, N) - ймовірність видимості Як інтегрувати трекінг у постпродакшн-пайплайн?
Вихід трекінгу ми віддаємо у форматах, сумісних з індустріальним софтом: .nuke скрипти або .abc (Alembic) файли з анімаційними кривими для Nuke, After Effects, Blender. Для match move використовуємо .chan формат з camera transform даними. Автоматизація: Python API для Nuke дозволяє напряму записувати трекінгові дані в Tracker4 ноди без ручного перенесення. Все це прискорює інтеграцію та знижує ймовірність помилок при передачі між відділами.
Покрокова інструкція:
- Підготуйте відеофайл і визначте цільові об'єкти.
- Виберіть тип трекінгу (2D, planar, 6DoF) залежно від завдання.
- Запустіть нейронну модель на GPU — середній час обробки 5 хвилин відео ~2 години.
- Перевірте якість треків через візуалізацію.
- Експортуйте дані в потрібний формат.
- Інтегруйте в сцену через плагін або скрипт.
Подробиці про CoTracker
CoTracker — модель від Meta, заснована на transformer. Вона обробляє всі точки одночасно, використовуючи attention за часом і простором. Це дає стійкість до оклюзій і змазу. Завантажити ваги можна з [GitHub](https://github.com/facebookresearch/co-tracker).Що входить у роботу
- Аналіз матеріалу та вибір підходу (2D/planar/6DoF/human)
- Розробка та налаштування нейронної моделі під конкретну сцену
- Виконання трекінгу з проміжними ітераціями
- Експорт даних у потрібні формати (Nuke, AE, Blender)
- Документація щодо використаних моделей та конфігурації
- Навчання вашої команди роботі з виданими скриптами
- Технічна підтримка на етапі постпродакшну
Терміни
| Завдання | Об'єм | Час |
|---|---|---|
| 2D point tracking | 1–5 хвилин відео | 1–3 дні |
| Planar tracking з mesh | 1–5 хвилин | 2–5 днів |
| 6DoF object tracking | 1–3 хвилини | 3–7 днів |
| Full match move + camera solve | Сцена 1–10 хв | 5–14 днів |
Вартість розраховується індивідуально за складністю матеріалу. Ми гарантуємо відхилення треку менше 1 px на перевірених кадрах. Зв'яжіться з нами для оцінки вашого проєкту — ми підберемо оптимальне рішення під ключ. Замовте консультацію, щоб обговорити деталі.
З нашої практики: рекламний ролик, 45 секунд, камера рухається разом з автомобілем на трасі. Логотип потрібно «наклеїти» на двері з урахуванням відблисків і деформації кузова при вібрації. Проблема: швидкість 120 км/год, motion blur на кадрах 1/60s, періодичні засвіти від сонця. Рішення: planar трекінг через гомографію з SuperGlue-matching (стійкий до blur завдяки learned descriptors) + mesh-based деформація (двері розбиті на сітку 8×4, кожен вузол трекається незалежно) + lighting estimation через EfficientLit. Підсумок: стабілізований трекінг 1080 кадрів з відхиленням < 0.8 px, 6 годин автоматичної обробки замість 3 днів ручного трекінгу в Mocha.