Донавчання моделей Pose Estimation під кастомні сцени

Чому навчання pose estimation зривається на реальних сценах

Готова модель розпізнавання пози показує високу точність на еталонних наборах і впевнено збирає скелет у лабораторних умовах. На об’єкті картина інша: камера закріплена вище й під кутом, світло дає пересвіти й глибокі тіні, а в кадрі одночасно п’ять-сім людей у різному одязі. Це зсув домену — розходження між сценою, на якій модель навчали, і сценою, де вона реально працює.

Зміна ракурсу камери ламає геометрію: суглоб, який у навчальній вибірці було видно збоку, зверху виглядає як укорочений сегмент, і модель втрачає зв’язок між точками.

Однотонний широкий одяг зливається з фоном, швидкий рух дає змаз, а перекриття людей перетворюються не на окремі промахи, а на систематичні пропуски. Точність розпізнавання пози падає не на відсотки — частина скелетів збирається неправильно цілком.

Ціна такої помилки — ручний контроль. Якщо хибні пози йдуть десятками за зміну, автоматика перестає закривати процес: оператор переглядає записи, спірні кадри розмічає вручну, а звітність зсувається на години.

Розмітка ключових точок під власну сцену потрібна саме тому — без неї модель не відрізняє значущий жест від артефакту зйомки.

Донавчання на чужій вибірці тут не допомагає: модель упевнено повторює те, що бачила, і так само впевнено помиляється в нових умовах.

Pose estimation навчання будують на своєму домені сцени — з тими ракурсами, світлом і одягом, що є на об’єкті, — і перевіряють на відкладеному записі, якого модель не бачила. Розбираємо, як це вибудовується.

Що дає адаптація моделі під конкретну сцену

Базова модель пози навчена на загальних сценах: люди на повний зріст, рівне світло, мінімум перекриттів.

На реальному об’єкті вона помиляється передбачувано — скелет розпадається при перекритті, точки з’їжджають при контровому світлі, а в спецодязі незвичного кольору модель втрачає кінцівки.

Адаптація моделі під сцену донавчає мережу на кадрах з вашого об’єкта. Ключові точки розмічаємо у форматі COCO — тому самому, що в відкритих наборах для оцінювання пози, тому метрики залишаються порівнюваними з базовими.

Базова частина мережі заморожується, навчається вихідний шар під ваш набір точок: потрібно менше кадрів і менше ітерацій до збіжності.

Ефект вимірюємо, а не обговорюємо. Рахуємо частку правильно знайдених ключових точок при порозі збігу 0.5 — типовий ріст з 0.6 до 0.85+ після адаптації.

Хибні спрацьовування на фоні та схожих об’єктах падають у рази, а якість ключових точок перестає залежати від зміни освітлення та переодягання зміни.

Окремо перевіряємо стійкість на складних кадрах: нічні зміни, розмиття при русі, частково перекриті фігури. Поріг впевненості за кожною точкою калібрується під сцену — модель чесно позначає «не бачу», замість того щоб добудовувати суглоб за здогадом і псувати статистику.

Способи адаптації моделі: порівняння підходів

Адаптація моделі під кастомну сцену — вибір не між «добре» і «погано», а між обсягом розмітки та стійкістю результату.

Готова модель оцінювання пози вже знає анатомію та типові положення тіла, але втрачає впевненість на нестандартних ракурсах, спецодязі, щільних групах і перекриттях.

Чотири варіанти, які ми порівнюємо на старті проєкту, відрізняються обсягом розмітки, терміном до першого результату та класом помилок, що залишаються після впровадження.

Вибір фіксуємо за заміром на вашому наборі: частка правильно знайдених точок при заданому порозі помилки та поведінка на складних кадрах — перекриття, змазані рухом кадри, нестандартний ракурс.

Зазвичай починаємо з донавчання, а синтетику й постобробку підключаємо, якщо замір показує конкретний клас помилок.

Як проходить навчання моделі: етапи роботи

Навчання pose estimation під конкретну сцену — це не разовий запуск, а цикл: кожен етап спирається на артефакти попереднього, і пропуск будь-якого видно не відразу, а на прийманні — коли модель упевнено помиляється на кадрах, яких не було в навчальній вибірці.

1. Аудит камер і сцени — фіксуємо ракурси встановлення, реальне освітлення, перекриття та характер руху в кадрі. На виході — перелік сцен, де модель зобов’язана працювати, і розуміння, яких даних не вистачає.

2. Збір і розмітка даних — записуємо матеріал у тих самих умовах, що на об’єкті, і розмічаємо ключові точки скелета за єдиною інструкцією. Спірні кадри йдуть на переперевірку, щоб анотатори не розійшлися в трактуванні.

3. Вибір схеми адаптації — донавчаємо попередньо навчену модель повністю, налаштовуємо частину шарів або збираємо ансамбль під різні ракурси. Схему підбираємо за обсягом своїх даних і потрібною точністю, а не за звичкою.

4. Навчання й контроль метрик — модель навчається на тренувальній частині, якість дивимося на валідаційній. Окремо перевіряємо рідкісні пози: сильні перекриття, розвороти, нестандартний одяг.

5. Перевірка на відкладених кадрах — фінальний прогін іде на зйомках, що не брали участі ні в навчанні, ні в підборі параметрів. Тільки так видно реальну якість: на знайомих кадрах модель виглядає краще, ніж є.

6. Супровід моделі — віддаємо ваги, налаштування запуску, інструкцію з розмітки та скрипти перевірки. Далі стежимо за дрейфом: змінилася камера, світло або екіпірування — збираємо дані й донавчаємо точково.

Що залишається у вашому контурі після проєкту

Проєкт закінчується не показом метрик, а моментом, коли ваша команда може запустити модель, оновити її та перевірити якість без нас. Тому здаємо не звіт, а комплект: кожен артефакт закриває свій етап життєвого циклу — від зйомки до перенавчання на нових даних.

• Навчена модель і ваги. Підсумкові ваги останнього донавчання, конфігурація виведення, скрипти пакетної обробки запису та офлайн-прогін на вашому еталонному наборі. Окремо фіксуємо, за якого обладнання відтворюється заявлена точність.
• Схема підключення камер. Ракурси та висоти встановлення, зони огляду, вимоги до освітлення, порядок синхронізації потоків. Схема потрібна, щоб при перенесенні або заміні камери якість не просіла.
• Розмітка та правила її поповнення. Еталонний розмічений набір, словник ключових точок, інструкція для розмітників і критерії приймання. Плюс правило, як додавати нові сцени: скільки кадрів на клас і які випадки обов’язково включати.
• Документація із запуску. Розгортання середовища, залежності, параметри обробки, порядок випуску оновленої моделі на стенд і відкат до попередньої версії.
• Регламент контролю якості. Частка кадрів із коректно визначеним скелетом, частота розходжень при вибірковій ручній перевірці, пороги деградації та порядок позапланового перенавчання при їх спрацьовуванні.
• Права на модель і дані. Письмово розводимо, що передається вам повністю, що залишається нашою типовою попередньо навченою основою, і як оформлені права на вихідні та розмічені набори. Без цього пункту решта втрачає сенс при зміні підрядника.

Разом із комплектом передаємо доступи до сховища ваг і журналу експериментів, де видно, які прийоми не спрацювали і на яких сценах модель поводиться нестабільно — це економить місяці повторних проб.

Кейс: контроль пози працівника на виробничій лінії

Лінія з чотирма камерами на різних ділянках і непорівнюваним освітленням: одна дивиться проти зустрічного світла з цехових вікон, друга в нічну зміну працює майже без підсвітки, третя ловить відблиски від зварювання.

До впровадження класифікатор поз, навчений на відкритих наборах, давав розкид якості за камерами, який на реальній зміні перетворювався на потік хибних тривог.

Що було до впровадження

Небезпечні пози — нахил корпусу над конвеєром, захід у зону руху підвісного обладнання, робота спиною до транспорту — модель пропускала в 34% випадків. Хибні сигнали йшли 60–70 за зміну, оператор перестав реагувати на тривогу, і система фактично не працювала як засіб контролю.

Найгірше трималися нічна ділянка та зона з контровим світлом: там скелет розвалювався на перекриттях, і поза класифікувалася випадково.

Що змінили

• Донавчили модель на цільових сценах «Лінії-4»: близько 12 тисяч кадрів з розміткою за ключовими точками скелета й класами небезпечних поз, включно з рідкісними — короткий захід у червону зону, нахил над обладнанням.
• Збалансували класи та додали аугментації під освітлення: пересвіт, глибоку тінь, шум нічної зйомки, зустрічне світло.
• Валідували розмітку та метрики за кожною камерою окремо, щоб денні ділянки не усереднювали нічні.
• Фінальну перевірку вели на записах реальних змін, що не потрапляли ні в навчання, ні в підбір порогів.

Результат

Пропуск небезпечних поз знизився з 34% до 4%, на нічній камері та ділянці з контровим світлом — з 52% до 7%. Хибні тривоги скоротилися з 60–70 до 8–10 за зміну, тому оператор знову опрацьовує кожен сигнал, а не вимикає звук.

Пороги детекції та логіка зон винесені в конфігурацію: нові камери й змінений маршрут лінії додаються без перезбирання моделі. При зміні освітлення перенавчання не потрібне — модель стійка до того діапазону умов, який пройшла на донавчанні.

Що робити, якщо модель уже в роботі, а точність падає?

Точність падає не тому, що модель «зіпсувалася» — майже завжди вхідні дані розійшлися з тим, на чому її навчали. Тому перший крок діагностики — не чіпати ваги, а розділити три джерела: змінені дані, дрейф сцени й налаштування виведення. Поки ці причини змішані, будь-яке донавчання моделі pose estimation буде лікуванням симптому.

Розділяємо зрізом метрик за підгрупами: окремі камери, ракурси, типи об’єктів, час доби. Якщо провал зосереджений в одній-двох підгрупах, а на інших якість тримається — це дрейф сцени, модель працює поза навчальним розподілом.

Якщо просідання рівне за всіма підгрупами, частіше винні постобробка й поріг впевненості, а не дані.

Далі — перевірка на нових даних. Відбираємо свіжі кадри з робочого потоку, розмічаємо ключові точки вручну у форматі COCO і порівнюємо замір із тим самим протоколом на початковій валідації.

Розходження за часткою правильно знайдених точок підтверджує дрейф, збіг — указує на налаштування виведення.

Якщо причина в даних, донавчання роблять без перезапуску: базова частина мережі заморожується, навчається тільки вихідний блок на нових сценах, а у вибірку підмішується частина попередніх прикладів — інакше модель «забуде» старі сцени.

Нові ваги впроваджуються версіоновано: спочатку тіньовий прогін на частині потоку, потім заміна за відсутності регресії.

Закривається все контролем за підгрупами до й після: якщо метрика на новій сцені виросла, а на початкових не впала — донавчання вдалося. Дрейф повертається у міру змін у кадрі, тому замір на свіжих даних варто тримати регулярним, а не разовим.

Технічні сумніви: розмітка, світло, обладнання

Частина сумнівів знімається на оцінці, частина — на пілоті. Нижче — те, що найчастіше запитують перед навчанням pose estimation.

Чи вистачить камер, які вже стоять на об’єкті?

Якщо ракурс і зона огляду покривають робочу область — так, навчання йде на наявних потоках. На оцінці ми дивимося записи з них і говоримо, яких ракурсів не вистачає; частіше достатньо поправити висоту або нахил камери, а не міняти обладнання.

Що буде при зміні освітлення?

Модель знає тільки те, що було в розмітці: набір, зібраний удень, дасть просідання на вечірніх і контрових кадрах. Тому в розмітку потрапляють різні години зйомки, тіні, відблиски й нічний режим камери — точність тримається протягом доби.

Чи можна розмітити не всі точки?

Так, при навчанні враховуються тільки позначені точки, решта не створюють помилки. Так швидко закриваються рідкісні пози — сидячи, в нахилі, з перекриттям — без розмітки всього скелета на кожному кадрі.

Як зрозуміти, що модель готова, до запуску?

Збираємо окремий набір кадрів, що не брав участі в навчанні, і перевіряємо точність за кожною точкою та за складними сценами. Потім проганяємо записи реальних змін: скільки кадрів губиться, як часто скелет розпадається на частини.

Обговоримо вашу задачу і повернемося з оцінкою

Щоб обговорити задачу предметно, а не оглядово, до першої зустрічі достатньо набору вхідних даних, які збирає будь-яка команда, що вже працювала із зйомкою та розміткою. У відповідь ми повертаємося з оцінкою та планом робіт: етапами, складом вибірок, точками контролю й термінами.

Що надіслати:

• 10–20 прикладів зйомок — реальні кадри з тієї самої камери, ракурсу й освітлення, включно зі складними випадками: перекриття, відблиски, швидкі рухи.
• Схему розміщення камер із висотами, кутами огляду й зонами перекриття — за нею видно, чи вистачає ракурсів для стійкого визначення ключових точок.
• Вимоги до точності: які суглоби критичні, допустиме відхилення, як рахується помилка і що вважається пропуском.
• Опис сценарію: скільки людей у кадрі одночасно, чи є спецодяг, обладнання або предмети, які модель має ігнорувати.
• Цільову платформу й режим роботи — обробка в реальному часі або за архівом, які обмеження за затримкою вже задані.
• Приклади готової розмітки, якщо вона є, або перелік сцен, які обов’язково мають потрапити в навчання.

У відповідь приходить оцінка й план робіт: обсяг розмітки, схема розбиття на навчальну та перевірну вибірки, критерії приймання й терміни за етапами.

Якщо даних поки мало, запропонуємо мінімальний набір зйомок для старту — його вистачить, щоб перевірити гіпотезу до повномасштабної розмітки.