Дообучение моделей Pose Estimation под кастомные сцены

Почему обучение pose estimation срывается на реальных сценах

Готовая модель распознавания позы показывает высокую точность на эталонных наборах и уверенно собирает скелет в лабораторных условиях. На объекте картина другая: камера закреплена выше и под углом, свет даёт пересветы и глубокие тени, а в кадре одновременно пять-семь человек в разной одежде. Это сдвиг домена — расхождение между сценой, на которой модель обучали, и сценой, где она реально работает.

Смена ракурса камеры ломает геометрию: сустав, который в обучающей выборке был виден сбоку, сверху выглядит как укороченный сегмент, и модель теряет связь между точками. Однотонная широкая одежда сливается с фоном, быстрое движение даёт смаз, а перекрытия людей превращаются не в отдельные промахи, а в систематические пропуски. Точность распознавания позы падает не на проценты — часть скелетов собирается неверно целиком.

Цена такой ошибки — ручной контроль. Если ложные позы идут десятками за смену, автоматика перестаёт закрывать процесс: оператор просматривает записи, спорные кадры размечает вручную, а отчётность сдвигается на часы. Разметка ключевых точек под собственную сцену нужна именно поэтому — без неё модель не отличает значимый жест от артефакта съёмки.

Дообучение на чужой выборке здесь не помогает: модель уверенно повторяет то, что видела, и так же уверенно ошибается в новых условиях. Pose estimation обучение строят на своём домене сцены — с теми ракурсами, светом и одеждой, что есть на объекте, — и проверяют на отложенной записи, которую модель не видела. Разбираем, как это выстраивается.

Что даёт адаптация модели под конкретную сцену

Базовая модель позы обучена на общих сценах: люди в полный рост, ровный свет, минимум перекрытий. На реальном объекте она ошибается предсказуемо — скелет распадается при перекрытии, точки уезжают при контровом свете, а в спецодежде непривычного цвета модель теряет конечности.

Адаптация модели под сцену дообучает сеть на кадрах с вашего объекта. Ключевые точки размечаем в формате COCO — том же, что в открытых наборах для оценки позы, поэтому метрики остаются сравнимыми с базовыми. Базовая часть сети замораживается, обучается выходной слой под ваш набор точек: требуется меньше кадров и меньше итераций до сходимости.

Эффект измеряем, а не обсуждаем. Считаем долю верно найденных ключевых точек при пороге совпадения 0.5 — типичный рост с 0.6 до 0.85+ после адаптации. Ложные срабатывания на фоне и похожих объектах падают в разы, а качество ключевых точек перестаёт зависеть от смены освещения и переодевания смены.

Отдельно проверяем устойчивость на сложных кадрах: ночные смены, размытие при движении, частично перекрытые фигуры. Порог уверенности по каждой точке калибруется под сцену — модель честно помечает «не вижу», вместо того чтобы достраивать сустав по догадке и портить статистику.

Способы адаптации модели: сравнение подходов

Адаптация модели под кастомную сцену — выбор не между «хорошо» и «плохо», а между объёмом разметки и устойчивостью результата. Готовая модель оценки позы уже знает анатомию и типовые положения тела, но теряет уверенность на нестандартных ракурсах, спецодежде, плотных группах и перекрытиях.

Четыре варианта, которые мы сравниваем на старте проекта, отличаются объёмом разметки, сроком до первого результата и классом ошибок, остающихся после внедрения.

Выбор фиксируем по замеру на вашем наборе: доля верно найденных точек при заданном пороге ошибки и поведение на сложных кадрах — перекрытия, смазанные движением кадры, нестандартный ракурс. Обычно начинаем с дообучения, а синтетику и постобработку подключаем, если замер показывает конкретный класс ошибок.

Как проходит обучение модели: этапы работы

Обучение pose estimation под конкретную сцену — это не разовый запуск, а цикл: каждый этап опирается на артефакты предыдущего, и пропуск любого виден не сразу, а на приёмке — когда модель уверенно ошибается на кадрах, которых не было в обучающей выборке.

1. Аудит камер и сцены — фиксируем ракурсы установки, реальное освещение, перекрытия и характер движения в кадре. На выходе — перечень сцен, где модель обязана работать, и понимание, каких данных не хватает.

2. Сбор и разметка данных — записываем материал в тех же условиях, что на объекте, и размечаем ключевые точки скелета по единой инструкции. Спорные кадры уходят на перепроверку, чтобы аннотаторы не разошлись в трактовке.

3. Выбор схемы адаптации — дообучаем предобученную модель целиком, настраиваем часть слоёв или собираем ансамбль под разные ракурсы. Схему подбираем по объёму своих данных и требуемой точности, а не по привычке.

4. Обучение и контроль метрик — модель учится на тренировочной части, качество смотрим на валидационной. Отдельно проверяем редкие позы: сильные перекрытия, развороты, нестандартную одежду.

5. Проверка на отложенных кадрах — финальный прогон идёт на съёмках, не участвовавших ни в обучении, ни в подборе параметров. Только так видно реальное качество: на знакомых кадрах модель выглядит лучше, чем есть.

6. Сопровождение модели — отдаём веса, настройки запуска, инструкцию по разметке и скрипты проверки. Дальше следим за дрейфом: сменилась камера, свет или экипировка — собираем данные и дообучаем точечно.

Что остаётся в вашем контуре после проекта

Проект заканчивается не показом метрик, а моментом, когда ваша команда может запустить модель, обновить её и проверить качество без нас. Поэтому сдаём не отчёт, а комплект: каждый артефакт закрывает свой этап жизненного цикла — от съёмки до переобучения на новых данных.

• Обученная модель и веса. Итоговые веса последнего дообучения, конфигурация вывода, скрипты пакетной обработки записи и офлайн-прогон на вашем эталонном наборе. Отдельно фиксируем, при каком оборудовании воспроизводится заявленная точность.
• Схема подключения камер. Ракурсы и высоты установки, зоны обзора, требования к освещению, порядок синхронизации потоков. Схема нужна, чтобы при переносе или замене камеры качество не просело.
• Разметка и правила её пополнения. Эталонный размеченный набор, словарь ключевых точек, инструкция для разметчиков и критерии приёмки. Плюс правило, как добавлять новые сцены: сколько кадров на класс и какие случаи обязательно включать.
• Документация по запуску. Развёртывание окружения, зависимости, параметры обработки, порядок выпуска обновлённой модели на стенд и откат к предыдущей версии.
• Регламент контроля качества. Доля кадров с корректно определённым скелетом, частота расхождений при выборочной ручной проверке, пороги деградации и порядок внепланового переобучения при их срабатывании.
• Права на модель и данные. Письменно разводим, что передаётся вам полностью, что остаётся нашей типовой предобученной основой, и как оформлены права на исходные и размеченные наборы. Без этого пункта остальные теряют смысл при смене подрядчика.

Вместе с комплектом передаём доступы к хранилищу весов и журналу экспериментов, где видно, какие приёмы не сработали и на каких сценах модель ведёт себя нестабильно — это экономит месяцы повторных проб.

Кейс: контроль позы работника на производственной линии

Линия с четырьмя камерами на разных участках и несопоставимым освещением: одна смотрит против встречного света из цеховых окон, вторая в ночную смену работает почти без подсветки, третья ловит блики от сварки. До внедрения классификатор поз, обученный на открытых наборах, давал разброс качества по камерам, который на реальной смене превращался в поток ложных тревог.

Что было до внедрения

Опасные позы — наклон корпуса над конвейером, заход в зону движения подвесного оборудования, работа спиной к транспорту — модель пропускала в 34% случаев. Ложные сигналы шли 60–70 за смену, оператор перестал реагировать на тревогу, и система фактически не работала как средство контроля. Хуже всего держались ночной участок и зона с контровым светом: там скелет разваливался на перекрытиях, и поза классифицировалась случайно.

Что изменили

• Дообучили модель на целевых сценах «Линии-4»: около 12 тысяч кадров с разметкой по ключевым точкам скелета и классам опасных поз, включая редкие — короткий заход в красную зону, наклон над оборудованием.
• Сбалансировали классы и добавили аугментации под освещение: пересвет, глубокую тень, шум ночной съёмки, встречный свет.
• Валидировали разметку и метрики по каждой камере отдельно, чтобы дневные участки не усредняли ночные.
• Финальную проверку вели на записях реальных смен, не попадавших ни в обучение, ни в подбор порогов.

Результат

Пропуск опасных поз снизился с 34% до 4%, на ночной камере и участке с контровым светом — с 52% до 7%. Ложные тревоги сократились с 60–70 до 8–10 за смену, поэтому оператор снова отрабатывает каждый сигнал, а не глушит звук.

Пороги детекции и логика зон вынесены в конфигурацию: новые камеры и изменённый маршрут линии добавляются без пересбора модели. При смене освещения переобучение не требуется — модель устойчива к тому диапазону условий, который прошла на дообучении.

Что делать, если модель уже в работе, а точность падает?

Точность падает не потому, что модель «испортилась» — почти всегда входные данные разошлись с тем, на чём её обучали. Поэтому первый шаг диагностики — не трогать веса, а разделить три источника: изменившиеся данные, дрейф сцены и настройки вывода. Пока эти причины смешаны, любое дообучение модели pose estimation будет лечением симптома.

Разделяем срезом метрик по подгруппам: отдельные камеры, ракурсы, типы объектов, время суток. Если провал сосредоточен в одной-двух подгруппах, а на остальных качество держится — это дрейф сцены, модель работает вне обучающего распределения. Если просадка ровная по всем подгруппам, чаще виноваты постобработка и порог уверенности, а не данные.

Дальше — проверка на новых данных. Отбираем свежие кадры из рабочего потока, размечаем ключевые точки вручную в формате COCO и сравниваем замер с тем же протоколом на исходной валидации. Расхождение по доле верно найденных точек подтверждает дрейф, совпадение — указывает на настройки вывода.

Если причина в данных, дообучение делают без перезапуска: базовая часть сети замораживается, обучается только выходной блок на новых сценах, а в выборку подмешивается часть прежних примеров — иначе модель «забудет» старые сцены. Новые веса выкатываются версионированно: сначала теневой прогон на части потока, затем замена при отсутствии регрессии.

Закрывается всё контролем по подгруппам до и после: если метрика на новой сцене выросла, а на исходных не упала — дообучение удалось. Дрейф возвращается по мере изменений в кадре, поэтому замер на свежих данных стоит держать регулярным, а не разовым.

Технические сомнения: разметка, свет, оборудование

Часть сомнений снимается на оценке, часть — на пилоте. Ниже — то, что чаще всего спрашивают перед обучением pose estimation.

Хватит ли камер, которые уже стоят на объекте?

Если ракурс и зона обзора покрывают рабочую область — да, обучение идёт на существующих потоках. На оценке мы смотрим записи с них и говорим, каких ракурсов не хватает; чаще достаточно поправить высоту или наклон камеры, а не менять оборудование.

Что будет при смене освещения?

Модель знает только то, что было в разметке: набор, собранный днём, даст просадку на вечерних и контровых кадрах. Поэтому в разметку попадают разные часы съёмки, тени, блики и ночной режим камеры — точность держится в течение суток.

Можно ли разметить не все точки?

Да, при обучении учитываются только отмеченные точки, остальные не создают ошибки. Так быстро закрываются редкие позы — сидя, в наклоне, с перекрытием — без разметки всего скелета на каждом кадре.

Как понять, что модель готова, до запуска?

Собираем отдельный набор кадров, не участвовавший в обучении, и проверяем точность по каждой точке и по сложным сценам. Затем прогоняем записи реальных смен: сколько кадров теряется, как часто скелет распадается на части.

Обсудим вашу задачу и вернёмся с оценкой

Чтобы обсудить задачу предметно, а не обзорно, к первой встрече достаточно набора вводных, которые собирает любая команда, уже работавшая со съёмкой и разметкой. В ответ мы возвращаемся с оценкой и планом работ: этапами, составом выборок, точками контроля и сроками.

Что прислать:

• 10–20 примеров съёмок — реальные кадры с той же камеры, ракурса и освещения, включая сложные случаи: перекрытия, блики, быстрые движения.
• Схему размещения камер с высотами, углами обзора и зонами перекрытия — по ней видно, хватает ли ракурсов для устойчивого определения ключевых точек.
• Требования к точности: какие суставы критичны, допустимое отклонение, как считается ошибка и что считается пропуском.
• Описание сценария: сколько людей в кадре одновременно, есть ли спецодежда, оборудование или предметы, которые модель должна игнорировать.
• Целевую платформу и режим работы — обработка в реальном времени или по архиву, какие ограничения по задержке уже заданы.
• Примеры готовой разметки, если она есть, либо перечень сцен, которые обязаны попасть в обучение.

В ответ приходит оценка и план работ: объём разметки, схема разбиения на обучающую и проверочную выборки, критерии приёмки и сроки по этапам. Если данных пока мало, предложим минимальный набор съёмок для старта — его хватит, чтобы проверить гипотезу до полномасштабной разметки.