Разработка системы распознавания нежелательного поведения

Что ломается при распознавании поведения на потоке с камер

Распознавание поведения на потоке ломается не в демонстрационном режиме, а на живой смене. Событие имеет смысл, только если его кто-то подтвердил и отработал: когда ложные срабатывания идут пачками, дежурный перестаёт реагировать на тревоги, и реальный инцидент проходит мимо.

Ночные зоны контроля — первый провал. Инфракрасная подсветка даёт шум на матрице, фары выбивают экспозицию, тени от ограждения читаются как силуэт. Человек пропадает из кадра на несколько секунд, а правило «человек в запретной зоне» срабатывает на пустом месте.

Плотный поток ломает уже сопровождение объектов. В очереди на входе люди перекрывают друг друга, линия сопровождения обрывается и перепривязывается к соседу — резкое движение навешивается на случайного человека. Независимые замеры точности моделей на сложных условиях, например в программах NIST, показывают, что решения одного класса различаются по доле ошибок в разы; этот разрыв и определяет, сколько тревог уйдёт в отработку.

Дальше подключается человек. После двадцати-тридцати минут монотонного наблюдения внимание дежурного падает, а если поиск по архиву делается вручную, разбор одного эпизода — это часы записи. Нагрузка на охрану растёт, а фактическая реакция падает.

Все эти точки отказа закрываются подготовкой данных, правилами и порогами, а не заменой одной модели на другую — ниже разбираем, как это делается.

Что даёт внедрение: время реакции и доля ложных срабатываний

Первый эффект — время до оповещения. Кадры уходят на обработку потоком, без накопления сегмента, поэтому тревожное событие попадает оператору за секунды, а не при разборе смены. Разница принципиальная: в одном случае дежурный успевает вмешаться, в другом фиксирует только факт.

Второй — доля ложных срабатываний. Порог подбираем по записям самого объекта, а не по абстрактной выборке: ракурсы камер, освещённость, спецодежда, типовые перемещения персонала. Поверх детектора работает классификатор контекста — он отсекает совпадения по форме, где сцена на самом деле штатная. Чем меньше ложных тревог, тем выше доверие смены и тем реже систему отключают «чтобы не мешала».

Третий — охват зон контроля. Один инцидент, попавший в несколько камер, склеивается в одно событие по траектории человека, а не превращается в поток дублей. Поэтому зоны и камеры добавляем без расширения штата: на дежурного приходится больше покрытия, а не больше экранов. Новую зону вводим настройкой области интереса, без переобучения модели.

Четвёртый — разгрузка дежурной смены. Ручной просмотр записей заменяется выборочным: смотрят по фильтрам и метаданным, а не подряд. Смена занимается реакцией на подтверждённые события, внимание остаётся ровным к концу суток. Эффект внедрения измеряем на контрольном периоде — время до оповещения, доля ложных срабатываний, покрытые зоны и число отработок на смену.

Режимы анализа: живой поток, архив и гибридная схема

Режим анализа задаёт не только скорость реакции, но и требования к каналу связи, вычислительным ресурсам и качеству записи. Живой поток обрабатывает кадры по мере поступления и отдаёт событие, пока его ещё можно предотвратить; архивный анализ прогоняет накопленные записи пакетно и даёт более полную картину за счёт повторного прохода по сложным сценам. Гибридная схема делит работу: лёгкие правила считаются на живом потоке, тяжёлые модели — по архиву.

Развилка одна: нужна реакция в момент события или достаточно разбора по факту. Для живого потока считаем бюджет задержки и нагрузку на канал, для архива — глубину хранения и скорость пакетной обработки. Ограничения режима проявляются на границах: онлайн теряет точность в слабом свете, архив запаздывает, гибрид требует согласования событий между контурами.

На практике режим выбирают не для объекта целиком, а для каждой зоны отдельно — дальше разбираем, как это отражается на разметке, порогах и сопровождении системы.

Порядок внедрения: от обследования зон до передачи

Каждый этап оставляет артефакт, на который опирается следующий. Пропустите обследование — схема зон соберётся по памяти, а расхождение всплывёт на приёмке, когда переделка затрагивает и камеры, и логику сценариев.

1. Обследование объекта. Обходим периметр и внутренние помещения, фиксируем реальные углы обзора, слепые зоны, перепады освещения днём и ночью. Сразу отсекаем события, которые на текущих камерах надёжно не различаются.
2. Схема зон. Каждой камере назначаем зоны контроля и правила: вход в запретную область, скопление людей, оставленный предмет. Схему согласуем до настройки — она же ложится в инструкцию смены.
3. Настройка сценариев. Подбираем чувствительность по зонам, убирая ложные срабатывания от теней, бликов и стекла, но не теряя реальные события. Пороги фиксируем в конфигурации, а не «на глаз».
4. Проверка на записях. Прогоняем сценарии на архиве: смены с известными инцидентами и спокойные. Считаем долю найденных событий и число ложных тревог, правим пороги по результату.
5. Приёмка системы. Заказчик подтверждает работу на живом потоке по чек-листу: реакция на контрольные события, время до тревоги в интерфейсе, корректность уведомлений дежурному.
6. Обучение смены. Разбираем, как читать тревогу, что делать при подтверждении и как помечать ложные срабатывания — эти метки уходят в дообучение.
7. Передача. Отдаём схему зон, конфигурации, регламент реакции и доступы, фиксируем порядок сопровождения и точку отката к прошлым настройкам.

Что остаётся у вас: конфигурации, схемы, регламенты

Документы — не приложение к системе, а её часть: по ним решение живёт после сдачи. Ниже — что именно остаётся у вас, чтобы конфигурацию можно было править своими силами, а не ждать нас по каждому изменению.

• Рабочая конфигурация сценариев: зоны интереса, пороги чувствительности, расписание активности по часам и дням, с пояснением, почему выставлено именно это значение. Значения правятся без нас — меняется только логика, а не код.
• Карта зон и слепых участков: что реально попадает в кадр, где перекрытия колоннами или стеллажами, на каких участках распознавание работает неустойчиво. Сразу видно, куда добавить камеру, чтобы закрыть дыру.
• Правила доступа к записям: кто смотрит поток в реальном времени, кто вправе выгрузить фрагмент, срок хранения, журнал обращений. Роли разведены так, чтобы просмотр оставался контролируемым.
• Регламент реакций: какое событие кому адресуется и за какое время дежурный обязан отреагировать, что считается ложным срабатыванием и как его закрыть в журнале.
• Инструкции для смены: карточки на одну страницу — как подтвердить или отклонить событие, как пометить разбор, куда эскалировать нештатный случай.
• Схема развёртывания и поведение при отказах: порядок перезапуска, что деградирует первым, как откатиться на предыдущую версию конфигурации без потери истории.
• Порядок передачи решения: доступы и роли, обучение смены, период, в течение которого мы остаёмся на связи по вопросам эксплуатации.

Пакет передаётся не архивом «на память», а с разбором на месте: проходим по каждому пункту со сменой и техслужбой, чтобы инструкции проверялись на живых событиях, а не читались впервые в момент инцидента.

Кейс: склад и ночные зоны — как убрали ложные срабатывания

Распределительный склад: ночные зоны отгрузки, дежурная смена из двух операторов, аналитики на видеопотоке нет. Тревоги поднимал датчик движения — за ночь на пульт приходило 300–400 событий, из которых подтверждались единицы. Операторы перестали открывать всплывающие окна, и появление человека в зоне паллет терялось среди тени от погрузчика и блика от фар.

Что изменили

Детекцию разделили на два слоя: грубый поиск движения в ночной зоне и классификацию действия по короткому фрагменту — человек у стеллажа, погрузчик, тень, животное. Пороги настроили отдельно под каждую зону и режим освещения, а модель дообучили на записях этого же склада: инфракрасная подсветка, дождь, резкое включение прожекторов. Вывод модели идёт на периферийном узле рядом с камерами, на NVIDIA, поэтому кадры не уходят в центр по каналу связи.

Что стало

Замеры снимали на размеченной выборке ночных записей за одинаковый период до и после, на тех же зонах и сменах.

• Подтверждённых срабатываний — с 8% до 71%: дежурная смена разбирает короткий список вместо потока.
• Ручной проверки за ночь — с 350 до 40 событий.
• Время до оповещения — с 40 секунд до 6: сигнал уходит, пока нарушитель ещё в кадре.
• Дежурная смена — один оператор вместо двух, второй переведён на обходы.

Правила зон и пороги лежат в конфигурации, а не в коде модели: вернуть прежний режим или перенести настройки на второй склад можно за минуты, без переобучения.

Чем детекция по правилам отличается от обучения на разметке

Детекция по правилам — это геометрия зон и формализованные условия: объект пересёк линию, вошёл в запретную область, задержался дольше порога, пошёл против разрешённого направления. Логика детерминированная: один эпизод даёт один вердикт, пороги задаются вручную, срабатывание объясняется словами. Отсюда предсказуемость модели: поведение проверяется тестовыми записями и не меняется от кадра к кадру.

Граница подхода — сцены, где признак не сводится к координатам: замах, падение, размахивание руками, оставленный предмет, драка. Правило «рука выше плеча» не отличит угрозу от приветствия, и здесь нужна разметка.

Обучение на разметке начинается с подготовки примеров: короткие фрагменты с отмеченным по интервалам поведением и отдельный набор похожих, но допустимых ситуаций. Модель работает с признаками движения и позы и переносится на новые ракурсы, но качество зависит от полноты разметки: пропущенные негативы и перекос классов дают рост ложных тревог.

На объекте работает сочетание подходов. Правила держат контекст — зону, время, направление, длительность — и включают модель только внутри зоны и после срабатывания правила. Модель разбирает не весь поток, а короткий интервал, поэтому нагрузка на вычислитель и доля ложных срабатываний падают.

Порядок внедрения: правила закрывают простые и объяснимые сценарии, затем подтверждённые оператором тревоги становятся примерами для разметки, и на них дообучается модель. Цикл замыкается — эксплуатация сама наращивает набор примеров, а правила и модель работают как один контур контроля.

Технические сомнения перед запуском: что спрашивают чаще

Технические вопросы перед стартом касаются не самой модели, а её стыковки с тем, что уже работает на объекте: камеры, освещение, архив, права доступа. Ниже — ответы на то, что спрашивают чаще всего.

Что будет при смене освещения?

Смена света — главный источник ложных срабатываний: при включении фонарей или фарах в кадре картинка меняется сильнее, чем само поведение. В набор данных входят записи с каждой точки в разное время суток и в непогоду, а пороги срабатывания настраиваются по зонам отдельно.

Сколько хранить фрагменты?

Храним не весь архив, а короткие фрагменты вокруг события плюс метаданные: время, зона, тип срабатывания. Полная запись остаётся в вашей системе — мы в неё не вмешиваемся, срок хранения задаёт ваша политика.

Кто получает доступ к записям?

Права разграничиваются по ролям: оператор видит событие и фрагмент, но не выгружает массив, служба безопасности получает расширенный доступ. Просмотры и выгрузки пишутся в журнал.

Как проходит дообучение?

Ошибочные срабатывания и пропуски попадают в очередь разметки и добавляются в набор данных. Дообучение идёт с проверкой на отложенной выборке, а предыдущая версия модели остаётся доступной для отката.

Обсудим задачу и вернёмся с оценкой и планом

Точность оценки и плана внедрения зависит не от числа камер, а от того, насколько полно описаны сцены, по которым система будет принимать решения. Ниже — что прислать для разбора задачи: черновики, выгрузки и скриншоты подойдут, приводить материалы в порядок не нужно. Даже частичный набор уже снимает половину вопросов.

• Перечень зон с назначением: периметр, касса, склад, служебные проходы, парковка — по каждой отдельно.
• Схема размещения камер: ракурсы, перекрытия, зоны обзора — по ней видно, где сцена читается, а где нужен доворот.
• Сценарии нарушений: что считаем событием — драка, падение, оставленный предмет, проход в запретную зону. Так же важны примеры нормы: то, что система подсвечивать не должна.
• Приоритеты по зонам: какие сцены нужны с первого дня, какие можно включить второй очередью.
• Состав смены и регламент реакции: кто смотрит оповещения, в какие часы и что делает после — от этого зависит порог срабатывания.
• Записи за несколько типовых дней, включая ночь и пик нагрузки, — на них проверим распознавание до старта работ.

После разбора вернёмся с оценкой работ и планом внедрения: очерёдность зон, состав оборудования и доработок, точки приёмки по каждой сцене. Опишите задачу так, как удобно, — недостающее уточним сами.