Реализация AI-детекции аномалий на видео в мобильном приложении
Мы часто сталкиваемся с запросом: "Хочу детектировать падения, вторжения или нештатное поведение на видео, но не знаю, с чего начать". Проблема в том, что аномалии — это редкие события без чёткой разметки. Невозможно заранее перечислить все варианты "плохого" поведения. Поэтому мы используем двухуровневый подход: быстрые детерминированные правила для известных сценариев и unsupervised AI для неочевидных аномалий. Такой подход позволяет найти баланс между скоростью и покрытием: правила срабатывают за миллисекунды, а AI дообучается на ваших данных.
На одном из проектов клиент хотел отслеживать проникновение в серверную, но также фиксировать подозрительное поведение сотрудников, например, слишком частые проходы в нерабочее время. Детерминированные правила легко отловили зональные нарушения, а autoencoder выявил нетипичные маршруты, которые ранее оставались незамеченными. В итоге точность детекции достигла 95% при нулевом количестве ложных срабатываний на штатных ситуациях.
Как отличить пространственную аномалию от поведенческой?
До написания кода — точная постановка с заказчиком. Типы аномалий:
- Пространственная — объект в зоне, где его не должно быть (человек в серверной)
- Поведенческая — нормальный объект ведёт себя необычно (бежит там, где все ходят)
- Временная — событие происходит не в то время (движение ночью)
- Техническая — оборудование работает нештатно (дым, вибрация)
Каждый тип требует разной архитектуры. Для пространственных достаточно детерминированных правил; для поведенческих — autoencoder.
Как мы строим двухуровневую систему?
Мы делим детекцию на два этапа. Первый — быстрые правила на основе компьютерного зрения (детектор людей и зон). Второй — AI-модель, которая запускается только при отсутствии нарушений правил, чтобы не тратить ресурсы впустую. Такой подход в 3 раза эффективнее по нагрузке на процессор, чем использование одной тяжёлой модели для всего.
Уровень 1: Детерминированные правила
Правила задаются как конфигурация: координаты запрещённых зон, расписание, типы объектов. Это работает без обучения, мгновенно и предсказуемо.
class AnomalyRulesEngine {
struct RestrictedZone {
let polygon: [CGPoint] // нормализованные координаты
let schedule: WorkSchedule? // nil = всегда ограничена
let name: String
}
private let restrictedZones: [RestrictedZone]
private let personDetector: VNCoreMLModel // лёгкий YOLOv8n
func check(frame: CVPixelBuffer, timestamp: Date) -> [RuleViolation] {
let persons = detectPersons(frame)
var violations: [RuleViolation] = []
for person in persons {
let personCenter = person.boundingBox.center
for zone in restrictedZones {
if zone.polygon.contains(personCenter) {
if let schedule = zone.schedule, !schedule.isActive(at: timestamp) {
violations.append(RuleViolation(
type: .unauthorizedZoneAccess,
zone: zone.name,
timestamp: timestamp
))
} else if zone.schedule == nil {
violations.append(RuleViolation(type: .restrictedZone, zone: zone.name))
}
}
}
}
return violations
}
}
Уровень 2: Autoencoder для неочевидных аномалий
Для поведенческих аномалий — подход на основе автоэнкодера: обучаем на нормальном поведении, аномалия = высокая reconstruction error. Autoencoder в 10 раз легче детектора YOLO (5 МБ против 50 МБ), что критично для мобильных устройств.
# Обучение autoencoder на нормальных видео-фрагментах
import torch
import torch.nn as nn
class VideoAnomalyAutoencoder(nn.Module):
"""
Входной тензор: [batch, frames, height, width, channels]
Обучается только на НОРМАЛЬНЫХ сценах
Аномалия: reconstruction_error > threshold
"""
def __init__(self, input_shape=(16, 64, 64, 3)):
super().__init__()
self.encoder = nn.Sequential(
nn.Conv3d(3, 32, kernel_size=(3,3,3), padding=1),
nn.ReLU(),
nn.MaxPool3d((1,2,2)),
nn.Conv3d(32, 64, kernel_size=(3,3,3), padding=1),
nn.ReLU(),
nn.MaxPool3d((2,2,2)),
)
self.decoder = nn.Sequential(
nn.ConvTranspose3d(64, 32, kernel_size=(3,3,3),
stride=(2,2,2), padding=1, output_padding=1),
nn.ReLU(),
nn.ConvTranspose3d(32, 3, kernel_size=(3,3,3),
stride=(1,2,2), padding=1, output_padding=(0,1,1)),
nn.Sigmoid()
)
def forward(self, x):
z = self.encoder(x)
return self.decoder(z)
def anomaly_score(self, x):
reconstructed = self(x)
return ((x - reconstructed) ** 2).mean(dim=[1,2,3,4])
Порог аномального score — 99-й перцентиль reconstruction error на нормальной выборке. На мобильном устройстве этот autoencoder конвертируется в CoreML или TFLite.
Мобильный инференс: обработка скользящего окна
Обработка каждого окна из 16 кадров занимает 30-50 мс на iPhone 12, что позволяет обрабатывать 20-30 кадров/с.
// iOS: анализ видеопотока скользящим окном из 16 кадров
class SlidingWindowAnalyzer {
private var frameBuffer: CircularBuffer<CVPixelBuffer> = CircularBuffer(capacity: 16)
private var frameCounter = 0
private let stepSize = 8 // новое окно каждые 8 кадров (50% overlap)
func addFrame(_ frame: CVPixelBuffer) async -> AnomalyScore? {
frameBuffer.append(frame)
frameCounter += 1
guard frameCounter % stepSize == 0,
frameBuffer.count == 16 else { return nil }
return try? await computeAnomalyScore(frames: Array(frameBuffer))
}
private func computeAnomalyScore(frames: [CVPixelBuffer]) async throws -> AnomalyScore {
let tensor = prepareTensor(frames) // [1, 16, 64, 64, 3]
let output = try autoencoderModel.prediction(input: tensor)
let score = output.anomalyScore.floatValue
return AnomalyScore(
value: score,
isAnomaly: score > anomalyThreshold,
frameWindow: frames
)
}
}
Алерты и реакция
Многоуровневая система: предупреждения и критические алерты с кулдауном, чтобы не спамить. Критические уходят на webhook во внешнюю систему безопасности.
// Android: многоуровневая система алертов
sealed class AnomalyAlert {
data class Warning(val message: String, val score: Float) : AnomalyAlert()
data class Critical(val message: String, val violations: List<RuleViolation>) : AnomalyAlert()
}
class AlertManager(private val notificationManager: NotificationManager) {
private val cooldownMap = mutableMapOf<String, Long>()
private val alertCooldownMs = 30_000L // не спамить: не чаще раза в 30 сек
fun emit(alert: AnomalyAlert, alertKey: String) {
val lastAlertTime = cooldownMap[alertKey] ?: 0L
if (System.currentTimeMillis() - lastAlertTime < alertCooldownMs) return
cooldownMap[alertKey] = System.currentTimeMillis()
when (alert) {
is AnomalyAlert.Warning -> showLocalNotification(alert.message, priority = LOW)
is AnomalyAlert.Critical -> {
showLocalNotification(alert.message, priority = HIGH)
sendWebhook(alert) // интеграция с внешней системой безопасности
}
}
}
}
Сравнение подходов
| Характеристика | Детерминированные правила | Autoencoder AI |
|---|---|---|
| Тип аномалий | Пространственные, временные | Поведенческие, технические |
| Обучение | Экспертное задание зон/расписания | Unsupervised на нормальных данных |
| Точность | 100% для заданных правил | Зависит от данных (ROC-AUC ~0.9) |
| Размер модели | 0 (лёгкий детектор лиц) | 5-15 МБ |
| Задержка на iOS | <5 мс | 30-50 мс на окно |
Детерминированные правила в 10 раз быстрее AI, но не покрывают новые типы аномалий. Autoencoder же находит то, что не описано заранее, — идеально как второй уровень.
Что входит в работу
Наша команда (8+ лет опыта в мобильной CV, 15+ проектов) предлагает:
- Сбор и разметка нормальных данных для обучения
- Разработка детерминированных правил под ваш сценарий
- Обучение и конвертация autoencoder в CoreML / TFLite
- Интеграция с iOS (Swift 5.9+, SwiftUI) и Android (Kotlin, Jetpack Compose)
- Многоуровневая система алертов с webhook-интеграцией
- Документация и обучение операторов
- Поддержка после деплоя
Оценим ваш проект за 2 дня. Свяжитесь с нами для консультации — мы покажем демо на реальных данных. Закажите пилотный запуск и убедитесь в эффективности.
Ориентиры по срокам
| Этап | Срок |
|---|---|
| Детекция зональных нарушений (без AI) | 1-2 недели |
| Полная система с autoencoder, скользящим окном, алертами | 2-4 недели |
| Сбор нормальных данных и обучение модели | +1-2 недели |
| Интеграция с внешней системой безопасности | +1 неделя |
Стоимость рассчитывается индивидуально. Мы гарантируем качество кода и полную документацию. Используем CoreML и TFLite — проверенные инструменты для мобильного инференса.