Реализация AI-сегментации видеопотока в реальном времени в мобильном приложении
Представьте: видеозвонок с размытым фоном, но вместо плавной картинки — тормоза и артефакты. Или приложение дополненной реальности, которое не успевает за движениями пользователя. Это типичные последствия плохой оптимизации AI-сегментации. Мы часто сталкиваемся с запросами на real-time видеосегментацию. Это когда приложение понимает, что в кадре: человек, фон, машина, дорога, и делает это на каждом кадре с частотой 15–30 FPS. Сделать «работает на демо» несложно. Сделать «не греется, не лагает, работает на iPhone XR» — требует серьёзной работы с оптимизацией. Правильный выбор модели и грамотный пайплайн обработки — ключевые факторы успешного проекта.
Как выбрать модель для сегментации?
Семантическая сегментация — каждый пиксель относится к классу (фон, человек, автомобиль). Применение: замена фона на видеозвонках, AR-эффекты, анализ дорожной обстановки. Instance сегментация — отдельная маска на каждый объект одного класса (три машины — три маски). Применение: подсчёт объектов, трекинг. Panoptic сегментация — комбинация. Тяжелее, на мобильных используется редко.
| Модель | Разрешение | FPS (CoreML) | Качество |
|---|---|---|---|
| MobileNetV3-DeepLabV3 | 513×513 | 22–28 | Среднее |
| EfficientPS-lite | 640×360 | 18–24 | Хорошее |
| YOLOv8n-seg | 640×640 | 20–30 | Хорошее |
| Segment Anything (SAM-mobile) | 1024×1024 | 3–5 | Отличное |
YOLOv8n-seg лучше MobileNetV3 в 2 раза по качеству при схожей скорости. SAM — только для интерактивной сегментации, для реального времени не годится.
Почему производительность критична?
Мобильные GPU ограничены в тепловыделении и энергопотреблении. Наивная реализация быстро приводит к перегреву и падению FPS. Оптимизация начинается с выбора модели: лёгкие архитектуры (MobileNetV3, YOLOv8n-seg) дают 20–30 FPS на современных чипах, но требуют грамотного пайплайна. Согласно документации Core ML, правильная настройка Metal рендера снижает нагрузку на CPU на 40%.
Как мы оптимизируем iOS пайплайн?
class RealtimeSegmentationProcessor { private let model: VNCoreMLModel private let processQueue = DispatchQueue(label: "segmentation.process", qos: .userInteractive) // Frame skipping: обрабатываем каждый N-й кадр private var frameCounter = 0 private let processEveryNFrames = 2 // 30fps камера → 15fps обработка func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) { frameCounter += 1 guard frameCounter % processEveryNFrames == 0 else { return } guard let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else { return } processQueue.async { [weak self] in self?.runSegmentation(on: pixelBuffer) } } private func runSegmentation(on pixelBuffer: CVPixelBuffer) { let request = VNCoreMLRequest(model: model) { [weak self] req, _ in guard let observation = req.results?.first as? VNCoreMLFeatureValueObservation, let maskArray = observation.featureValue.multiArrayValue else { return } let mask = self?.processMask(maskArray) DispatchQueue.main.async { self?.delegate?.didUpdateSegmentationMask(mask) } } // Важно: pixelBuffer должен быть в правильном формате request.imageCropAndScaleOption = .scaleFill let handler = VNImageRequestHandler(cvPixelBuffer: pixelBuffer, orientation: .right) // landscape orientation try? handler.perform([request]) } private func processMask(_ array: MLMultiArray) -> SegmentationMask { // Конвертация MLMultiArray → CVPixelBuffer для рендера // Shape: [numClasses, height, width] let numClasses = array.shape[0].intValue let height = array.shape[1].intValue let width = array.shape[2].intValue // Argmax по классам для каждого пикселя → label map var labelMap = [UInt8](repeating: 0, count: height * width) for y in 0..<height { for x in 0..<width { var maxClass = 0 var maxVal: Float = -Float.infinity for c in 0..<numClasses { let val = array[[c, y, x] as [NSNumber]].floatValue if val > maxVal { maxVal = val; maxClass = c } } labelMap[y * width + x] = UInt8(maxClass) } } return SegmentationMask(labels: labelMap, width: width, height: height, classColors: Self.classColorMap) } } Что такое Metal рендер маски?
Наивный подход — рисовать маску в CPU loop — даёт 3–5 FPS на рендере. Правильно — Metal / OpenGL ES. Metal шейдер накладывает маску на GPU без участия CPU, что обеспечивает стабильные 30 FPS даже на iPhone 11.
// Metal шейдер для наложения маски на видео // Входы: videoTexture (YCbCr), maskTexture (label map), colorLUT (класс→цвет) fragment float4 segmentationOverlay( VertexOut in [[stage_in]], texture2d<float> videoTexture [[texture(0)]], texture2d<uint> maskTexture [[texture(1)]], texture1d<float> colorLUT [[texture(2)]], constant OverlayParams& params [[buffer(0)]] ) { float2 uv = in.texCoords; float4 videoColor = videoTexture.sample(sampler, uv); uint classLabel = maskTexture.sample(nearestSampler, uv).r; if (classLabel == 0) { return videoColor; } // фон — без изменений float4 maskColor = colorLUT.sample(sampler, float(classLabel) / float(params.numClasses)); return mix(videoColor, maskColor, params.overlayAlpha); // blending } | Платформа | Механизм рендера | FPS (на устройствах среднего сегмента) |
|---|---|---|
| iOS (Metal) | GPU compute + shader | 28–30 |
| Android (MediaPipe+OpenGL) | GPU delegate + overlay | 25–30 |
Замена фона на Android: MediaPipe
Для видеозвонков популярна бинарная сегментация (человек / фон). Мы используем MediaPipe Selfie Segmentation — готовое решение, оптимизированное именно для этого:
// Android: MediaPipe Selfie Segmentation val options = ImageSegmenterOptions.builder() .setBaseOptions(BaseOptions.builder() .setModelAssetPath("selfie_segmentation.tflite") .setDelegate(Delegate.GPU) .build()) .setRunningMode(RunningMode.LIVE_STREAM) .setResultListener { result, _ -> val confidenceMask = result.confidenceMasks?.get(0) updateBackground(confidenceMask) } .build() val segmenter = ImageSegmenter.createFromOptions(context, options) Delegate.GPU принципиально: на CPU тот же MediaPipe даёт 8–12 FPS, на GPU — 25–30 FPS.
Процесс работы: от идеи к продакшену
- Анализ задачи — определяем классы объектов, target-устройства, требования к FPS.
- Выбор модели — тестируем 3–5 моделей на реальных девайсах, замеряем скорость и mIoU.
- Оптимизация пайплайна — настройка frame skipping, Metal рендер, TFLite GPU delegate.
- Интеграция — встраиваем в приложение, обработка ошибок (переход на CPU при троттлинге).
- QA и деплой — нагрузочное тестирование, App Store / Google Play релиз.
Что входит в работу
- Подбор и калибровка модели под ваши данные.
- Реализация пайплайна захвата и обработки кадров.
- GPU-рендер маски (Metal на iOS, OpenGL/Vulkan на Android).
- Документация по интеграции и сопровождение.
- Поддержка в течение 30 дней после релиза.
Сроки и стоимость
Базовая сегментация одного класса (например, человек) с готовой моделью — от 1 недели. Кастомная мультиклассовая сегментация с Metal/GPU рендером и поддержкой iOS + Android — от 2 до 4 недель. Стоимость рассчитывается индивидуально после оценки вашего проекта.
У нас за плечами 5 лет опыта в мобильной разработке и более 50 проектов с AI на борту. Мы гарантируем стабильные 30 FPS на устройствах не старше iPhone XR и Samsung S10. Свяжитесь с нами для технической консультации и точного расчёта. Закажите пилотный проект, чтобы оценить качество на реальных данных.