AI-сегментация видеопотока в реальном времени на мобильных

Реализация AI-сегментации видеопотока в реальном времени в мобильном приложении

Представьте: видеозвонок с размытым фоном, но вместо плавной картинки — тормоза и артефакты. Или приложение дополненной реальности, которое не успевает за движениями пользователя. Это типичные последствия плохой оптимизации AI-сегментации. Мы часто сталкиваемся с запросами на real-time видеосегментацию. Это когда приложение понимает, что в кадре: человек, фон, машина, дорога, и делает это на каждом кадре с частотой 15–30 FPS. Сделать «работает на демо» несложно. Сделать «не греется, не лагает, работает на iPhone XR» — требует серьёзной работы с оптимизацией. Правильный выбор модели и грамотный пайплайн обработки — ключевые факторы успешного проекта.

Как выбрать модель для сегментации?

Семантическая сегментация — каждый пиксель относится к классу (фон, человек, автомобиль). Применение: замена фона на видеозвонках, AR-эффекты, анализ дорожной обстановки. Instance сегментация — отдельная маска на каждый объект одного класса (три машины — три маски). Применение: подсчёт объектов, трекинг. Panoptic сегментация — комбинация. Тяжелее, на мобильных используется редко.

YOLOv8n-seg лучше MobileNetV3 в 2 раза по качеству при схожей скорости. SAM — только для интерактивной сегментации, для реального времени не годится.

Почему производительность критична?

Мобильные GPU ограничены в тепловыделении и энергопотреблении. Наивная реализация быстро приводит к перегреву и падению FPS. Оптимизация начинается с выбора модели: лёгкие архитектуры (MobileNetV3, YOLOv8n-seg) дают 20–30 FPS на современных чипах, но требуют грамотного пайплайна. Согласно документации Core ML, правильная настройка Metal рендера снижает нагрузку на CPU на 40%.

Как мы оптимизируем iOS пайплайн?

class RealtimeSegmentationProcessor {
    private let model: VNCoreMLModel
    private let processQueue = DispatchQueue(label: "segmentation.process", qos: .userInteractive)
    
    // Frame skipping: обрабатываем каждый N-й кадр
    private var frameCounter = 0
    private let processEveryNFrames = 2 // 30fps камера → 15fps обработка
    
    func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) {
        frameCounter += 1
        guard frameCounter % processEveryNFrames == 0 else { return }
        guard let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else { return }
        processQueue.async { [weak self] in
            self?.runSegmentation(on: pixelBuffer)
        }
    }
    
    private func runSegmentation(on pixelBuffer: CVPixelBuffer) {
        let request = VNCoreMLRequest(model: model) { [weak self] req, _ in
            guard let observation = req.results?.first as? VNCoreMLFeatureValueObservation,
                  let maskArray = observation.featureValue.multiArrayValue else { return }
            let mask = self?.processMask(maskArray)
            DispatchQueue.main.async {
                self?.delegate?.didUpdateSegmentationMask(mask)
            }
        }
        // Важно: pixelBuffer должен быть в правильном формате
        request.imageCropAndScaleOption = .scaleFill
        let handler = VNImageRequestHandler(cvPixelBuffer: pixelBuffer, orientation: .right) // landscape orientation
        try? handler.perform([request])
    }
    
    private func processMask(_ array: MLMultiArray) -> SegmentationMask {
        // Конвертация MLMultiArray → CVPixelBuffer для рендера
        // Shape: [numClasses, height, width]
        let numClasses = array.shape[0].intValue
        let height = array.shape[1].intValue
        let width = array.shape[2].intValue
        
        // Argmax по классам для каждого пикселя → label map
        var labelMap = [UInt8](repeating: 0, count: height * width)
        for y in 0..<height {
            for x in 0..<width {
                var maxClass = 0
                var maxVal: Float = -Float.infinity
                for c in 0..<numClasses {
                    let val = array[[c, y, x] as [NSNumber]].floatValue
                    if val > maxVal {
                        maxVal = val
                        maxClass = c
                    }
                }
                labelMap[y * width + x] = UInt8(maxClass)
            }
        }
        
        return SegmentationMask(labels: labelMap, width: width, height: height, classColors: Self.classColorMap)
    }
}

Что такое Metal рендер маски?

Наивный подход — рисовать маску в CPU loop — даёт 3–5 FPS на рендере. Правильно — Metal / OpenGL ES. Metal шейдер накладывает маску на GPU без участия CPU, что обеспечивает стабильные 30 FPS даже на iPhone 11.

// Metal шейдер для наложения маски на видео
// Входы: videoTexture (YCbCr), maskTexture (label map), colorLUT (класс→цвет)
fragment float4 segmentationOverlay(
    VertexOut in [[stage_in]],
    texture2d<float> videoTexture [[texture(0)]],
    texture2d<uint> maskTexture [[texture(1)]],
    texture1d<float> colorLUT [[texture(2)]],
    constant OverlayParams& params [[buffer(0)]]
) {
    float2 uv = in.texCoords;
    float4 videoColor = videoTexture.sample(sampler, uv);
    uint classLabel = maskTexture.sample(nearestSampler, uv).r;
    if (classLabel == 0) {
        return videoColor;
    } // фон — без изменений
    float4 maskColor = colorLUT.sample(sampler, float(classLabel) / float(params.numClasses));
    return mix(videoColor, maskColor, params.overlayAlpha); // blending
}

Замена фона на Android: MediaPipe

Для видеозвонков популярна бинарная сегментация (человек / фон). Мы используем MediaPipe Selfie Segmentation — готовое решение, оптимизированное именно для этого:

// Android: MediaPipe Selfie Segmentation
val options = ImageSegmenterOptions.builder()
    .setBaseOptions(
        BaseOptions.builder()
            .setModelAssetPath("selfie_segmentation.tflite")
            .setDelegate(Delegate.GPU)
            .build()
    )
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setResultListener { result, _ ->
        val confidenceMask = result.confidenceMasks?.get(0)
        updateBackground(confidenceMask)
    }
    .build()
val segmenter = ImageSegmenter.createFromOptions(context, options)

Delegate.GPU принципиально: на CPU тот же MediaPipe даёт 8–12 FPS, на GPU — 25–30 FPS.

Процесс работы: от идеи к продакшену

1. Анализ задачи — определяем классы объектов, target-устройства, требования к FPS.
2. Выбор модели — тестируем 3–5 моделей на реальных девайсах, замеряем скорость и mIoU.
3. Оптимизация пайплайна — настройка frame skipping, Metal рендер, TFLite GPU delegate.
4. Интеграция — встраиваем в приложение, обработка ошибок (переход на CPU при троттлинге).
5. QA и деплой — нагрузочное тестирование, App Store / Google Play релиз.

Что входит в работу

• Подбор и калибровка модели под ваши данные.
• Реализация пайплайна захвата и обработки кадров.
• GPU-рендер маски (Metal на iOS, OpenGL/Vulkan на Android).
• Документация по интеграции и сопровождение.
• Поддержка в течение 30 дней после релиза.

Сроки и стоимость

Базовая сегментация одного класса (например, человек) с готовой моделью — от 1 недели. Кастомная мультиклассовая сегментация с Metal/GPU рендером и поддержкой iOS + Android — от 2 до 4 недель. Стоимость рассчитывается индивидуально после оценки вашего проекта.

У нас за плечами 5 лет опыта в мобильной разработке и более 50 проектов с AI на борту. Мы гарантируем стабильные 30 FPS на устройствах не старше iPhone XR и Samsung S10. Свяжитесь с нами для технической консультации и точного расчёта. Закажите пилотный проект, чтобы оценить качество на реальных данных.