Реализация AI-сегментации видеопотока в реальном времени в мобильном приложении
Представьте: видеозвонок с размытым фоном, но вместо плавной картинки — тормоза и артефакты. Или приложение дополненной реальности, которое не успевает за движениями пользователя. Это типичные последствия плохой оптимизации AI-сегментации. Мы часто сталкиваемся с запросами на real-time видеосегментацию. Это когда приложение понимает, что в кадре: человек, фон, машина, дорога, и делает это на каждом кадре с частотой 15–30 FPS. Сделать «работает на демо» несложно. Сделать «не греется, не лагает, работает на iPhone XR» — требует серьёзной работы с оптимизацией. Правильный выбор модели и грамотный пайплайн обработки — ключевые факторы успешного проекта.
Как выбрать модель для сегментации?
Семантическая сегментация — каждый пиксель относится к классу (фон, человек, автомобиль). Применение: замена фона на видеозвонках, AR-эффекты, анализ дорожной обстановки. Instance сегментация — отдельная маска на каждый объект одного класса (три машины — три маски). Применение: подсчёт объектов, трекинг. Panoptic сегментация — комбинация. Тяжелее, на мобильных используется редко.
| Модель | Разрешение | FPS (CoreML) | Качество |
|---|---|---|---|
| MobileNetV3-DeepLabV3 | 513×513 | 22–28 | Среднее |
| EfficientPS-lite | 640×360 | 18–24 | Хорошее |
| YOLOv8n-seg | 640×640 | 20–30 | Хорошее |
| Segment Anything (SAM-mobile) | 1024×1024 | 3–5 | Отличное |
YOLOv8n-seg лучше MobileNetV3 в 2 раза по качеству при схожей скорости. SAM — только для интерактивной сегментации, для реального времени не годится.
Почему производительность критична?
Мобильные GPU ограничены в тепловыделении и энергопотреблении. Наивная реализация быстро приводит к перегреву и падению FPS. Оптимизация начинается с выбора модели: лёгкие архитектуры (MobileNetV3, YOLOv8n-seg) дают 20–30 FPS на современных чипах, но требуют грамотного пайплайна. Согласно документации Core ML, правильная настройка Metal рендера снижает нагрузку на CPU на 40%.
Как мы оптимизируем iOS пайплайн?
class RealtimeSegmentationProcessor {
private let model: VNCoreMLModel
private let processQueue = DispatchQueue(label: "segmentation.process", qos: .userInteractive)
// Frame skipping: обрабатываем каждый N-й кадр
private var frameCounter = 0
private let processEveryNFrames = 2 // 30fps камера → 15fps обработка
func captureOutput(_ output: AVCaptureOutput,
didOutput sampleBuffer: CMSampleBuffer,
from connection: AVCaptureConnection) {
frameCounter += 1
guard frameCounter % processEveryNFrames == 0 else { return }
guard let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else { return }
processQueue.async { [weak self] in
self?.runSegmentation(on: pixelBuffer)
}
}
private func runSegmentation(on pixelBuffer: CVPixelBuffer) {
let request = VNCoreMLRequest(model: model) { [weak self] req, _ in
guard let observation = req.results?.first as? VNCoreMLFeatureValueObservation,
let maskArray = observation.featureValue.multiArrayValue else { return }
let mask = self?.processMask(maskArray)
DispatchQueue.main.async {
self?.delegate?.didUpdateSegmentationMask(mask)
}
}
// Важно: pixelBuffer должен быть в правильном формате
request.imageCropAndScaleOption = .scaleFill
let handler = VNImageRequestHandler(cvPixelBuffer: pixelBuffer,
orientation: .right) // landscape orientation
try? handler.perform([request])
}
private func processMask(_ array: MLMultiArray) -> SegmentationMask {
// Конвертация MLMultiArray → CVPixelBuffer для рендера
// Shape: [numClasses, height, width]
let numClasses = array.shape[0].intValue
let height = array.shape[1].intValue
let width = array.shape[2].intValue
// Argmax по классам для каждого пикселя → label map
var labelMap = [UInt8](repeating: 0, count: height * width)
for y in 0..<height {
for x in 0..<width {
var maxClass = 0
var maxVal: Float = -Float.infinity
for c in 0..<numClasses {
let val = array[[c, y, x] as [NSNumber]].floatValue
if val > maxVal { maxVal = val; maxClass = c }
}
labelMap[y * width + x] = UInt8(maxClass)
}
}
return SegmentationMask(labels: labelMap, width: width, height: height,
classColors: Self.classColorMap)
}
}
Что такое Metal рендер маски?
Наивный подход — рисовать маску в CPU loop — даёт 3–5 FPS на рендере. Правильно — Metal / OpenGL ES. Metal шейдер накладывает маску на GPU без участия CPU, что обеспечивает стабильные 30 FPS даже на iPhone 11.
// Metal шейдер для наложения маски на видео
// Входы: videoTexture (YCbCr), maskTexture (label map), colorLUT (класс→цвет)
fragment float4 segmentationOverlay(
VertexOut in [[stage_in]],
texture2d<float> videoTexture [[texture(0)]],
texture2d<uint> maskTexture [[texture(1)]],
texture1d<float> colorLUT [[texture(2)]],
constant OverlayParams& params [[buffer(0)]]
) {
float2 uv = in.texCoords;
float4 videoColor = videoTexture.sample(sampler, uv);
uint classLabel = maskTexture.sample(nearestSampler, uv).r;
if (classLabel == 0) { return videoColor; } // фон — без изменений
float4 maskColor = colorLUT.sample(sampler, float(classLabel) / float(params.numClasses));
return mix(videoColor, maskColor, params.overlayAlpha); // blending
}
| Платформа | Механизм рендера | FPS (на устройствах среднего сегмента) |
|---|---|---|
| iOS (Metal) | GPU compute + shader | 28–30 |
| Android (MediaPipe+OpenGL) | GPU delegate + overlay | 25–30 |
Замена фона на Android: MediaPipe
Для видеозвонков популярна бинарная сегментация (человек / фон). Мы используем MediaPipe Selfie Segmentation — готовое решение, оптимизированное именно для этого:
// Android: MediaPipe Selfie Segmentation
val options = ImageSegmenterOptions.builder()
.setBaseOptions(BaseOptions.builder()
.setModelAssetPath("selfie_segmentation.tflite")
.setDelegate(Delegate.GPU)
.build())
.setRunningMode(RunningMode.LIVE_STREAM)
.setResultListener { result, _ ->
val confidenceMask = result.confidenceMasks?.get(0)
updateBackground(confidenceMask)
}
.build()
val segmenter = ImageSegmenter.createFromOptions(context, options)
Delegate.GPU принципиально: на CPU тот же MediaPipe даёт 8–12 FPS, на GPU — 25–30 FPS.
Процесс работы: от идеи к продакшену
- Анализ задачи — определяем классы объектов, target-устройства, требования к FPS.
- Выбор модели — тестируем 3–5 моделей на реальных девайсах, замеряем скорость и mIoU.
- Оптимизация пайплайна — настройка frame skipping, Metal рендер, TFLite GPU delegate.
- Интеграция — встраиваем в приложение, обработка ошибок (переход на CPU при троттлинге).
- QA и деплой — нагрузочное тестирование, App Store / Google Play релиз.
Что входит в работу
- Подбор и калибровка модели под ваши данные.
- Реализация пайплайна захвата и обработки кадров.
- GPU-рендер маски (Metal на iOS, OpenGL/Vulkan на Android).
- Документация по интеграции и сопровождение.
- Поддержка в течение 30 дней после релиза.
Сроки и стоимость
Базовая сегментация одного класса (например, человек) с готовой моделью — от 1 недели. Кастомная мультиклассовая сегментация с Metal/GPU рендером и поддержкой iOS + Android — от 2 до 4 недель. Стоимость рассчитывается индивидуально после оценки вашего проекта.
У нас за плечами 5 лет опыта в мобильной разработке и более 50 проектов с AI на борту. Мы гарантируем стабильные 30 FPS на устройствах не старше iPhone XR и Samsung S10. Свяжитесь с нами для технической консультации и точного расчёта. Закажите пилотный проект, чтобы оценить качество на реальных данных.