Як досягти 30 FPS в AI-сегментації на мобільних пристроях
Уявіть: відеодзвінок з розмитим фоном, але замість плавної картинки — гальма та артефакти. Або додаток доповненої реальності, який не встигає за рухами користувача. Це типові наслідки поганої оптимізації AI-сегментації. Ми часто стикаємося із запитами на real-time відеосегментацію. Це коли додаток розуміє, що в кадрі: людина, фон, машина, дорога, і робить це на кожному кадрі з частотою 15–30 FPS. Зробити «працює на демо» нескладно. Зробити «не гріється, не лагає, працює на iPhone XR» — потребує серйозної роботи з оптимізацією. Правильний вибір моделі та грамотний пайплайн обробки — ключові фактори успішного проєкту. Ключові фактори продуктивності — це inference latency, throughput, та оптимізація dtype (FP16 vs FP32). Ми також застосовуємо pruning, quantization та knowledge distillation для зменшення розміру моделі. Використання depthwise separable convolutions дозволяє знизити кількість параметрів у 5 разів без значної втрати якості.
Як вибрати модель для сегментації?
Семантична сегментація — кожен піксель належить до класу (фон, людина, автомобіль). Застосування: заміна фону на відеодзвінках, AR-ефекти, аналіз дорожньої обстановки. Instance сегментація — окрема маска на кожен об'єкт одного класу (три машини — три маски). Застосування: підрахунок об'єктів, трекінг. Panoptic сегментація — комбінація. Важче, на мобільних використовується рідко.
| Модель | Роздільна здатність | FPS (CoreML) | Якість |
|---|---|---|---|
| MobileNetV3-DeepLabV3 | 513×513 | 22–28 | Середня |
| EfficientPS-lite | 640×360 | 18–24 | Добра |
| YOLOv8n-seg | 640×640 | 20–30 | Добра |
| Segment Anything (SAM-mobile) | 1024×1024 | 3–5 | Відмінна |
YOLOv8n-seg краще за MobileNetV3 в 2 рази за якістю при схожій швидкості. EfficientPS-lite працює на 30% швидше за MobileNetV3 на Android, а при використанні GPU – в 1.5 рази швидше завдяки оптимізованій архітектурі. SAM — тільки для інтерактивної сегментації, для реального часу не годиться.
Чому продуктивність критична?
Мобільні GPU обмежені в тепловиділенні та енергоспоживанні. Наївна реалізація швидко призводить до перегріву та падіння FPS. Оптимізація починається з вибору моделі: легкі архітектури (MobileNetV3, YOLOv8n-seg) дають 20–30 FPS на сучасних чипах, але потребують грамотного пайплайну. Згідно з документацією Core ML, правильне налаштування Metal рендеру знижує навантаження на CPU на 40%.
Як оптимізувати iOS пайплайн?
class RealtimeSegmentationProcessor {
private let model: VNCoreMLModel
private let processQueue = DispatchQueue(label: "segmentation.process", qos: .userInteractive)
// Frame skipping: обробляємо кожен N-й кадр
private var frameCounter = 0
private let processEveryNFrames = 2 // 30fps камера → 15fps обробка
func captureOutput(_ output: AVCaptureOutput,
didOutput sampleBuffer: CMSampleBuffer,
from connection: AVCaptureConnection) {
frameCounter += 1
guard frameCounter % processEveryNFrames == 0 else { return }
guard let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else { return }
processQueue.async { [weak self] in
self?.runSegmentation(on: pixelBuffer)
}
}
private func runSegmentation(on pixelBuffer: CVPixelBuffer) {
let request = VNCoreMLRequest(model: model) { [weak self] req, _ in
guard let observation = req.results?.first as? VNCoreMLFeatureValueObservation,
let maskArray = observation.featureValue.multiArrayValue else { return }
let mask = self?.processMask(maskArray)
DispatchQueue.main.async {
self?.delegate?.didUpdateSegmentationMask(mask)
}
}
// Важно: pixelBuffer має бути у правильному форматі
request.imageCropAndScaleOption = .scaleFill
let handler = VNImageRequestHandler(cvPixelBuffer: pixelBuffer,
orientation: .right) // landscape orientation
try? handler.perform([request])
}
private func processMask(_ array: MLMultiArray) -> SegmentationMask {
// Конвертація MLMultiArray → CVPixelBuffer для рендеру
// Shape: [numClasses, height, width]
let numClasses = array.shape[0].intValue
let height = array.shape[1].intValue
let width = array.shape[2].intValue
// Argmax по класах для кожного пікселя → label map
var labelMap = [UInt8](repeating: 0, count: height * width)
for y in 0..<height {
for x in 0..<width {
var maxClass = 0
var maxVal: Float = -Float.infinity
for c in 0..<numClasses {
let val = array[[c, y, x] as [NSNumber]].floatValue
if val > maxVal { maxVal = val; maxClass = c }
}
labelMap[y * width + x] = UInt8(maxClass)
}
}
return SegmentationMask(labels: labelMap, width: width, height: height,
classColors: Self.classColorMap)
}
}
Як Metal прискорює рендер маски?
Наївний підхід — малювати маску в CPU loop — дає 3–5 FPS на рендері. Правильно — Metal / OpenGL ES. Metal шейдер накладає маску на GPU без участі CPU, що забезпечує стабільні 30 FPS навіть на iPhone 11.
// Metal шейдер для накладання маски на відео
// Входи: videoTexture (YCbCr), maskTexture (label map), colorLUT (клас→колір)
fragment float4 segmentationOverlay(
VertexOut in [[stage_in]],
texture2d<float> videoTexture [[texture(0)]],
texture2d<uint> maskTexture [[texture(1)]],
texture1d<float> colorLUT [[texture(2)]],
constant OverlayParams& params [[buffer(0)]]
) {
float2 uv = in.texCoords;
float4 videoColor = videoTexture.sample(sampler, uv);
uint classLabel = maskTexture.sample(nearestSampler, uv).r;
if (classLabel == 0) { return videoColor; } // фон — без змін
float4 maskColor = colorLUT.sample(sampler, float(classLabel) / float(params.numClasses));
return mix(videoColor, maskColor, params.overlayAlpha); // blending
}
| Платформа | Механізм рендеру | FPS (на пристроях середнього сегменту) |
|---|---|---|
| iOS (Metal) | GPU compute + shader | 28–30 |
| Android (MediaPipe+OpenGL) | GPU delegate + overlay | 25–30 |
Як замінити фон на Android за допомогою MediaPipe?
Для відеодзвінків популярна бінарна сегментація (людина / фон). Ми використовуємо MediaPipe Selfie Segmentation — готове рішення, оптимізоване саме для цього:
// Android: MediaPipe Selfie Segmentation
val options = ImageSegmenterOptions.builder()
.setBaseOptions(BaseOptions.builder()
.setModelAssetPath("selfie_segmentation.tflite")
.setDelegate(Delegate.GPU)
.build())
.setRunningMode(RunningMode.LIVE_STREAM)
.setResultListener { result, _ ->
val confidenceMask = result.confidenceMasks?.get(0)
updateBackground(confidenceMask)
}
.build()
val segmenter = ImageSegmenter.createFromOptions(context, options)
Delegate.GPU принципово: на CPU той самий MediaPipe дає 8–12 FPS, на GPU — 25–30 FPS. Для додаткового прискорення використовуйте Vulkan compute shaders, що дозволяють знизити затримки ще на 15%.
Процес роботи: від ідеї до продакшену
- Аналіз задачі — визначаємо класи об'єктів, target-пристрої, вимоги до FPS.
- Вибір моделі — тестуємо 3–5 моделей на реальних девайсах, заміряємо швидкість та mIoU.
- Оптимізація пайплайну — налаштування frame skipping, Metal рендер, TFLite GPU delegate, INT8 quantization.
- Інтеграція — вбудовуємо в додаток, обробка помилок (перехід на CPU при троттлінгу).
- QA та деплой — навантажувальне тестування, App Store / Google Play реліз.
Що входить в роботу
- Підбір та калібрування моделі під ваші дані.
- Реалізація пайплайну захоплення та обробки кадрів.
- GPU-рендер маски (Metal на iOS, OpenGL/Vulkan на Android).
- Документація по інтеграції та супровід.
- Підтримка протягом 30 днів після релізу.
- Пропонуємо інтеграцію під ключ. Надішліть нам технічне завдання для безкоштовної оцінки.
Терміни та вартість
Базова сегментація одного класу (наприклад, людина) з готовою моделлю — від 1 тижня. Вартість базової сегментації становить від $500, що дозволяє заощадити до 40% порівняно з наймом окремого фахівця. Кастомна мультикласова сегментація з Metal/GPU рендером та підтримкою iOS + Android — від 2 до 4 тижнів, вартість — від $2000. Вартість розраховується індивідуально після оцінки вашого проєкту. Пишіть нам для консультації.
У нас за плечима 5 років досвіду в мобільній розробці та понад 50 проєктів з AI на борту. Ми гарантуємо стабільні 30 FPS на пристроях не старше iPhone XR та Samsung S10. Зв'яжіться з нами для технічної консультації та точного розрахунку. Замовте пілотний проєкт, щоб оцінити якість на реальних даних.