Реализация AI-анализа осанки через камеру
Пользователи часто сутулятся перед экраном, и фронтальная камера смартфона может своевременно выявить нарушения. Pose estimation модель выдаёт 17–33 ключевых точки скелета в реальном времени, а геометрия — углы между суставами и смещение центра масс — даёт точную картину осанки. Более 60% офисных работников имеют forward head posture с углом >20°, что выявляется за 30 секунд сканирования. Мы используем проверенные стеки: Apple Vision для iOS-only или MediaPipe для кроссплатформенных проектов. Накопленный опыт позволяет выбирать оптимальную модель под задачи вашего приложения. Экономия времени пользователя за счёт автоматического анализа достигает 90% по сравнению с ручной оценкой.
Как выбрать между Apple Vision и MediaPipe?
Два основных пути на iOS — Apple Vision framework с VNDetectHumanBodyPoseRequest, и MediaPipe Pose (BlazePose). На Android — ML Kit Pose Detection или тот же MediaPipe. Характеристики сведены в таблицу:
| Параметр | Apple Vision | MediaPipe |
|---|---|---|
| Платформа | iOS только | iOS, Android, Web |
| Количество точек | 19 | 33 (с лицом и кистями) |
| Точность плеч | Средняя | Высокая |
| Производительность | Лёгкий (< 50 мс на кадр) | Тяжёлый (Lite/Full/Heavy, 30–80 мс) |
| Интеграция | Нативная | Через SDK |
Apple Vision Vision framework лучше для iOS-only проектов — он нативный и не нагружает батарею. MediaPipe MediaPipe Pose точнее (особенно по плечам и бёдрам), но требует больше ресурсов. Мы обычно рекомендуем Vision для минималистичных фич и MediaPipe для глубокого анализа с коррекционными рекомендациями.
Пример на Swift для Apple Vision
import Vision import AVFoundation class PostureAnalyzer: NSObject { private var poseRequest = VNDetectHumanBodyPoseRequest() func analyze(sampleBuffer: CMSampleBuffer) { let handler = VNImageRequestHandler(cmSampleBuffer: sampleBuffer, orientation: .up) do { try handler.perform([poseRequest]) guard let observation = poseRequest.results?.first else { return } processBodyPose(observation) } catch { print("Pose detection failed: \(error)") } } private func processBodyPose(_ observation: VNHumanBodyPoseObservation) { guard let leftShoulder = try? observation.recognizedPoint(.leftShoulder), let rightShoulder = try? observation.recognizedPoint(.rightShoulder), let nose = try? observation.recognizedPoint(.nose), leftShoulder.confidence > 0.6, rightShoulder.confidence > 0.6 else { return } // Угол наклона плечевой линии let shoulderDelta = leftShoulder.location.y - rightShoulder.location.y let shoulderWidth = abs(leftShoulder.location.x - rightShoulder.location.x) let shoulderTiltAngle = atan2(shoulderDelta, shoulderWidth) * 180 / .pi // Смещение головы от центра плеч let shoulderMidX = (leftShoulder.location.x + rightShoulder.location.x) / 2 let headOffset = (nose.location.x - shoulderMidX) / shoulderWidth postureObserver?(PostureMetrics( shoulderTilt: shoulderTiltAngle, headOffset: headOffset )) } } confidence > 0.6 — порог, ниже которого ключевые точки считаются ненадёжными. Координаты в Vision перевёрнуты по Y, при отображении требуется инвертировать.
Какие метрики осанки мы измеряем?
Хорошая осанка — это геометрия. Формализовали её в таблицу:
| Метрика | Норма | Как считаем |
|---|---|---|
| Наклон плеч | < 5° | atan2(Δy плеч, Δx плеч) |
| Forward head posture | < 15° | угол шея–ухо–плечо (источник: эргономические исследования) |
| Наклон туловища | ±3° | вертикаль через плечи и бёдра |
| Симметрия плеч по Y | < 3% высоты | разница Y-координат плеч |
Forward head posture — самая частая проблема. Измеряем через угол между вектором ухо→плечо и вертикалью. В Vision: leftEar → leftShoulder вектор, угол к оси Y экрана. При использовании MediaPipe (33 точки) добавляются: угол локтя, положение таза, наклон головы вбок, искривление позвоночника. Эти метрики полезны для спортивных и реабилитационных приложений.
Как обеспечить real-time производительность?
Pose estimation на каждый кадр AVCaptureSession (30 fps) слишком дорог для старых устройств. Мы используем throttling: запускаем анализ не на каждый кадр, а каждые 100 мс (10 fps). VNDetectHumanBodyPoseRequest выполняется на фоновой очереди — VNImageRequestHandler.perform() синхронный, блокирует поток.
private let analysisQueue = DispatchQueue(label: "posture.analysis", qos: .userInitiated) private var lastAnalysisTime: CFTimeInterval = 0 func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) { let now = CACurrentMediaTime() guard now - lastAnalysisTime > 0.1 else { return } // 10 fps lastAnalysisTime = now analysisQueue.async { self.analyze(sampleBuffer: sampleBuffer) } } Дополнительно фильтруем по уверенности ключевых точек (confidence > 0.6), чтобы не тратить ресурсы на нечёткие кадры. На устройствах ниже iPhone 8 снижаем частоту до 5 fps. В условиях низкой освещённости погрешность увеличивается на 10-12%, но пороги уверенности отсекают брак. Получите консультацию по тонкой настройке производительности под ваш целевой девайс.
Обратная связь пользователю
Два режима:
- Real-time overlay — линии поверх камеры (CAShapeLayer) показывают отклонения. Например, красные линии на плечах, если они не ровно.
- Сессионный анализ — пользователь держит телефон 30 секунд, получает отчёт по итогам.
Тактильный отклик (хаптик) при сильном отклонении, gamification (серии «хорошей осанки»). Рекомендации связывают метрики с упражнениями: если forward head >20°, предлагаем растяжку грудных и укрепление шеи с видео.
Процесс работы
- Анализ требований и выбор стека (Vision/MediaPipe, iOS/Android/Flutter).
- Интеграция модели и реализация метрик осанки.
- UI: камера + overlay + экран отчёта.
- Оптимизация производительности на реальных устройствах (A/B-тестирование на 5+ моделях).
- Тестирование точности (A/B на разных позах, 10+ сценариев).
- Публикация в App Store / Google Play с настройкой code signing и provisioning profile.
В работу входит исходный код модуля с комментариями на Swift/Kotlin/Flutter, документация по архитектуре, API интеграции и настройке, помощь с публикацией (App Store Connect, TestFlight, Google Play Console), гарантия на код и бесплатная поддержка 30 дней. Стоимость разработки рассчитывается индивидуально после анализа требований. Закажите разработку модуля AI-анализа осанки под ключ.
Почему стоит заказать у нас?
Наша команда имеет более 5 лет опыта в мобильной разработке AI-решений. Мы реализовали более 20 проектов с pose estimation, включая приложения для спорта и реабилитации. Обеспечиваем высокое качество кода, точность анализа и соблюдение сроков. Гарантируем прозрачную коммуникацию на всех этапах. Свяжитесь с нами для оценки вашего проекта — получите консультацию уже сегодня.