Реалізація AI-аналізу постави через камеру мобільного застосунку

AI-Аналіз осанки через камеру мобільного додатку

Фронтальна камера смартфону снімає користувача, модель pose estimation видає 17–33 ключові точки скелету в реальному часі. Дальше—геометрія: кути суглобів, смещение центра мас, нахил плечевої лінії. Це й є аналіз осанки.

Pose Estimation: вибір моделі

Два основних шляхи на iOS—Apple Vision framework з VNDetectHumanBodyPoseRequest, та MediaPipe Pose (BlazePose). На Android—ML Kit Pose Detection або той же MediaPipe.

Apple Vision—нативний вибір для iOS

import Vision
import AVFoundation

class PostureAnalyzer: NSObject {
    private var poseRequest = VNDetectHumanBodyPoseRequest()

    func analyze(sampleBuffer: CMSampleBuffer) {
        let handler = VNImageRequestHandler(cmSampleBuffer: sampleBuffer, orientation: .up)
        do {
            try handler.perform([poseRequest])
            guard let observation = poseRequest.results?.first else { return }
            processBodyPose(observation)
        } catch {
            print("Pose detection failed: \(error)")
        }
    }

    private func processBodyPose(_ observation: VNHumanBodyPoseObservation) {
        guard
            let leftShoulder = try? observation.recognizedPoint(.leftShoulder),
            let rightShoulder = try? observation.recognizedPoint(.rightShoulder),
            let nose = try? observation.recognizedPoint(.nose),
            leftShoulder.confidence > 0.6,
            rightShoulder.confidence > 0.6
        else { return }

        // Кут нахилу плечевої лінії
        let shoulderDelta = leftShoulder.location.y - rightShoulder.location.y
        let shoulderWidth = abs(leftShoulder.location.x - rightShoulder.location.x)
        let shoulderTiltAngle = atan2(shoulderDelta, shoulderWidth) * 180 / .pi

        // Смещение голови від центра плеч
        let shoulderMidX = (leftShoulder.location.x + rightShoulder.location.x) / 2
        let headOffset = (nose.location.x - shoulderMidX) / shoulderWidth

        postureObserver?(PostureMetrics(
            shoulderTilt: shoulderTiltAngle,
            headOffset: headOffset
        ))
    }
}

confidence > 0.6—фільтр впевненості ключевої точки. Нижче—ігноруємо, інакше модель "галлюцинує" точки за кадром.

VNDetectHumanBodyPoseRequest повертає 19 точок у нормалізованих координатах [0, 1]. Координаты у Vision перевернені по Y (0 = низ), а координаты UIView—0 = верх. При відображенні на екрані—інвертуйте Y.

MediaPipe Pose—кроссплатформеный варіант

MediaPipe BlazePose дає 33 landmark точки включаючи обличчя та кисті. Точніша за Vision по плечам та бедрам, але тяжча по ресурсам. На мобіле користуйте Lite або Full модель (Heavy—тільки для мощних пристроїв без обмежень батареї).

// iOS через MediaPipe Tasks SDK
import MediaPipeTasksVision

let poseLandmarker = try PoseLandmarker(options: {
    let options = PoseLandmarkerOptions()
    options.runningMode = .liveStream
    options.numPoses = 1
    options.minPoseDetectionConfidence = 0.5
    options.minPosePresenceConfidence = 0.5
    options.poseLandmarkerLiveStreamDelegate = self
    return options
}())

Метрики осанки: що вимірюємо

Гарна осанка—це геометрія, яку можна формалізувати:

Forward head posture—найчастіша проблема у користувачів за комп'ютером. Вимірюємо через кут між вектором ухо→плечо та вертикаллю. У Vision: leftEar → leftShoulder вектор, кут до осі Y екрану.

Real-time аналіз: продуктивність

Pose estimation на кожен кадр AVCaptureSession (30 fps)—занадто дорого на старих пристроях. Стратегії:

• Запускаємо аналіз не на кожен кадр, а через CMSampleBuffer.sampleBufferCallbackQueue з throttling: кожні 100ms (10 fps аналізу)
• VNDetectHumanBodyPoseRequest—виконуємо на фоновій черзі, не main thread. VNImageRequestHandler.perform()—синхронний, блокує потік

private let analysisQueue = DispatchQueue(label: "posture.analysis", qos: .userInitiated)
private var lastAnalysisTime: CFTimeInterval = 0

func captureOutput(_ output: AVCaptureOutput,
                   didOutput sampleBuffer: CMSampleBuffer,
                   from connection: AVCaptureConnection) {
    let now = CACurrentMediaTime()
    guard now - lastAnalysisTime > 0.1 else { return }  // 10 fps
    lastAnalysisTime = now

    analysisQueue.async {
        self.analyze(sampleBuffer: sampleBuffer)
    }
}

Обратна зв'язок користувачу

Два режими:

1. Real-time overlay—лінії поверх камери показують відхилення (червоні лінії = плечи не рівно). ARKit ARSCNView або просто CAShapeLayer поверх preview layer
2. Сесійний аналіз—користувач тримає телефон 30 секунд, отримує звіт

Звуковий / тактильний сигнал при відхиленні + таймер держання позы. Gamification: streak гарної осанки за день.

Для коррекционних рекомендацій—зв'язуємо метрики з конкретними вправами. Forward head > 20°: вправи на розтяжку грудних мишц та укріплення задніх мишц шиї—з ілюстраціями та відео.

Процес розробки

Вибір та інтеграція pose estimation (Vision vs MediaPipe за вимогами). Реалізація геометричних метрик осанки. Throttling та оптимізація продуктивності на реальних пристроях. UI: камера + overlay + звіт. Бібліотека корекційних рекомендацій.

Орієнтири за часом

Real-time аналіз з базовими метриками та overlay—1–2 тижні. Повноцінний додаток з історією сесій, персональними рекомендаціями та gamification—2–4 тижні.