Реализация AI-анимации статичных фотографий в мобильном приложении
«Оживить» статичную фотографию — значит синтезировать движение там, где его нет. Глаза, которые моргают. Голова, которая чуть поворачивается. Волосы, которые шевелятся от ветра. Это задача для generative моделей, и реализовать её полностью на устройстве в 2024 — ещё нетривиально.
Два архитектурных подхода
Серверный инференс — модель живёт на бэкенде. Приложение загружает фото, получает видео. Проще в деплое, нет ограничений по размеру модели, можно использовать SadTalker, LivePortrait или AnimateDiff. Минус — нужен интернет, задержка 3–15 секунд, стоимость GPU-времени.
On-device — более лёгкие специализированные модели. Face Reenactment через landmark-based warping (First Order Motion Model в мобильной версии), или простая анимация через optical flow. Работает офлайн, но качество ниже.
Большинство реализаций выбирают гибрид: на устройстве — быстрый preview (низкое качество), на сервере — финальный результат.
On-device: лицевая анимация через ключевые точки
Lightweight подход без нейросети на генерацию: используем MediaPipe Face Mesh (468 точек лица) для построения mesh, затем деформируем исходное изображение по заданной траектории движения.
// MediaPipe FaceLandmarker на iOS
let options = FaceLandmarkerOptions()
options.baseOptions.modelAssetPath = Bundle.main.path(forResource: "face_landmarker", ofType: "task")!
options.numFaces = 1
options.minFaceDetectionConfidence = 0.5
let faceLandmarker = try FaceLandmarker(options: options)
let result = try faceLandmarker.detect(image: .init(uiImage: sourcePhoto))
// landmarks.first?.faceLandmarks — 468 точек [NormalizedLandmark]
// Строим деформацию через TPS (Thin Plate Spline) или affine warp
Анимация — по заранее записанной траектории движения головы (мокап данные) или синтетическая: синусоидальные колебания ключевых точек с разными амплитудами. Рендеринг деформированного изображения через Metal Performance Shaders — несколько миллисекунд на кадр.
Результат — 3–5 секунд анимации, экспортируется в .mp4 через AVAssetWriter. Качество достаточное для «живого портрета», но артефакты на краях лица и фоне неизбежны без полноценного GAN.
First Order Motion Model (FOMM): мобильная версия
FOMM генерирует движение на основе одного driving видео (донора) и source image. На мобиле запускается через TFLite или ONNX Runtime, но модель после оптимизации — 40–80 МБ. На iPhone 12+ инференс одного кадра 256×256 — около 200–400 мс. Для 30-кадровой анимации (1 секунда) — 6–12 секунд обработки. Это разовая генерация, не real-time.
// Android: ONNX Runtime с FOMM
val session = OrtEnvironment.getEnvironment().createSession("fomm_optimized.onnx")
// Входы модели: source frame (1, 3, 256, 256) + driving frame (1, 3, 256, 256) + keypoints
val sourceInput = OnnxTensor.createTensor(env, sourceArray, longArrayOf(1, 3, 256, 256))
val drivingInput = OnnxTensor.createTensor(env, drivingArray, longArrayOf(1, 3, 256, 256))
val result = session.run(mapOf("source" to sourceInput, "driving" to drivingInput))
// Результат: деформированный source с применённым движением
Цикл по driving-кадрам (заранее записанный motion clip): получаем последовательность выходных кадров, собираем в видео.
Серверный вариант: SadTalker и LivePortrait
Для качественной анимации лица с аудио (говорящая голова) — SadTalker: принимает фото + аудиодорожку, генерирует видео где лицо говорит в синхронизации с речью. На сервере с A100 — 30–60 секунд на минуту видео. Приложение загружает фото и аудио, получает mp4.
LivePortrait (2024) — более быстрый и качественный вариант, 128 мс на кадр на A100. API-обёртка через FastAPI или Replicate.
// Загрузка фото на сервер
func uploadPhotoForAnimation(image: UIImage, audio: URL?) async throws -> URL {
var request = URLRequest(url: URL(string: "https://api.example.com/animate")!)
request.httpMethod = "POST"
// multipart/form-data: image + optional audio
let boundary = UUID().uuidString
let body = createMultipartBody(image: image, audio: audio, boundary: boundary)
request.httpBody = body
let (data, _) = try await URLSession.shared.data(for: request)
let response = try JSONDecoder().decode(AnimationResponse.self, from: data)
return response.videoURL
}
Polling статуса задачи или WebSocket для уведомления о готовности — зависит от времени генерации.
Экспорт и воспроизведение
Результат анимации — .mp4 (H.264 или H.265). На iOS воспроизводится через AVPlayer, экспортируется в Photos через PHPhotoLibrary. Для зацикленной анимации (Living Photo) — конвертируем в .gif через CGImageDestination или в LivePhoto формат через PHLivePhoto.
Apple Live Photo: нужны и видео-файл (.mov) и фото-файл (.jpg) с одинаковым kCGImagePropertyMakerAppleDictionary → 17 (identifier). Без этого системное приложение Photos не воспринимает файл как LivePhoto.
Процесс
Выбор архитектуры (on-device vs сервер), подготовка модели или API-интеграция, реализация UI с выбором «стиля» анимации, экспорт и шеринг. Для серверного варианта — очередь задач, статус готовности, fallback при таймауте.
Ориентиры по срокам
On-device landmark-based анимация, одна платформа — 3–4 недели. Серверная интеграция с SadTalker/LivePortrait + обе платформы — 4–7 недель.