AI анімація фотографій у мобільних додатках
«Оживити» статичну фотографію—синтезувати рух де його немає. Очі, що морначать. Голова, що чуть повертається. Волосся, що шевелиться від вітру. Це задача для generative моделей, та реалізувати її повністю на пристрої у 2024—ще нетривіально.
Два архітектурні підходи
Серверний інференц—модель на бекенді. Додаток завантажує фото, отримує відео. Простіше розгортати, немає обмежень розміру моделі, можна використовувати SadTalker, LivePortrait чи AnimateDiff. Недолік—потрібен інтернет, 3–15 секунд затримки, вартість GPU часу.
On-device—легші спеціалізовані моделі. Face Reenactment через landmark-based warping (First Order Motion Model мобільна версія), або проста анімація через optical flow. Офлайн, але нижча якість.
Більшість реалізацій вибирають гібрид: на пристрої—швидкий превью (низька якість), на сервері—фінальний результат.
On-device: лицева анімація через ключові точки
Легкий підхід без generative мережі: використовуємо MediaPipe Face Mesh (468 точок обличчя) для побудови mesh, потім деформуємо вихідне зображення по заданій траєкторії руху.
// MediaPipe FaceLandmarker на iOS
let options = FaceLandmarkerOptions()
options.baseOptions.modelAssetPath = Bundle.main.path(forResource: "face_landmarker", ofType: "task")!
options.numFaces = 1
options.minFaceDetectionConfidence = 0.5
let faceLandmarker = try FaceLandmarker(options: options)
let result = try faceLandmarker.detect(image: .init(uiImage: sourcePhoto))
// landmarks.first?.faceLandmarks—468 точок [NormalizedLandmark]
// Будуємо деформацію через TPS (Thin Plate Spline) або affine warp
Анімація—по заранее записаній траєкторії руху голови (mocap дані) або синтетична: синусоїдальні коливання ключових точок з різними амплітудами. Рендеринг деформованого зображення через Metal Performance Shaders—кілька мілісекунд на кадр.
Результат—3–5 секунд анімації, експортується в .mp4 через AVAssetWriter. Якість достатня для «живого портрету», але артефакти на краях обличчя та фоні неминучі без повноцінного GAN.
First Order Motion Model (FOMM): мобільна версія
FOMM генерирує рух на основі одного driving відео (донора) та source image. На мобілі запускається через TFLite або ONNX Runtime, але модель після оптимізації—40–80 МБ. На iPhone 12+ інференц одного кадру 256×256—близько 200–400 мс. Для 30-кадрової анімації (1 секунда)—6–12 секунд обробки. Одноразова генерація, не real-time.
// Android: ONNX Runtime з FOMM
val session = OrtEnvironment.getEnvironment().createSession("fomm_optimized.onnx")
// Входи моделі: source frame (1, 3, 256, 256) + driving frame (1, 3, 256, 256) + keypoints
val sourceInput = OnnxTensor.createTensor(env, sourceArray, longArrayOf(1, 3, 256, 256))
val drivingInput = OnnxTensor.createTensor(env, drivingArray, longArrayOf(1, 3, 256, 256))
val result = session.run(mapOf("source" to sourceInput, "driving" to drivingInput))
// Результат: деформований source з застосованим рухом
Цикл по driving-кадрам (заранее записаний motion clip): отримуємо послідовність вихідних кадрів, складаємо у відео.
Серверний варіант: SadTalker та LivePortrait
Для якісної анімації обличчя з аудіо (говорива голова)—SadTalker: приймає фото + аудіодорожку, генерирує відео де обличчя говорить у синхронізації з мовленням. На сервері з A100—30–60 секунд на хвилину відео. Додаток завантажує фото та аудіо, отримує mp4.
LivePortrait (2024)—швидший та якіснший варіант, 128 мс на кадр на A100. API обгортка через FastAPI або Replicate.
// Завантаження фото на сервер для анімації
func uploadPhotoForAnimation(image: UIImage, audio: URL?) async throws -> URL {
var request = URLRequest(url: URL(string: "https://api.example.com/animate")!)
request.httpMethod = "POST"
// multipart/form-data: image + optional audio
let boundary = UUID().uuidString
let body = createMultipartBody(image: image, audio: audio, boundary: boundary)
request.httpBody = body
let (data, _) = try await URLSession.shared.data(for: request)
let response = try JSONDecoder().decode(AnimationResponse.self, from: data)
return response.videoURL
}
Polling статусу задачі або WebSocket для сповіщення про готовність—залежить від часу генерації.
Експорт та відтворення
Результат анімації—.mp4 (H.264 або H.265). На iOS відтворюється через AVPlayer, експортується в Photos через PHPhotoLibrary. Для зациклено анімації (Living Photo)—конвертуємо у .gif через CGImageDestination або LivePhoto формат через PHLivePhoto.
Apple Live Photo: потрібні й відео-файл (.mov) й фото-файл (.jpg) з однаковим kCGImagePropertyMakerAppleDictionary → 17 (identifier). Без цього системний додаток Photos не сприймає як LivePhoto.
Процес
Вибір архітектури (on-device vs сервер), підготовка моделі або API-інтеграція, реалізація UI з вибором «стилю» анімації, експорт та шеринг. Для серверного варіанту—черга задач, статус готовності, fallback при таймауті.
Кошторис за часом
On-device landmark-based анімація, одна платформа займає 3–4 тижні. Серверна інтеграція з SadTalker/LivePortrait + обидві платформи вимагають 4–7 тижнів.