Реализация AI-старения/омоложения лица в мобильном приложении
AI-эффекты старения и омоложения лица — одна из немногих фич, где on-device инференс реально конкурирует с серверным. Специализированные модели, такие как FRAN (Face Re-Aging Network) и SAM (Style-based Age Manipulation), имеют компактные дистиллированные версии, позволяющие обрабатывать изображение за миллисекунды прямо на смартфоне. FaceApp исторически строился именно на on-device инференсе, обеспечивая мгновенный отклик интерфейса. Мы используем этот подход в наших проектах, комбинируя FRAN с CoreML на iOS и TensorFlow Lite на Android. Наша команда имеет 5+ лет опыта в mobile AI-разработке и более 20 реализованных проектов с нейросетями на клиентских устройствах.
Почему on-device выгоднее серверной обработки для превью?
On-device инференс даёт ключевое преимущество — задержка менее 100 мс, что позволяет обновлять картинку в реальном времени при движении слайдера возраста. Серверные модели (SAM2, StyleGAN) обеспечивают лучшее качество, но время ответа 2–20 секунд. Оптимальный UX — гибрид: быстрый on-device preview и кнопка «Сохранить», запускающая серверную обработку в полном разрешении. Подробнее о гибридном подходе в конце статьи.
On-device: FRAN через CoreML
FRAN (Face Re-Aging Network от Netflix Research) — опенсорсная модель, обученная на синтетических данных. Принимает изображение лица + целевой возраст, возвращает стилизованный результат. Конвертированная в CoreML версия весит ~45 MB в FLOAT16.
import CoreML import Vision class FaceAgingProcessor { private let model: FRAN func process(faceImage: CGImage, targetAge: Int) async throws -> CGImage { // FRAN принимает нормализованное изображение 256x256 let resized = try resize(image: faceImage, to: CGSize(width: 256, height: 256)) let input = FRANInput( face_image: try MLMultiArray(from: resized), target_age: MLMultiArray([Float(targetAge) / 100.0]) // нормализуем 0..1 ) let output = try await model.prediction(input: input) return try cgImage(from: output.output_face) } } На iPhone 13+ с Neural Engine время инференса — 60–90 ms. Это позволяет делать live preview при перетаскивании слайдера возраста. На iPhone X (A11 Bionic) — около 200 ms, что ещё приемлемо для интерактивного слайдера при debounce 150ms.
Как alignment лица влияет на качество?
Качество результата FRAN критически зависит от точности alignment. Без него при наклоне головы более 15° появляются артефакты. Стандартный пайплайн:
-
VNDetectFaceLandmarksRequest— получаем 76 точек (iOS) или MediaPipe Face Mesh (468 точек) на Android - По 5 ключевым точкам (глаза, нос, углы рта) вычисляем аффинное преобразование
- Warp-трансформация через
vImage(iOS) или OpenCV на Android - После инференса — обратная трансформация + Poisson blending по маске лица
Poisson Blending на iOS
Стандартный CIBlendWithMask даёт жёсткую границу маски. Для плавного перехода — Poisson Image Editing. На iOS нет встроенного метода, поэтому либо Metal шейдер, либо вызов через Accelerate Framework с решением системы линейных уравнений. Второй вариант медленнее, но не требует написания GLSL.
Что выбрать: on-device или сервер?
| Параметр | On-device (FRAN) | Сервер (SAM2) |
|---|---|---|
| Время обработки | 60–200 ms | 2–20 сек |
| Качество | Хорошее, но артефакты при сильных ракурсах | Фотореалистичное, высокая детализация |
| Приватность | 100% на устройстве | Данные передаются на сервер, удаляются после обработки |
| Зависимость | Не нужен интернет | Требуется стабильное подключение |
Мы рекомендуем гибридный подход: on-device preview + серверный экспорт для финального изображения. Это сочетает скорость и качество без компромиссов.
Что входит в интеграцию?
- Выбор и оптимизация модели (FRAN, SAM или кастомная)
- Конвертация в CoreML / TensorFlow Lite с квантизацией
- Реализация пайплайна: детекция → alignment → инференс → blending
- UI-элемент: ползунок возраста, анимация перехода
- Серверная часть: эндпоинт для загрузки и скачивания
- Интеграция с Photo Library и системой sharing
- Документация по API и конфигурациям
- Помощь с публикацией в Store (App Store Review, Google Play)
Сроки и стоимость
On-device интеграция FRAN — 5–8 дней. Гибридный режим — 2–3 недели. Стоимость рассчитывается после уточнения требований — свяжитесь для оценки вашего проекта. Закажите консультацию — мы предложим оптимальное решение под ключ.
Privacy и App Store
Приложения с возрастными трансформациями проходили ревью без проблем — нет ограничений, аналогичных face swap. Но если фото загружается на сервер — обязательна Privacy Nutrition Label с Photos, usage App Functionality. Добавить NSPhotoLibraryUsageDescription и NSCameraUsageDescription с конкретным описанием. Исходные фото с сервера удаляем сразу после обработки.
Комбинация: on-device preview + серверный экспорт
Лучший UX: мгновенный on-device preview в 256×256 при движении слайдера, и кнопка «Сохранить» запускает серверную обработку в оригинальном разрешении. Пока сервер работает — показываем анимацию. Результат сохраняется в Camera Roll через PHPhotoLibrary. На Android: WorkManager для серверного запроса — он переживёт сворачивание приложения. Notification по завершении.
Пишите — оценим ваш проект и поможем выбрать оптимальный путь.