Покращення якості фотографій через AI у мобільних додатках
Фотографії з камери бюджетного смартфона або зроблені при поганому освітленні—шум, розмиття, втрата деталей. Фільтри на кшталт «яскравість +20, контраст +10» це не вирішують. AI апскейлинг та денойзинг відновлюють деталі, які класичний DSP просто не бачить.
Що насправді роблять моделі покращення
Денойзинг—видаляє шум матриці сенсора при високому ISO. Моделі типу DnCNN, FFDNet працюють на рівні патчів зображення, навчаються розрізняти «корисний» градієнт (текстура) від шуму.
Апскейлинг (Super Resolution)—Real-ESRGAN, ESRGAN, SRCNN відновлюють пікселі при збільшенні. Real-ESRGAN 4x перетворює 512×512 у 2048×2048, відновлюючи текстури волосся, тканини, текст. Не «розмазує» як bicubic, а синтезує деталі.
Експозиція/HDR корекція—моделі типу Zero-DCE або EnlightenGAN працюють зі слабоосвітленими снимками без введення артефактів пересвітлення.
На мобільному все три запускаються через якийсь ML рантайм—питання лише у тому, яку модель і у якому форматі.
Запуск Real-ESRGAN на iOS через Core ML
Real-ESRGAN x4 у оригіналі—16.7M параметрів, ~2 GB RAM при інференсі на повному дозволі. На мобільний не влізе без оптимізації. Рішення—плиткове розбиття: ріжемо зображення на перекриваючись патчи (tile_size=256, overlap=16), обробляємо послідовно, складаємо з feather-blending на стиках.
Конвертуємо PyTorch-модель у Core ML через coremltools:
import coremltools as ct
import torch
from realesrgan import RealESRGAN # pretrained model
model = RealESRGAN(device='cpu', scale=4)
model.load_weights('RealESRGAN_x4plus.pth')
model.model.eval()
example_input = torch.zeros(1, 3, 256, 256) # розмір плитки
traced = torch.jit.trace(model.model, example_input)
mlmodel = ct.convert(
traced,
inputs=[ct.ImageType(name="input", shape=(1, 3, 256, 256),
color_layout=ct.colorlayout.RGB)],
compute_precision=ct.precision.FLOAT16, # FP16 для ANE
minimum_deployment_target=ct.target.iOS16
)
mlmodel.save("RealESRGAN_x4_tile256.mlpackage")
FLOAT16 з цільовим iOS16+ означає, що Core ML перекладає обчислення на ANE (Apple Neural Engine). На iPhone 14 інференс однієї плитки 256×256—близько 80–120 мс. Фото 12 Мп (4032×3024) ріжеться на ~180 плиток, обробляються послідовно—всього 15–25 секунд. Нормально для одноразової обробки «покращити фото».
// Загрузи модель
let config = MLModelConfiguration()
config.computeUnits = .all // ANE + GPU + CPU
guard let model = try? RealESRGAN_x4_tile256(configuration: config) else { return }
// Інференц однієї плитки
let pixelBuffer = tileImage.toCVPixelBuffer()!
let output = try model.prediction(input: .init(input: pixelBuffer))
let enhancedTile = output.output.cgImage // складемо назад
Android: TFLite з ESRGAN
На Android—аналогічна схема через TensorFlow Lite. ESRGAN (спрощена мобільна версія) доступна як .tflite файл розміром 3–5 MB. Запускаємо через TFLite Interpreter з GpuDelegate:
val options = Interpreter.Options().apply {
addDelegate(GpuDelegate())
setNumThreads(4)
}
val interpreter = Interpreter(loadModelFile("esrgan_lite.tflite"), options)
val inputBuffer = ByteBuffer.allocateDirect(1 * 256 * 256 * 3 * 4) // FLOAT32
val outputBuffer = ByteBuffer.allocateDirect(1 * 1024 * 1024 * 3 * 4) // x4 вихід
interpreter.run(inputBuffer, outputBuffer)
GpuDelegate дає 3–5× прискорення проти CPU на більшості пристроїв з OpenGL ES 3.1+. На пристроях без GPU делегату (деякі старі MediaTek)—fallback на NNAPI або CPU з попередженням про час обробки.
Денойзинг: коли апскейлинг не потрібен
Для денойзингу без зміни дозволу—FFDNet або DRUNet. Легче (1–3 MB), швидше. На iOS зручно через VNGenerateImageFeaturePrintRequest + користувацька Core ML модель, або прямо через MLModel з CVPixelBuffer входом.
Одна реальна деталь: при конвертації у Core ML важливо нормалізувати вхідні дані (0–1 замість 0–255) та явно вказати це в preprocessing моделі, інакше модель видає чорний або засвічений результат—популярна помилка при першій конвертації.
UX: як показувати прогрес
Плиткова обробка зручна тим, що можна показувати прогрес-бар: «плитка N з M готова». Користувач бачить, що додаток працює. При послідовній обробці без UI оновлень на iOS спрацьовує watchdog—додаток здається зависшим і може бути примусово завершений.
Весь інференц—у фоновому потоці (DispatchQueue.global(.userInitiated) або Task.detached(priority: .userInitiated) для Swift Concurrency). Оновлення UI строго на головному потоці.
Процес
Аудит вимог: потрібен апскейлинг, денойзинг або все разом. Підбір моделі під цільові пристрої (мінімальна підтримувана CPU/GPU). Конвертація PyTorch/ONNX → Core ML/TFLite з вимірюванням швидкості на реальних пристроях. Реалізація плиткового інференцу з feather-blending. Інтеграція у UI з відстеженням прогресу.
Кошторис за часом
Одна платформа, базова модель (денойзинг або апскейлинг)—2–3 тижні. Обидві платформи з кількома моделями, налаштуванням якості, складним feather-blending—5–8 тижнів.