AI-инпейнтинг в мобильном приложении: от маски до результата

AI-инпейнтинг в мобильном приложении: от маски до результата

Вы сделали отличное фото на iPhone, но в кадр попал случайный прохожий. В приложении нужно стереть его за пару касаний — это задача для AI-инпейнтинга. Технически решение состоит из трёх этапов: создать маску, отправить изображение на API модели, применить результат. Каждый этап требует точного подхода, иначе получите артефакты или долгую загрузку. Разберём, как реализовать это на практическом уровне с кодом и конфигами.

Инпейнтинг — это технология замены области изображения на основе контекста. В мобильных приложениях мы используем облачные API (DALL·E 2, Stable Diffusion) для генерации контента. Но ключевая сложность — рисование маски на устройстве. От качества маски зависит 80% результата. Если маска неточная, модель заменит лишнее или оставит следы объекта. Поэтому первой задачей стоит реализация интуитивного инструмента рисования.

Почему качество маски определяет результат inpainting?

Маска — бинарное изображение, где белые пиксели обозначают область редактирования. Модель использует её как подсказку. Если маска выходит за границы объекта, модель «дорисует» соседние элементы, что приведёт к неестественному переходу. Если маска слишком узкая, останутся части удаляемого объекта. Поэтому важно реализовать точное рисование с возможностью масштабирования и отмены действий.

Как реализовать рисование маски на iOS?

Для iOS используем CAShapeLayer и UIBezierPath. При касании рисуем круги по траектории движения, объединяя их в один path. Маска получается как чёрно-белое изображение: чёрный фон — неизменяемая область, белые мазки — область интереса.

class MaskDrawingView: UIView { private var maskLayer = CAShapeLayer() private var path = UIBezierPath() private var brushSize: CGFloat = 30 override func draw(_ rect: CGRect) { UIColor.black.setFill() UIRectFill(rect) UIColor.white.setFill() path.fill() } override func touchesMoved(_ touches: Set<UITouch>, with event: UIEvent?) { guard let touch = touches.first else { return } let point = touch.location(in: self) let circle = UIBezierPath(arcCenter: point, radius: brushSize / 2, startAngle: 0, endAngle: .pi * 2, clockwise: true) path.append(circle) setNeedsDisplay() } func getMaskImage() -> UIImage { UIGraphicsBeginImageContextWithOptions(bounds.size, false, 0) layer.render(in: UIGraphicsGetCurrentContext()!) let image = UIGraphicsGetImageFromCurrentImageContext()! UIGraphicsEndImageContext() return image } } 

Для плавности используем UIGraphicsImageRenderer и оптимизируем рендеринг через displayLayer. На iPad с Apple Pencil маска получается точнее — можно увеличить разрешение path.

Как реализовать рисование маски на Android?

На Android используем кастомный View с Canvas и Paint. Рисуем круги на отдельном битмапе, который затем передаётся как маска. Важно настроить сглаживание и размер кисти под плотность экрана.

class MaskDrawingView(context: Context) : View(context) { private val maskBitmap = Bitmap.createBitmap(width, height, Bitmap.Config.ARGB_8888) private val canvas = Canvas(maskBitmap) private val paint = Paint().apply { color = Color.WHITE style = Paint.Style.FILL strokeWidth = brushSize isAntiAlias = true } override fun onTouchEvent(event: MotionEvent): Boolean { when (event.action) { MotionEvent.ACTION_MOVE -> { canvas.drawCircle(event.x, event.y, brushSize / 2, paint) invalidate() } } return true } } 

Для производительности используем Bitmap.Config.HARDWARE на Android 8+ и избегаем лишних копирований.

Как интегрировать DALL·E 2 Inpainting?

DALL·E 2 принимает только PNG с альфа-каналом, где прозрачные пиксели обозначают область редактирования. То есть маска вкладывается в альфа-канал изображения. Максимальный размер запроса — 4 МБ. Отправляем multipart/form-data:

func inpaint(image: UIImage, mask: UIImage, prompt: String) async throws -> UIImage { guard let imageData = image.pngData(), let maskData = mask.pngData() else { throw InpaintError.invalidImage } var request = URLRequest(url: URL(string: "https://api.openai.com/v1/images/edits")!) request.httpMethod = "POST" request.setValue("Bearer \(apiKey)", forHTTPHeaderField: "Authorization") let boundary = UUID().uuidString request.setValue("multipart/form-data; boundary=\(boundary)", forHTTPHeaderField: "Content-Type") var body = Data() // image (обязательно PNG, RGBA, макс 4 МБ) body.appendMultipart(boundary: boundary, name: "image", filename: "image.png", contentType: "image/png", data: imageData) // mask (PNG, RGBA, прозрачность = область изменения) body.appendMultipart(boundary: boundary, name: "mask", filename: "mask.png", contentType: "image/png", data: maskData) // prompt body.appendMultipart(boundary: boundary, name: "prompt", data: prompt.data(using: .utf8)!) // size (должен совпадать с размером входного изображения) body.appendMultipart(boundary: boundary, name: "size", data: "1024x1024".data(using: .utf8)!) body.append("--\(boundary)--\r\n".data(using: .utf8)!) request.httpBody = body let (data, _) = try await URLSession.shared.data(for: request) let response = try JSONDecoder().decode(ImageResponse.self, from: data) // Загружаем результат let (imageData2, _) = try await URLSession.shared.data(from: URL(string: response.data[0].url)!) return UIImage(data: imageData2)! } 

Ограничение DALL·E 2: принимает только PNG с альфа-каналом (RGBA). Маска передаётся через прозрачность: прозрачные пиксели = область редактирования. Не чёрно-белая маска как в SD, а альфа-канал. Максимальный размер — 4 МБ.

Какие альтернативы существуют? Stable Diffusion Inpainting

SD inpainting через Replicate принимает base64 для image и mask. Параметр strength управляет глубиной замены: 1.0 — полная замена, 0.5 — мягкое смешение с оригинальным контентом. Это даёт больше гибкости, чем DALL·E 2.

val body: [String: Any] = [ "version": "...", // SD inpainting model "input": [ "prompt": prompt, "image": "data:image/jpeg;base64,${imageBase64}", "mask": "data:image/png;base64,${maskBase64}", "num_inference_steps": 25, "guidance_scale": 7.5, "strength": 0.99 ] ] 

Сравнение моделей inpainting:

Как обрабатывать изображения разного размера?

Перед отправкой в API изображение ресайзится до требуемого размера (например, 1024×1024 для DALL·E 2). Используем aspect fill, чтобы сохранить пропорции и обрезать лишнее. После генерации результат накладывается на оригинал в координатах маски. Для этого сохраняем исходные размеры и положение превью.

func resizeAndCrop(_ image: UIImage, to size: CGSize) -> UIImage { UIGraphicsBeginImageContextWithOptions(size, false, 1.0) let aspectFill = max(size.width / image.size.width, size.height / image.size.height) let newSize = CGSize(width: image.size.width * aspectFill, height: image.size.height * aspectFill) let origin = CGPoint(x: (size.width - newSize.width) / 2, y: (size.height - newSize.height) / 2) image.draw(in: CGRect(origin: origin, size: newSize)) let result = UIGraphicsGetImageFromCurrentImageContext()! UIGraphicsEndImageContext() return result } 

Как обеспечить плавный UX при загрузке?

Запрос к API занимает от 1 до 5 секунд в зависимости от модели и размера изображения. Показываем анимацию загрузки с прогрессом (на SD можно отследить через polling). На iOS используем SwiftUI ProgressView, на Android CircularProgressIndicator. После получения результата — плавный переход через cross-fade.

Что входит в нашу работу по интеграции

1. Анализ ваших требований и выбор оптимального API (DALL·E 2, SD или комбинация).
2. Разработка UI для рисования маски с поддержкой undo/redo, изменения размера кисти, масштабирования.
3. Интеграция выбранного API с обработкой ошибок, ретраями и кэшированием.
4. Преобразование изображений: ресайз, кроп, наложение результата.
5. Документация и обучение вашей команды.
6. Пост-релиз техподдержка 3 месяца.

Свяжитесь с нами для технической оценки вашего проекта — мы поможем выбрать подходящий API и реализуем интеграцию в кратчайшие сроки. Работаем с гарантией результата и соблюдением сроков. Получите консультацию — пришлите описание задачи, и мы оценим её в рамках бесплатного аудита.

Сроки реализации

• Базовая интеграция (один API + экран рисования маски) — от 5 до 8 дней.
• Полноценный редактор (undo/redo, мульти-API, наложение) — от 3 до 4 недель.

Сроки уточняются после анализа вашего проекта.