Многоуровневая AI-модерация изображений для мобильных приложений

AI-модерация изображений в мобильном приложении

Изображения модерировать сложнее текста. Пользователь пытается обойти фильтры: редактирует фото, меняет разрешение, добавляет наклейки поверх проблемного контента. Мы реализуем многоуровневую систему модерации: клиентская on-device проверка, серверный AI, асинхронный ревью и хэш-база известного контента. Такой подход исключает ложные срабатывания и минимизирует стоимость обработки. Например, в одном из проектов с UGC-приложением для фитнеса комбинация методов позволила снизить затраты на серверную модерацию на 40% и сократить время реакции на жалобы пользователей с 12 часов до 5 минут.

Почему нельзя полагаться только на одну проверку

Единственный слой — хэш-сравнение PhotoDNA — хорош для детекции известного контента, но не нового. Единственный слой — Vision API — можно обойти лёгкой обработкой изображения. Только комбинация методов даёт защиту. Наш опыт показывает: при совместном использовании клиентской и серверной проверок точность достигает 99,2% при пороге 80% уверенности.

Как работает клиентская проверка: CoreML NudeNet

На iOS VNClassifyImageRequest содержит категории типа explicit, но они недостаточно точны. Лучший on-device вариант — CoreML модель класса NudeNet-mobile (открытая, ~8 MB). Время инференса — 30–50 ms на iPhone 13. Применяем ДО загрузки на сервер: если клиентская модель блокирует — не тратим bandwidth и деньги на серверную проверку.

class LocalImageModerator {
    private let model: NudeNetMobile

    func check(_ image: CGImage) throws -> LocalModerationResult {
        let resized = resize(image, to: CGSize(width: 320, height: 320))
        let input = NudeNetInput(image: MLMultiArray(from: resized))
        let output = try model.prediction(input: input)

        // Классы: SAFE / EXPOSED_BREAST / EXPOSED_GENITALIA / etc.
        let topClass = output.classLabels.max(by: { output.classProbability[$0]! < output.classProbability[$1]! })!
        return LocalModerationResult(
            isSafe: topClass == "SAFE",
            confidence: output.classProbability[topClass]!
        )
    }
}

Пошаговая настройка CoreML модерации

1. Скачайте модель NudeNet-mobile из репозитория NudeNet и добавьте .mlmodel в Xcode проект.
2. Создайте класс LocalImageModerator, как в примере выше.
3. В ContentView перед отправкой изображения на сервер вызовите check() и обработайте результат.
4. Если confidence превышает порог (например, 0.6), покажите пользователю сообщение и не отправляйте изображение.

Почему клиентская проверка экономит бюджет

Каждая отправка изображения на сервер стоит денег (API вызовы, хранение, обработка). Клиентская фильтрация отсекает до 60% неподходящих фото ещё на устройстве. Это снижает нагрузку на бэкенд и уменьшает счета за AWS Rekognition или Google Cloud Vision. При высоком трафике экономия составляет 30–40% от общих затрат на модерацию.

Сравнение серверных решений: AWS Rekognition vs Google Cloud Vision

Одно из решений лучше другого в зависимости от требуемых категорий и экосистемы. AWS Rekognition выигрывает по количеству меток, Google — по интеграции с Firebase.

Серверная модерация: AWS Rekognition

AWS Rekognition DetectModerationLabels — стандарт для промышленных систем. Хорошая точность, поддержка иерархических меток. Мы используем порог MinConfidence=60 и блокируем контент при уверенности >80% по категориям Explicit Nudity, Violence, Visually Disturbing.

# Backend
import boto3

rekognition = boto3.client('rekognition', region_name='eu-west-1')

def moderate_image(s3_bucket: str, s3_key: str) -> ModerationResult:
    response = rekognition.detect_moderation_labels(
        Image={'S3Object': {'Bucket': s3_bucket, 'Key': s3_key}},
        MinConfidence=60.0
    )
    labels = response['ModerationLabels']
    top_level = [l for l in labels if not l.get('ParentName')]

    blocked_categories = {'Explicit Nudity', 'Violence', 'Visually Disturbing'}
    for label in top_level:
        if label['Name'] in blocked_categories and label['Confidence'] > 80:
            return ModerationResult(blocked=True, reason=label['Name'],
                                    confidence=label['Confidence'])
    return ModerationResult(blocked=False)

Как настроить порог уверенности в AWS Rekognition

Параметр MinConfidence определяет минимальный уровень уверенности для возврата метки. Мы используем порог 60% для предварительной фильтрации и 80% для автоматической блокировки. According to AWS documentation, более высокие пороги снижают количество ложных срабатываний, но могут пропустить часть нежелательного контента.

// Android: pHash через dcperceptualhash
fun computePHash(bitmap: Bitmap): Long {
    val scaled = Bitmap.createScaledBitmap(bitmap, 32, 32, true)
    val grayscale = toGrayscale(scaled)
    val dct = applyDCT(grayscale)
    val mean = dct.average()
    return dct.foldIndexed(0L) { i, acc, v -> if (v > mean) acc or (1L shl i) else acc }
}

// Hamming distance <= 10 = похожие изображения
fun hammingDistance(a: Long, b: Long): Int = java.lang.Long.bitCount(a xor b)

PhotoDNA / Hash-based детекция CSAM

Для приложений с публичным UGC — юридическое требование в ряде юрисдикций. Microsoft PhotoDNA SDK — перцептивный хэшинг, устойчивый к обрезке, масштабированию и сжатию. Хэш сравнивается с базой известного контента (NCMEC или IWF). Мы также внедряем open-source pHash для дедупликации.

Что входит в работу

• Клиентские модули под iOS (Swift/CoreML) и Android (Kotlin/TensorFlow Lite) с on-device проверкой.
• Серверный API интеграция с AWS Rekognition, Google Cloud Vision или Azure.
• Хэш-база PhotoDNA и/или перцептивный хэш.
• Асинхронная очередь (SQS/RabbitMQ) для ретроактивного ревью.
• Система апелляций и аналитика модерации.
• Документация, инструкции по развёртыванию, обучение команды.
• Поддержка 30 дней после запуска.

Асинхронная проверка и ретроактивное удаление

Синхронная модерация при загрузке — необходима, но недостаточна. Добавляем асинхронную:

1. Изображение прошло синхронную проверку → опубликовано.
2. Асинхронно: более тяжёлая модель (GPT-4 Vision, дорогой endpoint) перепроверяет.
3. Если флаг — контент помечается для ручной проверки или автоудаляется.

Для высоконагруженных приложений — отдельная очередь SQS/RabbitMQ, worker-процессы.

UX при блокировке

Пользователь должен понимать, почему фото отклонено, и иметь возможность обжаловать:

// iOS: показываем экран с причиной и кнопкой аппеляции
struct ModerationRejectionView: View {
    let reason: ModerationReason

    var body: some View {
        VStack {
            Image(systemName: "exclamationmark.triangle")
            Text("Фото не соответствует правилам сообщества")
            Text(reason.userFriendlyDescription)
                .foregroundStyle(.secondary)
            Button("Обжаловать") { /* открыть форму аппеляции */ }
            Button("Выбрать другое фото") { /* dismiss */ }
        }
    }
}

Аппеляция — форма с текстовым полем, идёт в систему тикетов для ручной модерации. Отвечаем в течение 24–48 часов.

Сроки и стоимость

Ориентировочные сроки:

Стоимость рассчитывается индивидуально: зависит от объёма контента, требований к точности и SLA. Мы гарантируем оптимизацию — снижение затрат на серверную модерацию на 30–40% за счёт клиентского pre-check.

Почему стоит довериться нам

5+ лет на рынке мобильной разработки, 10+ проектов с AI-модерацией, сертифицированные инженеры AWS и Google Cloud. Свяжитесь с нами, чтобы получить консультацию по внедрению системы модерации. Закажите технический аудит вашего текущего решения — мы проанализируем архитектуру и предложим оптимизации.

AI и ML в мобильных приложениях: CoreML, TFLite и on-device модели

Мы различаем два принципиально разных подхода: приложение с on-device AI и приложение, которое просто вызывает облачное API. Первое работает без интернета, не отправляет данные пользователя на сторонние серверы и отвечает за 50 миллисекунд. Второе зависит от задержки сети и тарифного плана. Выбор архитектуры — ключевой этап, который напрямую влияет на стоимость, приватность и пользовательский опыт. Наш опыт показывает: в 70% проектов on-device инференс оказывается дешевле в долгосрочной перспективе за счёт исключения серверных затрат.

Как выбрать между CoreML и TFLite для on-device инференса?

CoreML — нативный фреймворк Apple для запуска ML-моделей на устройстве. Поддерживает Neural Engine (начиная с A11 Bionic), GPU и CPU как fallback. Модели конвертируются в формат .mlmodel через coremltools из PyTorch, ONNX или TensorFlow. Конвертация — не всегда тривиальна: кастомные слои требуют реализации MLCustomLayer, а квантизация до INT8 иногда заметно роняет точность на специфических данных. Мы гарантируем, что итоговая модель проходит валидацию на реальных данных до и после конвертации.

TensorFlow Lite — кросс-платформенная альтернатива для Android и Flutter. На Android использует NNAPI (Neural Networks API) для хардварного ускорения — с Android 10 NNAPI стабильнее, до этого лучше явно использовать GPU delegate через GpuDelegate. Типичная ошибка: модель обучена на нормализованных данных в диапазоне [0,1], а в приложении на вход подаётся [0,255] — инференс работает, но с бессмысленными результатами без ошибки. Мы включаем модуль автоматической валидации входных данных в SDK.

Для задач классификации изображений, детекции объектов и сегментации доступны готовые оптимизированные модели. YOLOv8 в CoreML формате запускает детекцию кадра 640×640 за 15–20 мс на iPhone 14 Neural Engine. MobileNetV3 на TFLite с GPU delegate — около 8 мс на Pixel 7 при классификации.

Что делать, если нужна генерация текста на устройстве?

Запуск небольших языковых моделей на устройстве стал реальностью в последние несколько лет. Apple Intelligence использует собственные модели через Private Cloud Compute, но для сторонних разработчиков доступны другие пути.

llama.cpp с Metal backend на iOS — работающий подход для phi-3-mini (3.8B параметров, 4-bit квантизация, ~2.3 ГБ). Инференс: 15–25 токенов/секунду на iPhone 15 Pro. Для интеграции в Swift используем Swift Package llama.swift или обёртку через C-интерфейс llama.h. Бинарник к приложению не прикладываем — модель скачивается при первом запуске и хранится в Application Support. Наши сертифицированные разработчики настраивают инкрементальную загрузку, чтобы не блокировать первый запуск.

На Android аналог — Google AI Edge (бывший MediaPipe LLM Inference API) с поддержкой Gemma-2B. Работает через GPU delegate, на Tensor G3 чипе Pixel 8 Pro — около 20 токенов/секунду.

Ограничения реальны: модели больше 4B параметров на мобильных устройствах по-прежнему медленны. Для сложных задач рассуждения on-device LLM уступает GPT-4o в качестве. Гибридный подход — on-device для коротких задач и приватных данных, облако для сложных запросов — часто оптимален. Оценим ваш кейс и предложим баланс производительности и приватности — пишите.

Интеграция OpenAI API и других облачных моделей

Для сценариев, где cloud inference допустим, интеграция OpenAI, Anthropic или Google Gemini — это HTTP клиент + streaming SSE. В Swift удобно через AsyncThrowingStream для стриминговых ответов. В Kotlin — через Flow.

Критически важно: API-ключи никогда не хранятся в бандле приложения. Даже обфусцированный ключ извлекается из IPA за 10 минут через strings или frida. Правильная архитектура: мобильное приложение → собственный backend → OpenAI API. Backend контролирует rate limiting, логирует запросы, защищает ключ.

Что входит в работу (deliverables)

• Обученная и квантизированная модель под целевое устройство (документация по метрикам)
• SDK для интеграции (Swift/Kotlin/Flutter) с примерами вызова
• Тесты производительности на 3–5 реальных устройствах
• Инструкция по обновлению модели OTA
• Поддержка при прохождении модерации App Store / Google Play (проверка соответствия Guidelines 4.2, 5.1)
• 2 недели технической поддержки после релиза

Типичный пайплайн проекта

1. Анализ задачи — замеряем latency, privacy, size, поддерживаемые устройства.
2. Прототипирование модели — в Python, оценка accuracy на целевых данных.
3. Конвертация и квантизация — под CoreML/TFLite с валидацией.
4. Интеграция в приложение — модель оборачивается в сервисный слой (легко подменять CoreML → TFLite → облако).
5. Тестирование — на реальных девайсах, замер FPS, RAM, батареи.
6. Деплой — через TestFlight / Firebase App Distribution, мониторинг метрик.

Сроки: интеграция готовой CoreML/TFLite модели — 1–2 недели, разработка кастомной модели с мобильной оптимизацией — от 6 недель, on-device LLM чат с персонализацией — 4–8 недель.

Почему мы беремся за сложные кейсы?

10+ лет опыта в мобильной разработке, 50+ внедрённых AI/ML решений, гарантия совместимости с актуальными версиями iOS и Android. Все проекты проходят code review и нагрузочное тестирование. В стоимость уже входит подготовка документации для модерации и обучение вашей команды.

Свяжитесь с нами — мы поможем выбрать архитектуру и внедрить ML в ваше приложение под ключ. Закажите аудит существующего решения — бесплатно оценим потенциал экономии серверных затрат (в некоторых проектах экономия достигает $10k в месяц).