AI-виявлення NSFW-контенту в мобільних додатках
При публікації користувальницьких зображень через мобільний додаток завдання виявлення NSFW з'являється на двох рівнях: швидкість (показуємо контент з мінімальною затримкою) та точність (хибні блокування руйнують довіру). Обидва конфліктують, правильна архітектура завжди робить компроміс.
Поширені помилки
Повністю серверна класифікація без передфільтра
Якщо кожне завантажене зображення йде на API-сервіс та чекає відповіді перед показом — при пиковому навантаженні latency растворює, UX деградує. Один запит до AWS Rekognition DetectModerationLabels займає 300–800 мс. Для чату з фото або маркетплейса з швидкою завантаженням — неприймаємо.
On-device класифікація "в лоб"
Гонити повноцінну NSFW-модель на кожний кадр відеозвонка або кожне фото в галереї нагріває пристрій та садить батарею. iPhone 12 з Open NSFW (~50 MB у CoreML) при безперервній обробці йде в thermal throttling за 8–10 хвилин.
Двохступенева архітектура
Оптимальна схема: легкий on-device передфільтр + хмарна верифікація пограничних випадків.
On-Device (CoreML / TFLite)
На клієнті запускаємо легку бінарну модель (~8–15 MB): MobileNetV3-Small або спеціалізована NSFW-модель у конвертації coremltools. Результат — два класи: safe / unsafe, плюс confidence score.
// iOS: CoreML інференц перед завантаженням
func checkImage(_ image: UIImage, completion: @escaping (NSFWResult) -> Void) {
guard let pixelBuffer = image.resized(to: CGSize(width: 224, height: 224)).toCVPixelBuffer() else { return }
let request = VNCoreMLRequest(model: nsfwModel) { request, _ in
guard let results = request.results as? [VNClassificationObservation],
let top = results.first else { return }
let result = NSFWResult(
label: top.identifier,
confidence: top.confidence
)
DispatchQueue.main.async { completion(result) }
}
try? VNImageRequestHandler(cvPixelBuffer: pixelBuffer).perform([request])
}
Пороги: confidence > 0.92 для unsafe → блокуємо на клієнті, не завантажуємо. confidence між 0,65 та 0,92 → завантажуємо в прихованому стані, відправляємо на серверну верифікацію.
Android: ML Kit + TFLite
Використовуйте ImageClassifier з TFLite Task Library — керує жизненним циклом моделі та обробкою Bitmap без ручного управління буферами:
val classifier = ImageClassifier.createFromFileAndOptions(
context,
"nsfw_lite.tflite",
ImageClassifier.ImageClassifierOptions.builder()
.setMaxResults(2)
.setScoreThreshold(0.5f)
.build()
)
val tensorImage = TensorImage.fromBitmap(bitmap)
val results = classifier.classify(tensorImage)
val nsfwScore = results.flatMap { it.categories }
.firstOrNull { it.label == "nsfw" }?.score ?: 0f
Серверна верифікація через Google Cloud Vision / AWS Rekognition
Для пограничних випадків та остаточної перевірки перед публікацією:
// відправляємо на сервер тільки пограничні випадки
if (nsfwScore in 0.65f..0.92f) {
uploadForReview(imageUri, nsfwScore)
}
Google Cloud Vision SafeSearch повертає 5 категорій: adult, spoof, medical, violence, racy — кожна з VERY_UNLIKELY до VERY_LIKELY. Дозволяє тонко налаштовувати політику: медичні додатки whitelistять категорію medical, дитячі додатки ставлять racy = POSSIBLE як триггер блокування.
Відео: покадровий аналіз з семплінгом
Для відео-UGC беріть кадри через AVAssetImageGenerator (iOS) з інтервалом 1 секунда, запускайте on-device модель паралельно через DispatchQueue.concurrentPerform. Android — MediaMetadataRetriever.getFrameAtTime() + корутини з Dispatchers.Default. Якщо хоч один кадр перевищує поріг unsafe — весь ролик помічений для перевірки.
Процес
Аналіз контентної політики: які категорії блокувати, які потребують human review, потрібен ли whitelist для медицини/арта.
Підбір та тестування on-device моделі на representative датасеті додатка.
Інтеграція двохступневої логіки в клієнт + серверний верифікатор.
Налаштування порогів з урахуванням аудиторії (вікової рейтинг додатка).
Ориентири за часовими рамками
On-device передфільтр з CoreML/TFLite — 2–3 дні. Повна двохступенева система з серверною верифікацією та обробкою відео — 1–1,5 тижні.