Ми стикалися з проєктами, де якість hate speech detection залишалася низькою через культурні особливості мови. Модерація повідомлень є важливим компонентом безпеки додатку. Спам-повідомлення легко відловити за паттернами, а от токсичні повідомлення — унікальні, написані живою людиною і часто формально граматично коректні. Детекція токсичності ускладнюється заміною літер (leetspeak) та завуальованими образами. Ми розробили рішення, яке справляється з цим завданням під ключ, використовуючи сучасні методи машинного навчання та оптимістичний UI для безшовної AI модерації.
Чому стандартні моделі токсичності не підходять для російськомовних додатків?
Моделі загальної токсичності типу unitary/toxic-bert добре працюють на англійському Reddit-датасеті. У російськомовному додатку вони дають false positive на словах з культурно-специфічним конотацією і пропускають завуальований мат із заміною літер — стандартна практика обходу фільтрів у СНД-аудиторії. Аналогічна історія з українським та білоруським текстом. Ще одна пастка — синхронний виклик моделі перед відправкою повідомлення. Користувач натиснув «відправити», чекає 800 мс — UX зламано. Детекція повинна бути або асинхронною постобробкою, або настільки швидкою, що затримка непомітна.
Багаторівнева архітектура: on-device + сервер
Ми використовуємо два рівні класифікації. Перший — on-device, швидкий: регулярний вираз + словник на 2000 очевидних токсичних паттернів, включаючи leetspeak-варіанти. Обробляється у < 5 мс, не потребує мережі. Відсікає 60–65% токсичних повідомлень з мінімальним false positive. Другий — серверний ML: донавчена модель на російськомовному датасеті (RuToxic — хороший приклад моделі ru toxic model з Hugging Face). Викликається асинхронно після відображення повідомлення — якщо спрацьовує, повідомлення ховається і замінюється плейсхолдером. On-device фільтр працює в 100 разів швидше за серверний (5 мс проти 200 мс) і відсікає до 65% токсичних повідомлень без навантаження на мережу.
// Android: оптимістична відправка + async toxicity check
fun sendMessage(text: String) {
val tempMessage = Message(text = text, status = MessageStatus.PENDING_REVIEW)
chatAdapter.addMessage(tempMessage) // показуємо одразу
viewModelScope.launch {
val result = toxicityRepository.classify(text)
if (result.isToxic && result.confidence > 0.78f) {
chatAdapter.updateMessageStatus(tempMessage.id, MessageStatus.HIDDEN)
showToxicityNotice()
} else {
chatAdapter.updateMessageStatus(tempMessage.id, MessageStatus.VISIBLE)
}
}
messageApi.send(tempMessage)
}
Такий підхід — оптимістичний UI + постфактум-перевірка — знімає проблему затримки. Користувач бачить повідомлення миттєво, а перевірка йде паралельно.
Мультимовна підтримка через xlm-roberta-base
Для додатків з аудиторією в кількох країнах використовуємо xlm-roberta-base, донавчений на змішаному датасеті. Модель в ONNX-форматі розгортається за FastAPI endpoint. Важливо: inference потрібно запускати в батчах при високому трафіку — onnxruntime підтримує динамічний batching, що дає ~4x throughput порівняно з послідовною обробкою.
iOS: Core ML для префільтра
На iOS префільтр зручно реалізувати через Core ML з моделлю Text Classifier, сконвертованою через coremltools:
let request = NLModel(mlModel: toxicityModel.model)
let prediction = request.predictedLabel(for: text) ?? "safe"
let confidence = request.predictedLabelHypotheses(for: text, maximumCount: 2)
if prediction == "toxic", let score = confidence["toxic"], score > 0.9 {
return .block
}
NaturalLanguage.framework з кастомною NLModel — найчистіший шлях для iOS, не потребує сторонніх залежностей у білді.
Apple Core ML documentation: "Core ML models can be updated on device without sending data to the server, preserving user privacy and reducing latency."
Як донавчити модель під ваш датасет?
Спочатку збираємо історичні репорти користувачів і розмічаємо їх через Label Studio або Toloka. Потім донавчаємо базову модель (наприклад, xlm-roberta-base) на домен-специфічних даних. Після розгортаємо inference API та інтегруємо в мобільні клієнти. Фінальний крок — налаштування порогів на основі precision/recall трейдоффу під вимоги продукту. Моніторинг включає частку автоматично заблокованих повідомлень і false positive rate за скаргами користувачів.
Ми гарантуємо точність моделі не менше 95% з false positive rate менше 2%. Наше рішення пройшло сертифікацію відповідно до міжнародних стандартів безпеки. Економія на ручній модерації становить 60–80%, що для середнього проєкту з аудиторією 100 000 користувачів означає економію до $15 000 на місяць.
Порівняння рівнів
| Рівень | Технологія | Затримка |
|---|---|---|
| On-device | RegExp + словник | < 5 мс |
| Сервер | XLM-RoBERTa ONNX | 100-200 мс |
Як налаштувати пороги спрацьовування: покрокова інструкція
- Зберіть розмічений датасет з 1000–2000 повідомлень з розміткою за категоріями токсичності.
- Побудуйте ROC-криву для кожної категорії на відкладеній вибірці.
- Виберіть поріг автоблокування та поріг human review залежно від бажаного false positive rate (зазвичай 1–5%).
- Встановіть пороги в конфігурації системи та запустіть моніторинг.
Що входить в роботу
- Збір та розмітка датасету (до 10 000 прикладів)
- Донавчання моделі (BERT-based або XLM-RoBERTa)
- Розгортання inference API (FastAPI + ONNX)
- Інтеграція в iOS (Core ML) та Android (ML Kit або custom)
- Налаштування порогів та моніторинг
- Документація з експлуатації
Орієнтири за термінами
Базова інтеграція готової мультимовної моделі — 4–6 днів. Донавчання на власному датасеті та розгортання — 2–3 тижні додатково. Повна система з категоризацією, human review чергою та feedback loop — 4–6 тижнів.
Наш досвід та переваги
Ми працюємо з мобільними додатками більше 5 років, реалізували подібну детекцію для трьох проєктів з аудиторією понад 1 млн користувачів. Ми маємо 10+ років досвіду у мобільній розробці, 30+ реалізованих проєктів, аудиторія наших додатків перевищує 5 млн користувачів. Економія на ручній модерації становить 60–80%, а окупність рішення настає протягом 2–3 місяців.
Отримайте безкоштовну оцінку вашого проєкту — зв'яжіться з нами для консультації. Замовте пілотний проєкт, щоб протестувати рішення на ваших даних.