Користувачі завантажують сотні одиниць контенту щодня: фото, коментарі, повідомлення. Частина порушує правила: спам, шахрайство, неприйнятні зображення, персональні дані. Без інструментів модерації команда підтримки тоне в скаргах, а проблемний контент залишається доступним годинами. Якщо модератор перевіряє 500 елементів на день, а додаток генерує 10 000 нових постів, потрібно 20 людей тільки на ручну перевірку. Автоматизація знижує цю потребу в 3–5 разів.
Ми розробляємо панелі модерації з автоматичною фільтрацією. Один із проєктів — соціальна мережа з 2 млн активних користувачів. Ручна модерація займала 4 години на обробку скарги. Після впровадження нашої панелі час реакції скоротився до 15 хвилин. Ключові покращення: пріоритезація черги, автоматична попередня фільтрація та інтеграція з API.
Як будується черга пріоритетів?
Панель модерації — це не просто список контенту. Ми створюємо чергу з пріоритетами, де модератор бачить:
- Контент з позначками: скарги користувачів, спрацьовування автоматики, перевищення порогу репортів.
- Сортування за серйозністю: CSAM/насильство — найвищий пріоритет, спам — найнижчий.
- Статус черги: скільки елементів чекають, середній час розгляду.
Ключові дії модератора: схвалити, видалити, приховати тимчасово, заблокувати автора, ескалувати старшому модератору.
Як автоматична попередня фільтрація знижує навантаження?
Ручна перевірка кожної одиниці контенту не масштабується. Автоматика прибирає очевидні порушення, скорочуючи витрати часу на 60–80%.
Зображення. Google Cloud Vision API SafeSearch Detection повертає ймовірності для категорій ADULT, VIOLENCE, RACY, MEDICAL, SPOOF. Поріг для автовидалення: ADULT = VERY_LIKELY. Для додаткової перевірки на CSAM — PhotoDNA через Microsoft Azure Content Moderator. PhotoDNA порівнює хеші з базою відомого матеріалу — це важливо для юридичної безпеки. AWS Rekognition Moderation Labels — альтернатива, зручна при інфраструктурі на AWS.
Текст. OpenAI Moderation API (text-moderation-latest) — безкоштовний, швидкий, визначає категорії: hate, harassment, self-harm, sexual, violence. Perspective API від Google — для токсичності в коментарях, підтримує кілька мов. Власні регулярні вирази для телефонних номерів, email, URL (спам-патерни).
Вбудовані платформені інструменти. Для чатів: SendBird, Stream Chat, Cometchat мають вбудовану модерацію. Якщо додаток уже на одній із цих платформ, частина роботи вже виконана.
Порівняння інструментів:
| Інструмент | Тип контенту | Особливості |
|---|---|---|
| Google Cloud Vision SafeSearch | Зображення | Висока точність, передбачувана вартість, потребує GCP |
| AWS Rekognition Moderation Labels | Зображення | Зручний при інфраструктурі на AWS, менше категорій |
| PhotoDNA (Azure) | Зображення (CSAM) | Юридично безпечне хешування |
| OpenAI Moderation API | Текст | Безкоштовний, швидкий, без аналізу токсичності |
| Perspective API | Текст | Детальний аналіз токсичності, платний, може бути повільніше |
Процес налаштування автоматичної попередньої фільтрації:
- Вибір API залежно від типу контенту (зображення, текст, відео).
- Налаштування порогів спрацьовування для кожного класу порушень.
- Інтеграція через вебхуки в чергу модерації.
- Моніторинг точності та коригування правил на основі аналізу хибних спрацьовувань.
Архітектура черги модерації
Вхідний контент → автоматична перевірка (async, не блокує публікацію) → якщо auto-approve: публікується одразу; якщо auto-reject: видаляється з повідомленням автору; якщо uncertain: потрапляє в чергу ручної модерації.
Для неочевидних кейсів — відкладена публікація. Контент видно тільки автору, доки не пройде перевірку. Це працює для нових акаунтів або користувачів з історією порушень.
Приклад SQL-схеми черги
moderation_queue id uuid PK content_id uuid FK (polymorphic: post, comment, image, profile) content_type enum priority int (розраховується на основі типу порушення та кількості скарг) auto_score jsonb (результати API-перевірок) status enum (pending, reviewed, auto_rejected, auto_approved) assigned_to uuid FK (moderator, nullable) created_at timestamptz reviewed_at timestamptz Таблиця пріоритетів черги:
| Тип порушення | Пріоритет | Дія автоматики | Час реакції SLA |
|---|---|---|---|
| CSAM/Насильство | 1 (найвищий) | Негайне видалення + повідомлення | 5 хвилин |
| Шахрайство | 2 | Відкладена публікація | 30 хвилин |
| Спам | 3 | Автовидалення з порогом | 2 години |
| Нецензурна лексика | 4 | Попередження автору | 24 години |
Інтерфейс модератора
Ми пропонуємо веб-панель для модераторів: швидше відкривати контент, зручніше працювати з чергою. Це основний інструмент модератора.
Ключові елементи UI:
- Список черги з прев'ю контенту та причиною позначки.
- Один клік — перегляд повного контенту з контекстом (профіль автора, історія скарг).
- Гарячі клавіші для швидких дій: J/K для навігації, A для approve, D для delete.
- Статистика: скільки оброблено за зміну, відсоток підтверджених скарг.
Гарячі клавіші — не дрібниця. Модератор обробляє сотні елементів на день; різниця між мишею та клавішами — швидкість роботи до 3 разів вища.
Історія рішень та апеляції
Кожне рішення модератора логується: хто, коли, яка дія, чому. Це важливо для аналізу якості, апеляцій та юридичних запитів.
Апеляційна система: користувач оскаржує рішення → задача потрапляє в чергу апеляцій → старший модератор переглядає з повним контекстом. Це знижує кількість негативних відгуків на 40%.
Сповіщення та SLA
Пріоритетний контент має потрапити до модератора протягом N хвилин (налаштовується). Алерти при переповненні черги — у Slack/Telegram/email. PagerDuty для критичних категорій (CSAM, загрози життю) — черговий модератор отримує push-сповіщення незалежно від часу.
Що входить у роботу
- Документація: технічне завдання, опис API, інструкція для модераторів.
- Доступи: до веб-панелі, до API моніторингу, до логів дій.
- Навчання: вебінар для команди модераторів (2 години), запис та додаткові матеріали.
- Підтримка: 2 тижні безкоштовної технічної підтримки після запуску, виправлення помилок за гарантією.
Терміни та вартість
Терміни розробки панелі модерації залежать від складності інтеграції та обсягів контенту. Орієнтовні етапи:
| Етап | Тривалість | Результат |
|---|---|---|
| Аналіз вимог та аудит поточної інфраструктури | 3–5 днів | Технічне завдання, план інтеграції |
| Проектування черги та баз даних | 2–3 дні | ER-діаграма, схеми потоків |
| Реалізація ядра модерації (ручна перевірка) | 1–2 тижні | Функціональна панель з базовим UI |
| Інтеграція автоматичної попередньої фільтрації | 1–2 тижні | Підключення API (Vision, Moderation, Perspective) |
| Додавання історії, апеляцій, сповіщень | 1–2 тижні | Повний цикл модерації |
| Навантажувальне тестування та оптимізація | 3–5 днів | Звіт про продуктивність, рекомендації |
| Деплой та навчання команди | 2–3 дні | Доступ до панелі, документація, навчання |
Вартість розраховується індивідуально залежно від складності та обсягів. Економія на зарплаті модераторів може значно перевищити інвестиції. Зв'яжіться з нами, щоб обговорити ваш кейс. Замовте консультацію — ми підберемо оптимальне рішення.