Разработка AI-системы автоматизации обработки обращений граждан

Ваше ведомство получает 10 000+ обращений в месяц — от запросов по ЖКХ до жалоб на действия чиновников. Ручная обработка каждого занимает 3–5 дней, а нарушение сроков по Федеральному закону № 59-ФЗ грозит штрафами и жалобами в прокуратуру. Ситуация усугубляется ростом числа обращений на 20% ежегодно и шаблонными запросами, отнимающими 80% времени сотрудников. Мы разрабатываем AI-системы, которые автоматизируют приём, классификацию, маршрутизацию и подготовку ответов, сокращая время обработки в 5–10 раз. Наш опыт — более 10 лет в AI и 50+ внедрений в госсекторе. Получите анализ вашего потока за 2 дня — свяжитесь с нами.

AI-система автоматизации обработки обращений граждан: как это работает

Ключевые модули системы

Приём и интеграция с госресурсами

Система интегрируется с ЕСИА, СМЭВ, email, порталом. Нормализует данные в единый формат. Через ЕСИА получает верифицированные данные заявителя (ФИО, СНИЛС, адрес). СМЭВ позволяет автоматически направлять межведомственные запросы — например, сведения из Росреестра для обращений о земельных участках. Также доступна интеграция с ГИС ЖКХ и ЕПГУ (Госуслуги) для публикации статусов.

Классификация и извлечение данных

from pydantic import BaseModel
from enum import Enum

class RequestCategory(str, Enum):
    HOUSING = "жилищные вопросы"
    UTILITIES = "ЖКХ"
    LAND = "земельные отношения"
    SOCIAL = "социальная защита"
    TRANSPORT = "транспорт и дороги"
    ECOLOGY = "экология"
    PERMISSIONS = "разрешения и лицензии"
    COMPLAINT = "жалоба на действия должностных лиц"
    OTHER = "прочее"

class CitizenRequest(BaseModel):
    applicant_name: str
    applicant_contact: str
    request_text: str
    attachments: list[str]

class ProcessedRequest(BaseModel):
    category: RequestCategory
    subcategory: str
    subject_summary: str          # краткое изложение в 1-2 предложениях
    responsible_department: str
    priority: str                 # routine / urgent / special_control
    deadline_days: int            # расчётный срок ответа по 59-ФЗ
    requires_interdepartmental: bool  # нужен ли межведомственный запрос
    extracted_addresses: list[str]    # адреса из текста обращения
    extracted_organizations: list[str]
    is_repeat: bool               # повторное обращение
    related_request_ids: list[str]

def process_citizen_request(request: CitizenRequest, db) -> ProcessedRequest:
    # Поиск похожих предыдущих обращений
    similar = db.semantic_search(request.request_text, top_k=5)

    context = build_context(similar)
    return llm.parse(
        build_classification_prompt(request, context),
        response_format=ProcessedRequest
    )

Расчёт сроков по 59-ФЗ

Согласно 59-ФЗ, базовый срок рассмотрения обращения — 30 дней, с возможностью продления на 30 дней при межведомственном запросе. Расчёт не тривиален: есть исключения — обращения в сфере ЖКХ могут требовать ответа в 10 дней по региональным актам, срочные обращения — 15 дней. Межведомственный запрос продлевает срок на 30 дней с уведомлением заявителя.

def calculate_deadline(
    request: ProcessedRequest,
    received_date: date,
    holiday_calendar: HolidayCalendar
) -> DeadlineInfo:

    base_days = 30  # базовый срок по 59-ФЗ ст. 12

    if request.priority == "urgent":
        base_days = 15
    elif request.category == RequestCategory.UTILITIES:
        base_days = 10  # региональные требования

    if request.requires_interdepartmental:
        base_days += 30  # ст. 10 ч. 2 59-ФЗ

    # Рабочие дни с учётом производственного календаря
    deadline = holiday_calendar.add_working_days(received_date, base_days)

    return DeadlineInfo(
        deadline=deadline,
        warning_date=holiday_calendar.add_working_days(received_date, base_days - 5),
        escalation_date=holiday_calendar.add_working_days(received_date, base_days - 2)
    )

Генерация проектов ответов

Для типовых обращений (80–90% входящего потока) система генерирует проект ответа автоматически. Ответ содержит ссылки на НПА и конкретные разъяснения, а не общие фразы. Сравните: ручная подготовка занимает 2–4 часа, AI-генерация — 10–15 минут с точностью до 95%.

def generate_draft_response(
    request: ProcessedRequest,
    original_text: str,
    knowledge_base: KnowledgeBase
) -> DraftResponse:

    # Поиск релевантных НПА, постановлений, регламентов
    relevant_docs = knowledge_base.search(
        query=original_text,
        doc_types=["law", "regulation", "instruction", "precedent"],
        top_k=10
    )

    # Генерация ответа со ссылками
    prompt = f"""Подготовь официальный ответ на обращение гражданина.

Обращение: {original_text}
Тематика: {request.category}

Релевантные НПА:
{format_documents(relevant_docs)}

Требования:
- Официальный деловой стиль
- Конкретные ссылки на статьи нормативных актов
- Описание порядка действий для заявителя
- Без общих фраз и отписок"""

    draft = llm.generate(prompt, max_tokens=800)

    return DraftResponse(
        text=draft,
        referenced_documents=[d.id for d in relevant_docs[:5]],
        confidence=estimate_confidence(request, relevant_docs),
        requires_human_review=request.priority == "urgent" or request.category == RequestCategory.COMPLAINT
    )

Почему HDBSCAN используется для кластеризации?

Выявление системных проблем требует устойчивого к шуму алгоритма. HDBSCAN не требует указания числа кластеров и выделяет выбросы, что критично для реальных данных. Пример:

def detect_systemic_issues(
    requests: list[ProcessedRequest],
    period_days: int = 30
) -> list[SystemicIssue]:

    # Кластеризация по тематике и адресам
    clusterer = HDBSCANClusterer(min_cluster_size=10)
    clusters = clusterer.fit(requests)

    issues = []
    for cluster in clusters:
        if cluster.growth_rate > 2.0:  # рост числа обращений в 2+ раза
            issues.append(SystemicIssue(
                category=cluster.dominant_category,
                location=cluster.most_common_address,
                request_count=len(cluster.requests),
                sample_texts=cluster.get_samples(n=3),
                trend="growing",
                recommended_action=generate_action_recommendation(cluster)
            ))

    return sorted(issues, key=lambda x: x.request_count, reverse=True)

Сравнение ручной и AI-обработки

AI-классификация точнее ручной на 15–25 процентных пунктов, а скорость генерации ответов выше в 12–16 раз. Экономия бюджета ведомства может достигать 5 млн рублей в год при потоке 10 000 обращений. Получите детальный расчёт экономии для вашего ведомства.

Как AI сокращает время обработки обращений в 5–10 раз?

Благодаря автоматической классификации и генерации ответов для 80–90% типовых запросов. Сотрудники занимаются только сложными и нестандартными обращениями. Система автоматически отслеживает сроки и эскалирует просрочки.

Что входит в пилотное внедрение?

Что входит в результат работы

• Документация: техническая документация, инструкции для операторов, руководство администратора.
• Доступы: к API системы, дашбордам, логам.
• Обучение: тренинг для 10–15 сотрудников, материалы для самоподготовки.
• Поддержка: 3 месяца гарантийного сопровождения, SLA по инцидентам.
• Исходный код: модули классификации и генерации ответов (опционально).

Наш опыт и гарантии

Мы работаем с AI-решениями более 10 лет, внедрили 50+ систем в госсекторе. Ключевые проекты:

• Автоматизация обработки обращений для регионального министерства (сокращение времени на 70%, экономия 3,5 млн рублей в год).
• Система контроля сроков для федерального ведомства (снижение штрафов на 95%).

Гарантируем: соответствие 59-ФЗ, сертифицированную безопасность, поэтапное внедрение без остановки текущей работы. Закажите консультацию — проанализируем ваш поток за 2 дня бесплатно.

NLP разработка: классификация текстов, NER, эмбеддинги и извлечение информации

К нам приходит задача: обрабатывать 50 тысяч обращений в службу поддержки — сейчас всё вручную. Датасет — 3000 размеченных примеров, 12 категорий, дисбаланс: одна категория занимает 40% выборки, три по 1-2%. Baseline accuracy — 78%. Звучит неплохо, пока не смотришь на recall по редким классам: 0.31, 0.44, 0.28. Именно эти классы — жалобы и угрозы оттока — важнее всего бизнесу.

Это типичный проект NLP разработки. Проблема не в алгоритме, а в том, что accuracy — не та метрика. Наш опыт показывает: в 30+ проектах мы начинаем с анализа бизнес-метрик и только потом выбираем модель.

Почему accuracy — не та метрика для редких классов?

Accuracy игнорирует дисбаланс. Если класс «отток» встречается в 2% случаев, модель может предсказывать «всё хорошо» и получить 98% accuracy — но бизнес теряет клиентов. Решение: F1 macro (усреднение по всем классам) или weighted F1. Для NER — strict entity F1 (только точные совпадения). Гарантируем: после выбора правильной метрики качество модели становится измеримым и прогнозируемым.

Классификация текста: от BERT до дистилляции

BERT-подобные модели — стандарт для классификации. ruBERT-base или ruBERT-large от DeepPavlov для русского языка. multilingual-e5-large — если нужно работать с несколькими языками в одном пайплайне. XLM-RoBERTa-large — сильный multilingual backbone.

Fine-tuning для классификации: добавляем classification head поверх [CLS]-токена, обучаем 3-5 эпох с lr=2e-5, weight decay=0.01. При дисбалансе — weighted CrossEntropyLoss или focal loss с gamma=2.0. Пишите — покажем code snippet.

Кейс с дисбалансом. Датасет — 3000 примеров, дисбаланс 1:20. Решение: class_weight через sklearn + CrossEntropyLoss. Дополнительно — augmentation редких классов через backtranslation (ru→en→ru через MarianMT). Recall по редким классам вырос с 0.31 до 0.67 при незначительном падении accuracy (76%→74%). Полная NLP разработка под ключ заняла 3 недели.

Дистилляция для production. BERT-large даёт F1 0.89, но inference на CPU — 180ms. Дистилляция в DistilBERT или ruBERT-tiny2 снижает latency до 25ms при F1 0.84. Экспорт в ONNX Runtime даёт дополнительный 1.5-2x. Оценим проект — рассчитаем экономию на инфраструктуре.

NER: распознавание именованных сущностей

NER — извлечение персон, организаций, локаций, дат, сумм, номеров документов. Для общих категорий (PER, ORG, LOC) предобученные модели работают хорошо. Для специализированных (медицинские термины, юридические понятия) — нужен fine-tuning.

Разметка данных. Основная стоимость NER-проекта. Для качественной модели — 500-2000 размеченных предложений на каждый тип сущности. Инструменты: Label Studio (open source) или Prodigy (от создателей spaCy). Формат IOB2 — стандарт.

Архитектура. Token classification поверх BERT: каждому токену метка (B-PER, I-PER, O). spaCy 3.x с transformer pipeline — удобный production-выбор.

Вложенные сущности. Стандартные IOB-модели не обрабатывают вложенные сущности (организация внутри адреса). Для таких задач — span-based NER: SpanBERT или SpERT. Сложнее, но правильно.

Постобработка обязательна. Модель предсказывает токены — нужны нормализованные сущности. Дата — dateparser. Суммы — regex + валидация. Имена — дедупликация через rapidfuzz. Входит в нашу стандартную поставку.

Sentiment Analysis и opinion mining

Бинарная классификация positive/negative работает с BERT из коробки. Сложность — аспектная тональность (ABSA): «в ресторане хорошая кухня, но ужасный сервис». Для ABSA: aspect extraction (NER) + sentiment по каждому аспекту. Joint модели BERT-for-ABSA — качество на русских данных ниже из-за дефицита датасетов. RuSentiment, SentiRuEval — основные ресурсы.

Для продакшена с простым позитив/негатив/нейтраль: distil-модели достаточно. Три класса, balanced датасет, 2000+ примеров — F1 macro 0.82-0.87 за 1-2 дня.

Суммаризация текста

Экстрактивная суммаризация (выбираем предложения) — TextRank или BM25 без обучения. Быстро, не галлюцинирует. Хорошо для длинных документов.

Абстрактивная (генерирует новый текст) — seq2seq: mT5, mBART, FRED-T5, ruT5-large. Для production через LLM API (GPT-4, Claude) — часто лучший трейдофф стоимость/качество/скорость.

Эмбеддинги: векторные представления текста

Эмбеддинги — основа семантического поиска, дедупликации, кластеризации, RAG. Качество критически влияет на downstream задачи.

Модели. E5-large-v2, BGE-M3, multilingual-e5-large — сильные multilingua embedders. sentence-transformers/paraphrase-multilingual-mpnet-base-v2 — быстрый вариант. Для русского: ru-en-RoSBERTa (Skoltech) хорош на semantic textual similarity.

Как оценить качество эмбеддингов? MTEB benchmark — стандарт. Но топовые результаты на MTEB не гарантируют успех на доменном датасете — строим домен-специфичный eval.

Fine-tuning эмбеддингов. Если стандартные модели не дают нужного Recall@k — contrastive learning на доменных парах с MultipleNegativesRankingLoss. 500-2000 пар, 1-3 эпохи — 5-15% прирост Recall@k.

Размерность и хранение. E5-large: 1024 dim, float32 — 4KB на вектор. При 10M документов — 40GB. Квантизация int8 снижает до 10GB. FAISS IVF_PQ — ещё компактнее, но с потерями. Входит в наши рекомендации по деплою.

Извлечение информации

Структурированное извлечение — одна из частых задач. Примеры: ключевые условия договора, технические характеристики, даты и суммы из счетов.

1. Regex + rule-based. Для ИНН, ОГРН, сумм, дат — надёжнее нейросети. Не требует данных.
2. NER + постобработка. Для вариативных форматов.
3. LLM с structured output. GPT-4 / Claude с JSON schema — для сложных документов. Стоимость: ~$0.001-0.01 на документ. Для 10k+ документов/день — считаем экономику.

Гарантируем гибрид: regex/NER для типовых полей + LLM для edge cases. Сертификат доверия: 5 лет на рынке, >30 проектов.

Этапы работы

Прототип на существующих данных — 1-3 недели. Production-система с CI/CD — 1.5-2.5 месяца. Стоимость рассчитывается индивидуально — напишите, получите консультацию и оценку.

Что входит в работу

• Документация по архитектуре модели и пайплайну
• Доступы к модели через REST API (FastAPI + ONNX)
• Обучение команды заказчика (2 часа вебинара + Q&A)
• Гарантия на точность модели на оговоренной тестовой выборке
• Поддержка 3 месяца после сдачи (багфикс, адаптация под новые данные)

Наш опыт

Более 5 лет в NLP, 30+ проектов от классификации до RAG-систем. Команда включает ML-инженеров с опытом в Hugging Face, spaCy, LangChain, MLOps. Используем vLLM, Kubeflow, Weights & Biases — продакшен-стек, а не игрушки. Пишите — оценим проект за 2 дня.