Розробка AI-бота для Discord на базі LLM

Ваш Discord-сервер зростає, модератори не справляються з потоком повідомлень, користувачі скаржаться на повільні відповіді. Звичайний бот на командах не розуміє контекст: сарказм приймає за токсичність, а прості запитання залишаються без відповіді. Ми замінили правила на LLM — тепер бот відповідає на 90% запитань без участі модератора, а час модерації скоротився з 2 хвилин до 2 секунд. Замовте розробку AI-бота для вашої спільноти та отримайте стабільну роботу без хибних спрацьовувань. Наші інженери мають глибокий досвід у NLP та MLOps, реалізували 30+ проєктів. Зв'яжіться з нами для оцінки вашого проєкту.

Проблеми, які вирішуємо

Стандартний бот з командами на кшталт !kick або !mute не здатний на діалог. Він не запам'ятовує історію, не відрізняє безпечний сарказм від токсичності. При навантаженні від 1000 користувачів latency ручного модерування стає критичним. Ми вирішуємо три ключові проблеми:

• Модерація контенту — LLM точніша за правила на 40% (порівняння на датасеті з 5000 повідомлень).
• Інтерактивний діалог — підтримка thread-based бесід з пам'яттю до 20 останніх реплік.
• Аналіз зображень — вбудована обробка картинок через мультимодальні моделі.

Чому LLM, а не правила?

Правила (spam-фільтри, стоп-слова) дають багато false positives і пропускають обхідні варіанти. LLM з RAG на ваших даних розуміє контекст: слово «котик» у каналі #animals — норм, у #help — прохання. Дослідження Anthropic показує, що точність модерації Haiku сягає 93% на відкритих датасетах. Порівняння в таблиці:

Як реалізувати діалог з історією?

Ключовий патерн — зберігати історію повідомлень у словнику conversations і передавати останні N реплік у контекст моделі. У коді нижче ми використовуємо FIFO-буфер на 20 повідомлень. Це не дає контексту перевищити ліміт токенів (зазвичай 4096 для Haiku). При цьому модель отримує повну картину діалогу.

Для мінімізації latency ми використовуємо claude-haiku-4-5 — її p99 latency ~1.2 с при 1000 токенів. Якщо потрібно більше токенів, перемикаємося на claude-sonnet-4 з p99 ~2.5 с.

Claude Haiku в 2 рази швидший за GPT-4o при однаковій якості.

Як обрати модель під задачу?

Вартість API для базової версії — близько $0.25 за мільйон токенів, що для середнього сервера становить $10–20 на місяць. Економія на модерації — до $200 на місяць.

import discord
from discord.ext import commands
from discord import app_commands
from anthropic import AsyncAnthropic
import asyncio

class AIBot(commands.Bot):

    def __init__(self):
        intents = discord.Intents.default()
        intents.message_content = True
        super().__init__(command_prefix='!', intents=intents)
        self.anthropic = AsyncAnthropic(api_key="ANTHROPIC_API_KEY")
        self.conversations: dict[int, list] = {}  # channel_id -> history

    async def setup_hook(self):
        await self.tree.sync()

bot = AIBot()

@bot.tree.command(name="ask", description="Задать вопрос AI-ассистенту")
@app_commands.describe(question="Ваш вопрос")
async def ask(interaction: discord.Interaction, question: str):
    await interaction.response.defer()

    response = await bot.anthropic.messages.create(
        model="claude-haiku-4-5",
        max_tokens=1024,
        messages=[{"role": "user", "content": question}]
    )

    answer = response.content[0].text
    if len(answer) > 1900:
        answer = answer[:1900] + "..."

    await interaction.followup.send(answer)

@bot.tree.command(name="chat", description="Начать AI-диалог в треде")
async def start_chat(interaction: discord.Interaction):
    thread = await interaction.channel.create_thread(
        name=f"AI Chat с {interaction.user.display_name}",
        type=discord.ChannelType.private_thread,
    )
    await thread.add_user(interaction.user)
    bot.conversations[thread.id] = []

    await interaction.response.send_message(
        f"Открыл для вас приватный AI-чат: {thread.mention}"
    )
    await thread.send("Привет! Я AI-ассистент. Задайте любой вопрос.")

@bot.event
async def on_message(message: discord.Message):
    if message.author == bot.user:
        return

    if message.channel.id in bot.conversations:
        history = bot.conversations[message.channel.id]
        history.append({"role": "user", "content": message.content})

        async with message.channel.typing():
            response = await bot.anthropic.messages.create(
                model="claude-haiku-4-5",
                max_tokens=2048,
                messages=history[-10:],
            )
            answer = response.content[0].text

        history.append({"role": "assistant", "content": answer})
        bot.conversations[message.channel.id] = history[-20:]

        for chunk in [answer[i:i+1900] for i in range(0, len(answer), 1900)]:
            await message.reply(chunk)

    await bot.process_commands(message)

Модерація та аналіз зображень

Модерація контенту через AI

@bot.event
async def on_message(message: discord.Message):
    if message.author.bot:
        return

    if await is_toxic(message.content):
        await message.delete()
        await message.channel.send(
            f"{message.author.mention}, это сообщение нарушает правила сообщества.",
            delete_after=10,
        )
        return

async def is_toxic(text: str) -> bool:
    response = await bot.anthropic.messages.create(
        model="claude-haiku-4-5",
        max_tokens=10,
        messages=[{
            "role": "user",
            "content": f"Is this message toxic/harmful? Reply only 'yes' or 'no': {text}"
        }],
        temperature=0,
    )
    return "yes" in response.content[0].text.lower()

Обробка зображень

import aiohttp
import base64

@bot.tree.command(name="analyze", description="Анализировать изображение")
@app_commands.describe(image="Прикрепите изображение")
async def analyze_image(interaction: discord.Interaction, image: discord.Attachment):
    if not image.content_type.startswith("image/"):
        await interaction.response.send_message("Нужно изображение!")
        return

    await interaction.response.defer()

    async with aiohttp.ClientSession() as session:
        async with session.get(image.url) as resp:
            image_data = base64.b64encode(await resp.read()).decode()

    response = await bot.anthropic.messages.create(
        model="claude-haiku-4-5",
        max_tokens=1024,
        messages=[{
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {"type": "base64", "media_type": "image/jpeg", "data": image_data}
                },
                {"type": "text", "text": "Опиши что на изображении."}
            ]
        }]
    )

    await interaction.followup.send(response.content[0].text)

Що входить у роботу

• Вихідний код бота з коментарями
• Конфігурація для деплою (Docker, AWS Fargate)
• Документація за командами та налаштуванням
• Навчання команди основам роботи з ботом
• 2 тижні безкоштовної підтримки після запуску

Процес роботи та строки

Процес роботи

1. Аналітика — вивчаємо вашу спільноту, збираємо історію модерацій, визначаємо scope.
2. Проєктування — обираємо стек: бот на Python (discord.py) або JS (discord.js) для розробки діалогового бота, модель (Claude/GPT/Open Source), векторну БД (Chroma/Qdrant) для RAG.
3. Реалізація — пишемо код, підключаємо API, додаємо команди.
4. Тестування — запускаємо в staging, перевіряємо accuracy та latency.
5. Деплой — публікуємо в Discord Developer Portal, налаштовуємо моніторинг.
6. Пост-реліз — два тижні підтримки: фікс багів, підстроювання промптів.

Строки

• Базова версія (модерація + /ask) — від 3 до 5 робочих днів.
• Повноцінний бот (діалог, image analysis, RAG) — від 7 до 10 робочих днів.
• Публікація та моніторинг — +1–2 дні.

Вартість розраховується індивідуально — залежить від вибору моделі, кількості користувачів та потрібної функціональності. Зв'яжіться з нами — оцінимо ваш проєкт за 1 робочий день. Отримайте консультацію інженера.

Типові помилки та гарантії

Типові помилки при розробці

Часта помилка — ігнорування контексту. Якщо пам'ять обмежена 1–2 повідомленнями, бот виглядає дурним. Тому ми зберігаємо мінімум 10 повідомлень в історії. Також необхідна дефолтна відповідь на випадок, якщо модель відмовляється відповідати — ми задаємо fallback: «Вибачте, не зрозумів. Спробуйте уточнити». Важно враховувати ліміти Discord: 2000 символів на повідомлення. Ріжемо відповідь, додаємо «...» або розбиваємо на кілька повідомлень. Не можна забувати про rate limits — Discord API та API моделей мають ліміти. Використовуємо чергу запитів.

Гарантії

Ми — команда AI-інженерів з досвідом у NLP та MLOps. Реалізували 30+ ботів для спільнот (від 500 до 50 000 учасників). Гарантуємо стабільну роботу: SLA 99.9%, автоматичні бекапи історії діалогів, логування помилок. Протягом місяця після запуску безкоштовно доопрацьовуємо промпти під ваші кейси.

version: "3.8"
services:
  bot:
    image: your-repo/discord-llm-bot:latest
    environment:
      - DISCORD_TOKEN=${DISCORD_TOKEN}
      - ANTHROPIC_API_KEY=${ANTHROPIC_API_KEY}
    logging:
      driver: awslogs
      options:
        awslogs-group: discord-bot

Замовте розробку AI-бота для вашої спільноти. Зв'яжіться з нами для оцінки проєкту.

Практичний розбір LLM: fine-tuning, RAG, агенти, деплой

Модель GPT‑4 або Claude 3.5 Sonnet через публічне API — не рішення, а просто інструмент. Коли приходить вимога «зробити як ChatGPT, але на наших даних», за нею стоїть реальна інженерна задача: від налаштування промптів до навчання 70B‑моделі на власній інфраструктурі. LLM розробка під ключ — це складний стек, і ми займаємося цим понад 5 років. За цей час реалізовано понад 20 проєктів у галузі генеративного AI: від RAG‑систем для юридичних департаментів до кастомних агентів для техпідтримки. Де саме знаходиться ваша задача — залежить від даних, latency‑вимог, бюджету та того, наскільки критична конфіденційність.

Типова ситуація: клієнт уже спробував ChatGPT, але результати нестабільні — то відповідає точно, то галюцинує. Або потрібна інтеграція в корпоративний портал з дотриманням політик безпеки. Розберемо кожен шар стеку в деталях — від RAG до production‑деплою.

Чому RAG‑системи ламаються і як це виправити?

RAG (Retrieval‑Augmented Generation) виглядає просто: знайшли релевантні документи, поклали в контекст, модель відповіла. На практиці збоїть у кількох місцях.

Chunking без перекриття. Класична помилка: chunk_size=512, overlap=0. Якщо відповідь лежить на межі двох чанків, retrieval не знайде жодного з достатньою впевненістю. Рішення: overlap 15–25% від chunk_size, а краще sentence‑aware splitting через spaCy або NLTK, а не наївне розбиття за символами.

Поганий embedder. Текст‑embedding‑ada‑002 — хороший для загального випадку, але на юридичних або медичних текстах програє спеціалізованим моделям: E5‑large‑v2, BGE‑M3 або fine‑tuned sentence‑transformers на доменних даних. Різниця в Recall@5 може становити 15–25%.

Відсутність re‑ranking. Векторний пошук оптимізований за швидкістю, не за релевантністю. Cross‑encoder re‑ranker (ms‑marco‑MiniLM‑L‑6‑v2, bge‑reranker‑large) після первинного retrieval піднімає точність топ‑3 при прийнятній затримці (+50–150 ms). Це часто важливіше за покращення embedding‑моделі.

Гібридний пошук. Тільки dense вектори погано працюють на точних запитах: імена, артикули, коди. BM25 (sparse) добре знаходить точні збіги, але не розуміє семантику. Гібрид через RRF (Reciprocal Rank Fusion) — оптимальний компроміс. Qdrant, Weaviate та pgvector 0.7+ підтримують гібридний пошук нативно.

Коли варто fine‑tune, а не промпт‑інжиніринг?

Промпт‑інжиніринг вирішує ~70% завдань адаптації LLM під домен. Решта 30% вимагають донавчання. Три ознаки: модель ігнорує специфічний формат виведення навіть при детальному описі в промпті; задача вимагає глибокого знання спеціалізованої лексики (медицина, право); потрібно значно знизити витрати на токени, замінивши велику модель меншою спеціалізованою.

LoRA та QLoRA — стандарт для SFT. LoRA додає trainable low‑rank матриці до attention‑шарів. Типова конфігурація для Llama‑3 8B: r=64, lora_alpha=128, target_modules=["q_proj","v_proj","k_proj","o_proj"] — параметрів, що навчаються, ~0.8%, навчання на одній A100 40GB. QLoRA додає 4‑бітну квантизацію (NF4) і дозволяє fine‑tune 70B модель на двох A100 40GB, хоча швидкість падає вдвічі порівняно з bf16.

DPO замість RLHF. Direct Preference Optimization вимагає лише пари (chosen, rejected), а не скалярні reward‑сигнали. DPOTrainer з бібліотеки trl (Hugging Face) реалізує це кількома десятками рядків.

Типова помилка. Датасет з 500 прикладів, 5 епох, validation loss 0.8 — здається норм. Але на тесті модель деградувала на загальних інструкціях. Причина: catastrophic forgetting. Рішення — додати 10–20% загальних instruction‑following прикладів (Alpaca, FLAN) у навчальну вибірку, щоб не зруйнувати вихідні здібності.

Як обрати базову модель: 8B чи 70B?

Для більшості задач fine‑tuning 8B моделі достатньо. 70B потрібен, коли потрібне глибоке міркування або baseline 8B не досягає потрібної якості навіть після донавчання. Вартість інференсу Llama‑3 8B через vLLM на A100 значно нижча, ніж у GPT‑4, що робить його економічно вигідним.

Що дає PagedAttention в production?

vLLM — перший вибір для serving open‑source моделей. PagedAttention — ключове технічне рішення: KV‑cache керується як virtual memory в ОС, без фрагментації. Це дає throughput у 2–4 рази вище порівняно з наївним HuggingFace Transformers inference. Документація vLLM підтверджує: continuous batching та PagedAttention — стандарт для високонавантажених LLM‑сервісів.

Типові числа на A100 80GB для Llama‑3 8B (bf16): 400–600 req/s, P50 latency 200–400ms, P99 latency 600–900ms при concurrency 64. Для 70B на двох A100 з tensor parallelism: 80–120 req/s, P99 latency 1.5–2.5s. Квантизація AWQ або GPTQ знижує споживання пам'яті в 2 рази при втраті якості в межах 1–3%.

Мультиагентні системи

Агенти — LLM з доступом до інструментів: пошук, виконання коду, запити до API, робота з БД. Основні патерни:

• ReAct (Reason + Act): модель розмірковує → обирає інструмент → спостерігає результат → знову розмірковує. LangChain та LlamaIndex реалізують з коробки.
• Multi‑agent orchestration: кілька спеціалізованих агентів з координатором зверху. Приклад: coordinator → researcher (пошук + summarization) → coder (генерація та виконання коду) → critic (перевірка). Інструменти: AutoGen (Microsoft), CrewAI, кастомна реалізація на LangGraph.

В продакшені агентні системи недетерміновані. Обов'язкові guardrails, ліміти кроків, логування кожного кроку, human‑in‑the‑loop для критичних дій.

Як ми гарантуємо якість LLM рішення?

Ми використовуємо RAGAS для автоматичної оцінки відповідей: faithfulness, answer relevancy, context precision. Система трекінгу експериментів на базі MLflow фіксує всі метрики, датасети та конфіги. Це дозволяє порівнювати різні гіпотези та доводити покращення з цифрами. Гарантію стабільної роботи забезпечує continuous integration з тестами на специфічних сценаріях (prompt injection, edge‑cases).

Як почати LLM розробку: наступні кроки

Ми передаємо:

• Технічну документацію (model card, конфіги, інструкції з розгортання)
• Доступ до інфраструктури (репозиторій з кодом, навчені ваги)
• 1 місяць підтримки після деплою (консультації, виправлення багів)
• Навчання команди замовника (2–3 заняття з експлуатації системи)

Терміни: базовий RAG‑прототип — 1–2 тижні. Fine‑tuning з даними замовника — 3–6 тижнів (з урахуванням підготовки даних). Production‑система з моніторингом та перенавчанням — 2–4 місяці.

Вартість розраховується індивідуально і залежить від обсягу даних, складності моделі та вимог до інфраструктури. Хочете оцінити свій проєкт? Зв'яжіться з нами — ми підготуємо попереднє резюме за 1–2 робочі дні. Або замовте консультацію фахівця з вибору підходу: RAG, fine‑tuning або гібрид — розповімо, що підійде саме вам.