Дообчання (Fine-Tuning) мовної моделі GigaChat (Сбер)

Дотонування мовної моделі GigaChat (Сбер)

GigaChat — мовна модель Сбера, доступна через GigaChat API. Дотонування моделі реалізовано у межах корпоративного сегменту (GigaChat Pro / GigaChat Enterprise) та дозволяє адаптувати модель до специфіки вашого бізнесу. Модель первинно орієнтована на російськомовний ринок, що робить її пріоритетним вибором для завдань, пов'язаних з російськомовним контентом, російськими бухгалтерськими документами (РСБУ) та взаємодією у межах російської нормативно-правової бази.

Доступ до дотонування GigaChat

GigaChat API надається через платформу Sber Cloud. Для дотонування потрібен корпоративний контракт та доступ до відповідного тарифу. Стандартний доступ через API надає базові моделі GigaChat Lite, GigaChat Pro та GigaChat Max; дотонування доступне через GigaChat Enterprise або спеціальний запит до корпоративного відділу.

Аутентифікація через OAuth 2.0:

import requests
import base64

credentials = base64.b64encode(
    f"{client_id}:{client_secret}".encode()
).decode()

response = requests.post(
    "https://ngw.devices.sberbank.ru:9443/api/v2/oauth",
    headers={
        "Authorization": f"Basic {credentials}",
        "RqUID": "unique-request-id",
    },
    data={"scope": "GIGACHAT_API_CORP"}
)
access_token = response.json()["access_token"]

Формат даних для дотонування

GigaChat приймає тренувальні дані як діалогові пари в форматі JSON. Кожен приклад — повний контекст розмови з ролями:

{
  "messages": [
    {
      "role": "system",
      "content": "Ти — помічник страхової компанії. Допомагаєш клієнтам розібратися з умовами страхових продуктів."
    },
    {
      "role": "user",
      "content": "Що покривається під час КАСКО при ДТП з вини третьої особи?"
    },
    {
      "role": "assistant",
      "content": "При ДТП з вини третьої особи за полісом КАСКО покривається: збиток від зіткнення незалежно від вини, вартість відновлювального ремонту..."
    }
  ]
}

Переваги для російського ринку

Фінансова нормативна відповідність: GigaChat тренується на російських нормативних документах, включаючи рекомендації Центрального банку, стандарти РСБУ, форми податкової звітності. Це зменшує обсяг даних, необхідних для дотонування фінансових завдань.

Медична документація: шаблони Міністерства охорони здоров'я, клінічні рекомендації, МКБ-10, інтеграція з Соціальним фондом. Вроджена підтримка російської медичної термінології.

Державні послуги: робота з SMEV документами, форматами відомств, специфічною термінологією публічного сектору.

Безпека даних: дані залишаються в межах периметру Sber Cloud, критично для банків, страхових компаній, державних організацій.

Практичний приклад: помічник для банківського чат-бота

Завдання: дотонувати GigaChat Pro для обробки вхідних запитів до роздрібного банку — відповіді на питання про продукти, маршрутизація складних запитів до операторів.

Набір даних: 3500 діалогів з реального листування (анонімізовані), охоплюючи 45 тем (кредити, вклади, карти, переводи, спори щодо операцій).

Етапи підготовки даних:

1. Видалити діалоги з CRM
2. Деперсоналізувати (замінити імена, номери карт, телефони)
3. Відфільтрувати діалоги з негативним результатом (клієнт не отримав відповідь)
4. Позначити складні випадки, які потребують маршрутизації
5. Збалансувати за темами (не більше 15% від однієї категорії)

Результати:

• CSAT (задоволення клієнта відповіддю бота): 3.2 → 4.1 з 5
• Відсоток коректної маршрутизації: 71% → 94%
• Зменшення рівня Escalation (запити передані операторові): 61% → 38%
• Середній час діалогу: -22%

Обмеження дотонування GigaChat

• Закриті ваги: як і GPT-4o, ви отримуєте розміщений кінцевий пункт без доступу до ваг
• Блокування інфраструктури: тільки Sber Cloud, без розгортання на місці
• Корпоративний поріг: дотонування недоступне на безплатних тарифах
• Розмір контексту: 32K токенів — менше, ніж Qwen2.5 або Claude 3.5 Sonnet

Порівняння зі спорідненими рішеннями

Графік проекту

• Аудит завдання, оцінка набору даних: 3–5 днів
• Підготовка даних та деперсоналізація: 2–4 тижні
• Ітеративне тренування: 1–2 тижні
• Тестування, A/B: 1 тиждень
• Інтеграція, моніторинг: 1–2 тижні
• Усього: 5–9 тижнів