Token Counting і бюджетування LLM-запитів: управління витратами

Як не втратити бюджет на LLM: token counting і бюджетування

Уявіть: команда розробників інтегрувала GPT-4 для обробки запитів клієнтів, а за місяць рахунок за API зріс до $5000 замість очікуваних $500. Причина — кожен запит містив системний промпт на 2000 токенів, а дублюючі запити не кешувалися. Token counting і бюджетування — це не опція, а необхідність для будь-якого продакшену, що працює з LLM. Без них ви ризикуєте отримати рахунок у 5–10 разів більший за очікування. OpenAI підтверджує, що token counting знижує витрати на 20–40%.

Ми впровадили систему управління витратами для SaaS-платформи з 10 000 щоденних запитів до GPT-4 і Claude. Результат: зниження витрат на 35% за перший місяць. Як ми це зробили і як повторити успіх — розберемо нижче.

Чому важливо бюджетувати запити LLM?

LLM-запити непередбачувані за вартістю: довжина вихідного токену варіюється, а системні промпти часто роздуваються без контролю. Без бюджетування легко отримати рахунок у 5–10 разів більший за очікування. Бюджетування вирішує три завдання:

• Запобігання перевитратам: алерти при перевищенні денного або місячного ліміту.
• Оптимізація вартості: виявлення неефективних промптів і моделей.
• Прозорість для команд: дашборди з деталізацією по користувачах, функціях і моделях.

Як працює token counting у продакшені?

Token counting — це оцінка кількості токенів запиту до відправлення. Для OpenAI використовуємо бібліотеку tiktoken, для Anthropic — вбудований лічильник. Приклад підрахунку:

import tiktoken def count_tokens_openai(text: str, model: str = "gpt-4") -> int: enc = tiktoken.encoding_for_model(model) return len(enc.encode(text)) def estimate_request_cost(prompt: str, max_completion: int = 1000, model: str = "gpt-4-turbo") -> dict: input_tokens = count_tokens_openai(prompt, model) total_tokens = input_tokens + max_completion prices = { "gpt-4-turbo": {"input": 10.0, "output": 30.0}, "gpt-4o": {"input": 5.0, "output": 15.0}, "gpt-4o-mini": {"input": 0.15, "output": 0.60}, "claude-3-5-sonnet": {"input": 3.0, "output": 15.0}, } price = prices.get(model, {"input": 10.0, "output": 30.0}) estimated_cost = (input_tokens / 1_000_000 * price["input"] + max_completion / 1_000_000 * price["output"]) return {"input_tokens": input_tokens, "max_output_tokens": max_completion, "estimated_cost_usd": estimated_cost} 

Оцінка вартості дозволяє відхиляти запити, що перевищують ліміт користувача або команди.

Як знизити витрати на LLM?

Один із ефективних методів — автоматичний роутинг моделей. Наприклад, для простих завдань (вилучення даних, базова класифікація) використовуємо GPT-4o-mini, який у 10 разів дешевший за GPT-4-turbo, але дає порівняні результати. Для складних генерацій залишаємо топові моделі. У нашому кейсі це знизило середню вартість запиту з $0.03 до $0.008.

Також впроваджуємо кешування: дублюючі запити (наприклад, повторні питання від користувачів) обслуговуємо з Redis-кешу, що економить до 40% бюджету. Використовуємо LRU-кеш з TTL 24 години.

Система бюджетування з Redis і Middleware

Для зберігання лімітів використовуємо Redis — він швидкий і підтримує атомарні операції. Структура бюджету:

from dataclasses import dataclass, field import threading @dataclass class TokenBudget: daily_limit_usd: float monthly_limit_usd: float per_user_daily_limit_usd: float = 1.0 spent_today: float = field(default=0.0) spent_month: float = field(default=0.0) _lock: threading.Lock = field(default_factory=threading.Lock) class LLMBudgetManager: def __init__(self, redis_client, budget: TokenBudget): self.redis = redis_client self.budget = budget def check_and_reserve(self, user_id: str, estimated_cost: float) -> bool: """Перевірка бюджету перед запитом""" daily_spent = float(self.redis.get(f"budget:daily") or 0) if daily_spent + estimated_cost > self.budget.daily_limit_usd: raise BudgetExceededError(f"Денний бюджет ${self.budget.daily_limit_usd} перевищено") user_spent = float(self.redis.get(f"budget:user:{user_id}:daily") or 0) if user_spent + estimated_cost > self.budget.per_user_daily_limit_usd: raise BudgetExceededError(f"Денний бюджет користувача ${self.budget.per_user_daily_limit_usd} перевищено") pipe = self.redis.pipeline() pipe.incrbyfloat(f"budget:daily", estimated_cost) pipe.expire(f"budget:daily", 86400) pipe.incrbyfloat(f"budget:user:{user_id}:daily", estimated_cost) pipe.expire(f"budget:user:{user_id}:daily", 86400) pipe.execute() return True def record_actual_cost(self, user_id: str, actual_cost: float, estimated_cost: float): correction = actual_cost - estimated_cost if abs(correction) > 0.001: self.redis.incrbyfloat("budget:daily", correction) 

import functools def track_llm_cost(model: str = "gpt-4o"): def decorator(func): @functools.wraps(func) async def wrapper(*args, **kwargs): result = await func(*args, **kwargs) if hasattr(result, 'usage'): cost = compute_cost(result.usage.prompt_tokens, result.usage.completion_tokens, model) analytics.record(function=func.__name__, model=model, cost=cost, input_tokens=result.usage.prompt_tokens, output_tokens=result.usage.completion_tokens) return result return wrapper return decorator