Маршрутизация запросов между LLM-провайдерами: LLM Router

Вступление: реальная проблема переплаты за LLM

С каждым LLM-запросом вы платите за токены, но не все запросы одинаково сложны. Простой запрос статуса заказа не требует мощности GPT-4o, а генерация кода нуждается в Claude. Постоянный вызов одной топ-модели для всех задач разоряет бюджет: до 5× переплаты без улучшения качества. LLM Router решает эту асимметрию — направляет запрос к провайдеру и модели, которые оптимально соответствуют задаче по стоимости, задержке и качеству.

У нас за плечами более 5 лет опыта в AI-инфраструктуре и 30+ проектов по внедрению роутинга для клиентов из fintech, e-commerce и SaaS. Мы видели, как компании платят $3000/мес за GPT-4, хотя 70% их запросов можно отдать на Groq за $200. Типичная экономия на внедрении роутера — от $500 до $5000 в месяц.

Какие проблемы решает LLM Router?

Мы сталкиваемся с тремя типичными ситуациями:

• Раздутый бюджет на AI-инфраструктуру. Команды используют одну дорогую модель для всех задач — 60% запросов можно отдать за копейки через Groq или GPT-4o-mini.
• Latency-критичные сценарии. Чат-бот поддержки должен отвечать за 200 мс, а не за 3 секунды. Groq с Llama 3 гарантирует p99 < 100 мс.
• Качество на сложных задачах. Код, математика, multi-step reasoning — здесь дешёвые модели сыплют ошибками. Нужен Claude или o3-mini.

Мы решаем это одним инструментом — централизованным роутером, который знает характеристики каждого провайдера и динамически выбирает лучший вариант.

Как LLM Router снижает затраты на API?

Rule-based роутер: прозрачно и быстро — маршрутизация запросов между

Для проекта SaaS-платформы с 60% простых запросов мы внедрили роутер на основе правил (см. код ниже). Простые запросы (<200 символов, без маркеров сложности) — на Groq Llama 8B, аналитика — GPT-4o-mini, код — Claude Sonnet. Результат: стоимость упала с $450/месяц до $124/месяц (снижение на 72%) при A/B-тесте, где 98% пользователей не заметили разницы. В другом проекте затраты снизились с $1200 до $340, а на крупном потоке — с $3000 до $720.

from anthropic import Anthropic from openai import OpenAI from groq import Groq from dataclasses import dataclass from typing import Callable, Optional import re @dataclass class RoutingRule: name: str condition: Callable[[str, dict], bool] provider: str model: str reason: str class LLMRouter: def __init__(self): self.openai_client = OpenAI() self.anthropic_client = Anthropic() self.groq_client = Groq() self.rules: list[RoutingRule] = [ # Realtime/простые запросы → Groq (быстро и дёшево) RoutingRule( name="simple_chat", condition=lambda text, meta: len(text) < 200 and not meta.get("complex"), provider="groq", model="llama-3.1-8b-instant", reason="Short simple query — using fast inference", ), # Code generation → Claude (лучшее качество кода) RoutingRule( name="code_generation", condition=lambda text, meta: self._is_code_task(text), provider="anthropic", model="claude-sonnet-4-5", reason="Code task — Claude performs better", ), # Reasoning/математика → o3-mini RoutingRule( name="reasoning", condition=lambda text, meta: self._is_reasoning_task(text), provider="openai", model="o3-mini", reason="Reasoning task — using o3-mini", ), # Default — GPT-4o RoutingRule( name="default", condition=lambda text, meta: True, provider="openai", model="gpt-4o", reason="Default routing", ), ] def _is_code_task(self, text: str) -> bool: code_keywords = [ "напиши код", "реализуй", "функция", "класс", "алгоритм", "python", "javascript", "sql", "рефакторинг", "отладь" ] return any(kw in text.lower() for kw in code_keywords) def _is_reasoning_task(self, text: str) -> bool: reasoning_keywords = [ "докажи", "вычисли", "оптимизируй", "найди оптимальное", "математически", "логически следует", "минимизируй" ] return any(kw in text.lower() for kw in reasoning_keywords) def route(self, text: str, meta: dict = None) -> RoutingRule: """Определяет провайдера для запроса""" meta = meta or {} for rule in self.rules: if rule.condition(text, meta): return rule return self.rules[-1] # Default def complete( self, messages: list[dict], system: str = None, **kwargs ) -> str: """Выполняет запрос через оптимального провайдера""" user_message = messages[-1]["content"] if messages else "" rule = self.route(user_message) print(f"[Router] {rule.name} → {rule.provider}/{rule.model}: {rule.reason}") if rule.provider == "anthropic": return self._call_anthropic(messages, rule.model, system, **kwargs) elif rule.provider == "openai": return self._call_openai(messages, rule.model, system, **kwargs) elif rule.provider == "groq": return self._call_groq(messages, rule.model, system, **kwargs) def _call_anthropic(self, messages, model, system, **kwargs) -> str: kwargs.pop("temperature", None) if "o" in model else None response = self.anthropic_client.messages.create( model=model, max_tokens=kwargs.get("max_tokens", 2048), system=system or "", messages=messages, temperature=kwargs.get("temperature", 0.1), ) return response.content[0].text def _call_openai(self, messages, model, system, **kwargs) -> str: all_messages = [] if system: all_messages.append({"role": "system", "content": system}) all_messages.extend(messages) params = {"model": model, "messages": all_messages} if "o1" not in model and "o3" not in model: params["temperature"] = kwargs.get("temperature", 0.1) response = self.openai_client.chat.completions.create(**params) return response.choices[0].message.content def _call_groq(self, messages, model, system, **kwargs) -> str: all_messages = [] if system: all_messages.append({"role": "system", "content": system}) all_messages.extend(messages) response = self.groq_client.chat.completions.create( model=model, messages=all_messages, temperature=kwargs.get("temperature", 0), ) return response.choices[0].message.content 

from sentence_transformers import SentenceTransformer import numpy as np class SemanticRouter: """Роутинг на основе семантического сходства с примерами задач""" def __init__(self): self.model = SentenceTransformer("BAAI/bge-small-en-v1.5") # Примеры задач для каждого провайдера self.routes = { "groq_fast": [ "what time is it", "hello", "who are you", "привет", "простой вопрос", "краткий ответ" ], "anthropic_code": [ "write a python function", "debug this code", "refactor this class", "implement algorithm", "код на python", "напиши функцию" ], "openai_reasoning": [ "solve this math problem", "prove this theorem", "optimize this algorithm", "logical deduction", "математическая задача", "докажи утверждение" ], } # Предвычисляем эмбеддинги self.route_embeddings = {} for route, examples in self.routes.items(): self.route_embeddings[route] = self.model.encode(examples) def route(self, query: str) -> str: query_embedding = self.model.encode(query) best_route = "openai_default" best_score = 0.5 # Минимальный порог for route, embeddings in self.route_embeddings.items(): scores = np.dot(embeddings, query_embedding) / ( np.linalg.norm(embeddings, axis=1) * np.linalg.norm(query_embedding) ) max_score = scores.max() if max_score > best_score: best_score = max_score best_route = route return best_route