Інтеграція Meta Llama API через Together AI Fireworks Groq

Інтеграція Meta Llama API через Together AI, Fireworks, Groq

Llama 3 та 3.1/3.2 — найпотужніші open-source LLM від Meta, доступні через хмарних провайдерів без необхідності власної інфраструктури. Together AI, Fireworks AI та Groq надають OpenAI-сумісні API, що спрощує інтеграцію та міграцію.

Together AI — найширший вибір моделей

from openai import OpenAI

# Together AI використовує OpenAI-сумісний API
together_client = OpenAI(
    api_key="TOGETHER_API_KEY",
    base_url="https://api.together.xyz/v1",
)

response = together_client.chat.completions.create(
    model="meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo",
    messages=[{"role": "user", "content": "Поясни роботу механізму attention"}],
    temperature=0.1,
    max_tokens=2048,
)
print(response.choices[0].message.content)

# Доступні моделі Llama через Together:
LLAMA_MODELS = [
    "meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo",  # Максимальна якість
    "meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo",   # Баланс
    "meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo",    # Швидка та дешева
    "meta-llama/Llama-3.2-11B-Vision-Instruct-Turbo", # Мультимодальна
]

Groq — надзвичайно швидкий інференс

from groq import Groq

groq_client = Groq(api_key="GROQ_API_KEY")

# Groq використовує LPU (Language Processing Unit) — спеціалізоване залізо
# Швидкість: 500–800 токенів/сек vs 50–100 токенів/сек від GPU-провайдерів
response = groq_client.chat.completions.create(
    model="llama-3.1-70b-versatile",
    messages=[{"role": "user", "content": "Потрібна швидка відповідь"}],
    temperature=0,
)

# Доступні моделі в Groq:
GROQ_MODELS = [
    "llama-3.1-70b-versatile",
    "llama-3.1-8b-instant",
    "mixtral-8x7b-32768",
    "gemma2-9b-it",
]

Fireworks AI — оптимізований інференс

from openai import OpenAI

fireworks_client = OpenAI(
    api_key="FIREWORKS_API_KEY",
    base_url="https://api.fireworks.ai/inference/v1",
)

response = fireworks_client.chat.completions.create(
    model="accounts/fireworks/models/llama-v3p1-70b-instruct",
    messages=[{"role": "user", "content": "Запит"}],
)

Вибір провайдера

Локальне розгортання (Ollama)

ollama pull llama3.1:70b
ollama pull llama3.2:3b  # Для CPU

local_client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
response = local_client.chat.completions.create(model="llama3.1:8b", messages=[...])

Терміни

• Інтеграція OpenAI-сумісного API: 0.5 дня
• Порівняльне тестування провайдерів: 1–2 дні
• Налаштування fallback між провайдерами: 1–2 дні