Інтеграція Mistral AI API Mistral Large Small Codestral

Інтеграція Mistral AI API: Mistral Large, Small, Codestral

Mistral AI — європейський провайдер LLM. Ключові переваги: відповідність GDPR (дані обробляються в ЄС), конкурентна вартість, open-source моделі для локального розгортання. Codestral — спеціалізована кодова модель з підтримкою Fill-in-the-Middle (FIM).

Інтеграція через офіційний SDK

from mistralai import Mistral

client = Mistral(api_key="MISTRAL_API_KEY")

# Базовий виклик
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Привіт"}],
    temperature=0.1,
)
print(response.choices[0].message.content)

# Асинхронність
import asyncio

async def async_chat(prompt: str) -> str:
    response = await client.chat.complete_async(
        model="mistral-small-latest",
        messages=[{"role": "user", "content": prompt}],
    )
    return response.choices[0].message.content

# Потокова передача
with client.chat.stream(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Довгий відповідь"}],
) as stream:
    for event in stream:
        print(event.data.choices[0].delta.content or "", end="")

Function Calling

tools = [{
    "type": "function",
    "function": {
        "name": "search_db",
        "description": "Пошук у корпоративній базі даних",
        "parameters": {
            "type": "object",
            "properties": {
                "query": {"type": "string"},
                "limit": {"type": "integer", "default": 10},
            },
            "required": ["query"]
        }
    }
}]

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Знайди інформацію про клієнта Іванова"}],
    tools=tools,
    tool_choice="auto",
)

Codestral для коду (FIM)

# Fill-in-the-Middle — заповнення коду між префіксом та суфіксом
fim_response = client.fim.complete(
    model="codestral-latest",
    prompt="def calculate_discount(price: float,",
    suffix=") -> float:\n    return discounted_price",
    temperature=0,
    max_tokens=256,
)
print(fim_response.choices[0].message.content)

# Генерування коду
code_response = client.chat.complete(
    model="codestral-latest",
    messages=[{"role": "user", "content": "Напиши Python функцію для парсингу CSV з обробкою помилок"}],
)

Вбудовування

response = client.embeddings.create(
    model="mistral-embed",
    inputs=["Перший документ", "Другий документ"],
)
embeddings = [item.embedding for item in response.data]

Вартість Mistral (2025)

Локальне розгортання через Ollama

ollama pull mistral:7b
ollama pull codestral:22b

# Mistral через Ollama — OpenAI-сумісний API
from openai import OpenAI
local_client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
response = local_client.chat.completions.create(
    model="mistral:7b",
    messages=[{"role": "user", "content": "Привіт"}],
)

Терміни

• Базова інтеграція: 0.5–1 день
• Codestral для IDE-асистента: 2–3 дні
• Локальне розгортання + оптимізація: 1 тиждень