Интеграция PromptLayer для версионирования и мониторинга промптов

Интеграция PromptLayer для версионирования и мониторинга промптов

PromptLayer — middleware платформа, которая перехватывает вызовы к LLM API (OpenAI, Anthropic), логирует запросы и ответы, связывает их с версиями промптов и предоставляет аналитику. Интеграция занимает 30 минут — достаточно добавить один параметр в существующий код.

Установка и базовая интеграция

pip install promptlayer

import promptlayer
from promptlayer import openai  # Замена стандартного openai клиента

promptlayer.api_key = "pl_..."

# Вместо: from openai import OpenAI; client = OpenAI()
# Используем:
client = promptlayer.openai.OpenAI()

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Summarize: {{document}}"}],
    pl_tags=["summarization", "v2"],  # Теги для фильтрации
    return_pl_id=True  # Возврат ID для последующей разметки
)

pl_request_id = response[1]  # PromptLayer request ID

# Последующая разметка (score, ground truth)
promptlayer.track.score(
    request_id=pl_request_id,
    score=85  # 0-100 — качество ответа
)

Prompt Templates в PromptLayer

# Создание template через API
template = promptlayer.templates.get(
    "summarization-v2",
    provider="openai",
    model="gpt-4o"
)

# Использование template с переменными
response, pl_id = promptlayer.run(
    template_name="summarization-v2",
    input_variables={"document": long_document_text},
    tags=["production"],
    return_pl_id=True
)

PromptLayer автоматически логирует: токены, стоимость, latency, версию промпта, входные переменные и ответ. Dashboard доступен по адресу promptlayer.com — без дополнительной настройки.