Інтеграція PromptLayer для версіонування та моніторингу промптів

Інтеграція PromptLayer для версіонування та моніторингу промптів

PromptLayer — middleware платформа, яка перехоплює виклики до LLM API (OpenAI, Anthropic), логує запити та відповіді, пов'язує їх із версіями промптів та надає аналітику. Інтеграція займає 30 хвилин - достатньо додати один параметр до існуючого коду.

Встановлення та базова інтеграція

pip install promptlayer

import promptlayer
from promptlayer import openai  # Замена стандартного openai клиента

promptlayer.api_key = "pl_..."

# Вместо: from openai import OpenAI; client = OpenAI()
# Используем:
client = promptlayer.openai.OpenAI()

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Summarize: {{document}}"}],
    pl_tags=["summarization", "v2"],  # Теги для фильтрации
    return_pl_id=True  # Возврат ID для последующей разметки
)

pl_request_id = response[1]  # PromptLayer request ID

# Последующая разметка (score, ground truth)
promptlayer.track.score(
    request_id=pl_request_id,
    score=85  # 0-100 — качество ответа
)

Prompt Templates у PromptLayer

# Создание template через API
template = promptlayer.templates.get(
    "summarization-v2",
    provider="openai",
    model="gpt-4o"
)

# Использование template с переменными
response, pl_id = promptlayer.run(
    template_name="summarization-v2",
    input_variables={"document": long_document_text},
    tags=["production"],
    return_pl_id=True
)

PromptLayer автоматично логує: токени, вартість, latency, версію промпту, вхідні змінні та відповідь. Dashboard доступний за адресою promptlayer.com без додаткового налаштування.