Впровадження платформи управління промптами

Впровадження платформи управління промптами

Prompt Management Platform – централізована система для зберігання, версіонування, тестування та деплою промптів LLM. При роботі з десятками промптів у production необхідність у такій платформі стає очевидною: промпти змінюються, їхній ефект потрібно вимірювати, а відкат до попередньої версії має бути миттєвим.

Проблеми без керування промптами

• Промпти хардшкірени в коді - зміна вимагає деплою
• Немає історії: незрозуміло, що і коли змінилося
• Ні A/B тестування: неясно, яка версія промпту краща
• Різні середовища (dev/staging/prod) використовують різні промпти випадково
• Немає метрик якості для кожної версії промпту

Архітектура Prompt Registry

from dataclasses import dataclass
from typing import Optional
import hashlib

@dataclass
class PromptVersion:
    id: str
    name: str
    version: int
    content: str
    variables: list[str]  # Переменные в промпте {{variable}}
    model: str
    temperature: float
    max_tokens: int
    created_by: str
    created_at: datetime
    metadata: dict
    hash: str = None

    def __post_init__(self):
        self.hash = hashlib.sha256(self.content.encode()).hexdigest()[:8]

class PromptRegistry:
    def __init__(self, db_connection, cache):
        self.db = db_connection
        self.cache = cache

    def register(self, name: str, content: str, model: str = "gpt-4o",
                 temperature: float = 0.0, **kwargs) -> PromptVersion:
        """Регистрация новой версии промпта"""
        last_version = self.db.get_latest_version(name)
        version_num = (last_version.version + 1) if last_version else 1

        variables = self._extract_variables(content)  # {{var}} → ['var']

        prompt = PromptVersion(
            id=str(uuid.uuid4()),
            name=name,
            version=version_num,
            content=content,
            variables=variables,
            model=model,
            temperature=temperature,
            max_tokens=kwargs.get('max_tokens', 1000),
            created_by=kwargs.get('created_by', 'system'),
            created_at=datetime.utcnow(),
            metadata=kwargs.get('metadata', {})
        )

        self.db.save(prompt)
        return prompt

    def get(self, name: str, version: str = "latest",
            environment: str = "production") -> PromptVersion:
        """Получение промпта по имени и версии"""
        cache_key = f"prompt:{name}:{version}:{environment}"
        cached = self.cache.get(cache_key)
        if cached:
            return cached

        if version == "latest":
            prompt = self.db.get_latest_deployed(name, environment)
        else:
            prompt = self.db.get_by_version(name, int(version))

        self.cache.set(cache_key, prompt, ttl=300)
        return prompt

    def render(self, name: str, variables: dict, **kwargs) -> str:
        """Получение и рендеринг промпта"""
        prompt = self.get(name, **kwargs)
        rendered = prompt.content
        for var, value in variables.items():
            rendered = rendered.replace(f"{{{{{var}}}}}", str(value))

        # Проверка: все переменные заполнены?
        missing = [v for v in prompt.variables if f"{{{{{v}}}}}" in rendered]
        if missing:
            raise ValueError(f"Missing variables: {missing}")

        return rendered

Деплой промптів по оточенням

class PromptDeploymentManager:
    def deploy(self, prompt_name: str, version: int,
               environment: str, require_review: bool = True):
        prompt = self.registry.get_by_version(prompt_name, version)

        if require_review and not prompt.is_reviewed:
            raise ValueError("Prompt requires review before deployment to production")

        # Запись деплоя
        self.db.create_deployment(
            prompt_id=prompt.id,
            environment=environment,
            deployed_by=current_user(),
            deployed_at=datetime.utcnow()
        )

        # Инвалидация кэша
        self.cache.delete(f"prompt:{prompt_name}:latest:{environment}")

        # Webhook уведомление
        self.notify_team(
            f"Prompt '{prompt_name}' v{version} deployed to {environment}"
        )

Метрики якості промптів

Для кожного промпту та версії потрібно вимірювати: latency (час відповіді), token usage (вартість), output quality score (автоматична оцінка через LLM-judge або human evaluation), task-specific метрики (precision@k для RAG, helpfulness score для чат-ботів).

Інтеграція з LangSmith, Weights & Biases або кастомним трекером дозволяє порівнювати версії промптів цими метриками і приймати data-driven рішення про оновлення.