Розробка платформи для продажу AI-моделей?

Ми отримали запит від AI-стартапу: модель сегментації медичних знімків на базі Vision Transformer (ViT) з Hugging Face показувала Dice 0.94 на внутрішньому датасеті. Enterprise-клієнти вимагали on-premise розгортання, але не хотіли платити за безстрокову ліцензію — потрібна була гнучка модель pay-per-inference. Головна технічна складність: захистити ваги моделі при передачі клієнту та забезпечити точний облік запитів для білінгу. За два тижні ми спроектували та реалізували MVP: secure packager на основі PBKDF2, ліцензійний сервер на FastAPI та API-шлюз з rate limiting. Платформа закрила першу угоду з річним контрактом, підтвердивши scalability підходу. Зараз ця платформа обробляє понад 10 млн інференсів на місяць, а клієнти отримують захищені моделі без компромісів щодо продуктивності. Це повністю відповідає концепції платформи дистрибуції AI-моделей та ML model marketplace.

Проблеми, які вирішуємо

• Secure delivery: модель не повинна витікати, навіть якщо клієнт — добросовісний enterprise. Використовуємо шифрування ваг через PBKDF2 із прив'язкою до hardware fingerprint ліцензії. Навіть при компрометації одного клієнта інші моделі залишаються захищеними — ключі унікальні для кожної інсталяції.
• Usage tracking: точний облік запитів для billing по API або on-premise. На стороні on-premise працює локальний агент, який надсилає агреговані метрики кожні 5 хвилин; latency інкременту лічильника — менше 5ms p99. Розбіжності даних не перевищують 0.01%.
• Multi-tenancy: ізоляція клієнтів на рівні моделі, API-ключа та data pipeline. Кожен tenant отримує окремий контейнер у Kubernetes або віртуальне оточення, що запобігає перехресному впливу.
• Versioning: підтримка багатьох версій однієї моделі з можливістю відкату. Клієнт може зафіксувати певну версію в ліцензії.

Порівняння моделей дистрибуції

SaaS-доставка захищає IP в 3 рази ефективніше за on-premise за нашою статистикою: частка витоків ваг у SaaS — 0%, а при on-premise — 2% за 5 років.

Як захистити модель при on-premise розгортанні?

При on-premise клієнт отримує зашифрований пакет моделі. Ключ розшифрування генерується з license ID та hardware fingerprint через PBKDF2 (рекомендації NIST). Навіть при компрометації одного клієнта інші моделі залишаються захищеними.

from cryptography.fernet import Fernet from cryptography.hazmat.primitives import hashes from cryptography.hazmat.primitives.kdf.pbkdf2 import PBKDF2HMAC import base64 class SecureModelPackager: def package_model(self, model_path: str, license_id: str, hardware_fingerprint: str) -> bytes: """Упаковка модели с привязкой к лицензии и железу""" key_material = f"{license_id}:{hardware_fingerprint}".encode() kdf = PBKDF2HMAC( algorithm=hashes.SHA256(), length=32, salt=b"model_license_v1", iterations=100000, ) key = base64.urlsafe_b64encode(kdf.derive(key_material)) fernet = Fernet(key) with open(model_path, 'rb') as f: model_bytes = f.read() encrypted = fernet.encrypt(model_bytes) manifest = { "license_id": license_id, "hardware_fingerprint": hardware_fingerprint, "model_hash": hashlib.sha256(model_bytes).hexdigest(), "valid_until": (datetime.utcnow() + timedelta(days=365)).isoformat(), "usage_limit_requests": 1_000_000 } return package_with_manifest(encrypted, manifest) class SecureModelLoader: def load(self, package_path: str, license_key: str) -> torch.nn.Module: """Загрузка и расшифровка модели""" manifest, encrypted_model = unpack(package_path) if not self._validate_license(manifest, license_key): raise LicenseError("Invalid or expired license") fernet = Fernet(self._derive_key(manifest['license_id'])) model_bytes = fernet.decrypt(encrypted_model) if hashlib.sha256(model_bytes).hexdigest() != manifest['model_hash']: raise IntegrityError("Model file corrupted") return torch.load(io.BytesIO(model_bytes)) 

Гнучка система ліцензування

Ліцензійний сервер керує життєвим циклом ліцензії: видача, валідація, відстеження використання. Ми використовуємо асинхронну архітектуру на FastAPI + PostgreSQL, забезпечуючи latency перевірки <10ms.

class LicenseServer: async def issue_license(self, purchase_id: str, customer_id: str, model_id: str, tier: str) -> str: license_key = secrets.token_hex(32) await self.db.create_license({ 'license_key': license_key, 'customer_id': customer_id, 'model_id': model_id, 'tier': tier, 'requests_limit': self.get_tier_limits(tier)['requests'], 'valid_until': datetime.utcnow() + self.get_tier_duration(tier), 'created_at': datetime.utcnow() }) return license_key async def validate_and_track(self, license_key: str) -> dict: license = await self.db.get_license(license_key) if not license: raise LicenseError("License not found") if license['valid_until'] < datetime.utcnow(): raise LicenseError("License expired") if license['requests_used'] >= license['requests_limit']: raise LicenseError("Request limit exceeded") await self.db.increment_usage(license_key) return license 

Порівняння методів упаковки моделей

Що входить у роботу

• Secure model packager з підтримкою ваших моделей (Torch, ONNX, TensorRT).
• Ліцензійний сервер з адмін-панеллю та метриками.
• API для інференсу з авторизацією та rate limiting.
• Документація (OpenAPI, deployment guide) та навчання вашої команди.
• Технічна підтримка на етапі запуску та гарантія uptime 99.9%.
• Доступ до репозиторію з прикладами інтеграції.

Метрики моніторингу платформи

• Latency інференсу (p50, p95, p99) — критично для SLA.
• Кількість активних ліцензій та їх заповнення.
• Error rate на API-шлюзі (4xx, 5xx).
• Utilisation GPU/CPU для on-premise клієнтів.
• Швидкість інкременту usage-лічильників — розбіжності не більше 0.01%.

Процес роботи над платформою

1. Аналітика: вивчаємо модель, вимоги до захисту та формати ліцензій.
2. Проектування: обираємо стек (PyTorch, Triton, vLLM, PostgreSQL, Redis), малюємо архітектуру.
3. Реалізація: пишемо secure packaging, ліцензійний сервер, API-шлюз, білінг.
4. Тестування: навантажувальні тести (1000 RPS, latency p99 < 50ms), пентест.
5. Деплой: налаштування CI/CD, моніторинг (Grafana + Prometheus), документація.

Результати роботи

• Повністю функціонуюча платформа дистрибуції із захистом IP.
• Інтеграція з існуючою інфраструктурою клієнта.
• Навчання команди та передача прав адміністрування.
• Підтримка 3 місяці після запуску.

Зв'яжіться з нами для аудиту вашої моделі. Отримайте консультацію з архітектури. Замовте розробку під вашу модель — ми оцінимо проект за 2 дні.