Інтеграція Hugging Face Inference API для AI-моделей
Hugging Face Inference API надає доступ до 100,000+ моделей через API REST. Доступні два варіанти: Serverless Inference API (безкоштовний, з обмеженнями) та Inference Endpoints (керований деплою на виділеному GPU з гарантованим SLA).
Serverless Inference API
import requests
API_URL = "https://api-inference.huggingface.co/models/mistralai/Mistral-7B-Instruct-v0.2"
headers = {"Authorization": "Bearer hf_..."}
def query(payload):
response = requests.post(API_URL, headers=headers, json=payload)
return response.json()
# Text generation
output = query({
"inputs": "<s>[INST] Summarize this document: ... [/INST]",
"parameters": {
"max_new_tokens": 512,
"temperature": 0.3,
"return_full_text": False
}
})
Inference Endpoints (виділений деплой)
from huggingface_hub import InferenceClient
# Подключение к выделенному Inference Endpoint
client = InferenceClient(
model="https://xyz.us-east-1.aws.endpoints.huggingface.cloud",
token="hf_..."
)
# Text generation
response = client.text_generation(
"Explain RLHF in simple terms:",
max_new_tokens=256,
temperature=0.7,
stream=True # Streaming поддерживается
)
for token in response:
print(token, end="", flush=True)
Спеціалізовані завдання
# Classification
classifier = InferenceClient(model="cardiffnlp/twitter-roberta-base-sentiment-latest")
result = classifier.text_classification("This product is amazing!")
# [{'label': 'positive', 'score': 0.97}]
# Embeddings
embedder = InferenceClient(model="sentence-transformers/all-MiniLM-L6-v2")
embedding = embedder.feature_extraction("Text to embed")
# numpy array (384,)
# Image classification
vision = InferenceClient(model="google/vit-base-patch16-224")
result = vision.image_classification("path/to/image.jpg")
Вибір між Serverless та Endpoints
Serverless підходить для розробки та низького навантаження. Inference Endpoints - для production з вимогами до latency (cold start відсутня) і throughput. Endpoints підтримують auto-scaling від 0 до N реплік. При постійному навантаженні >100 запитів/год Endpoints економічно ефективніший Serverless.