Розгортання OpenAI Whisper на виділеному сервері (Self-Hosted) Self-hosted Whisper дає повний контроль над даними, передбачувану вартість при великих обсягах і можливість тонкого налаштування під конкретний акцент або домен. При транскрибації 100+ годин аудіо на місяць власний сервер окупається швидше за хмарний API. ### Архітектура production-розгортання```
Audio Input → Nginx → FastAPI Workers → Whisper Workers (GPU) → PostgreSQL
↓ ↓
Redis Queue S3 Storage
Основні компоненти: - **FastAPI** — REST API для прийому задач - **Celery** — черга асинхронної обробки - **Redis** — брокер задач та кеш - **faster-whisper** — inference engine (CTranslate2) - **PostgreSQL** — зберігання транскрипцій та метаданих ##python
from celery import Celery
from faster_whisper import WhisperModel
app = Celery('whisper_tasks', broker='redis://localhost:6379/0') model = WhisperModel("large-v3", device="cuda", compute_type="int8_float16")
@app.task(bind=True, max_retries=3) def transcribe_audio(self, file_path: str, language: str = None): try: segments, info = model.transcribe( file_path, language=language, vad_filter=True, word_timestamps=True ) return { "language": info.language, "duration": info.duration, "segments": [ {"start": s.start, "end": s.end, "text": s.text} for s in segments ] } except Exception as exc: raise self.retry(exc=exc, countdown=60)
- Healthcheck endpoint з перевіркою GPU доступності ### Оцінка вартості AWS API Whisper: $0.006/хв. Self-hosted на A10G (оренда ~ $ 1.5 / год): при завантаженні 50% - ~ $ 0.001 / хв. Окупність за обсягом від 3 000 хвилин/місяць. ### Терміни реалізації - Базове розгортання: 2-3 дні - З чергою завдань та API: 5-7 днів - Повна production-система з моніторингом: 2 тижні