Разработка системы реального времени для ML-предсказаний
Обученная ML-модель ценна только если её предсказания доступны в нужный момент с минимальной задержкой. Система realtime ML predictions — это не просто «запустить модель», это полноценная инфраструктура с low-latency serving, мониторингом качества и автоматическим переключением моделей.
Архитектура: Market Data → Feature Pipeline → Feature Store (Redis) → ML Model Server (FastAPI) → Prediction Cache (Redis) → Trading/Dashboard/Monitoring.
Feature Pipeline для realtime: circular буфер для хранения последних N свечей. Вычисляем features на лету для каждого нового обновления свечи. < 10ms общей задержки.
ML Model Serving с FastAPI: загружаем модели при старте, inference endpoint возвращает предсказания с confidence и latency.
Batching для оптимизации throughput: собираем запросы и batch обрабатываем их, снижая overhead.
Model Registry и Versioning: MLflow для хранения моделей с версиями, параметрами обучения, метриками.
Мониторинг production качества:
- Directional accuracy: предсказания правильного направления?
- High confidence accuracy: high confidence предсказания точнее?
- Recent accuracy trend: детекция деградации модели
Latency мониторинг: P50, P95, P99 latency через Prometheus + Grafana. SLA: P95 < 50ms, P99 < 100ms.
Автоматический rollback: если качество деградирует ниже порога, автоматически откатываемся на предыдущую версию модели.
Разрабатываем production-ready ML serving систему: FastAPI inference server, batching для throughput оптимизации, MLflow model registry, realtime мониторинг качества и автоматический rollback при деградации.