Мониторинг SLO: дашборд для uptime, ошибок и производительности

Проблема: средние метрики маскируют сбои

Сервис показывает 99,9% uptime, но error budget сгорает за 3 дня. Типичная ошибка — метрики считаются по среднему, а не по процентилям. Пользователи жалуются на тормоза, а дашборд говорит «всё хорошо». За многолетнюю практику мы внедрили мониторинг для десятков проектов — от стартапов до enterprise. Команда видит 99,9% аптайма, но SLO нарушается из-за медленных запросов. Причина — усреднение метрик и игнорирование процентилей. Чтобы этого избежать, нужен дашборд, который за 5 секунд ответит: выполняем ли мы SLO прямо сейчас? Ниже — практический гайд по его построению, который сократит время на инциденты и снизит затраты на поддержку.

Какие метрики обязательны на SLA-дашборде?

Базовый набор: текущий uptime за месяц, error budget (остаток в минутах), P50/P95/P99 response time, error rate в разрезе эндпоинтов. Дополнительно — burn rate и аннотации инцидентов. Мы всегда начинаем с этих показателей и добавляем кастомные метрики под конкретный сервис. Включение процентилей, а не средних, сразу выявляет «хвосты» задержек, которые реально влияют на пользователей.

Расчёт error budget и burn rate

Error budget — допустимое время простоя за период SLO. Например, при SLO 99,9% месячный бюджет = 43 минуты. Следить нужно за его расходом и скоростью выгорания (burn rate). Формула burn rate:

(
  rate(http_requests_total{status=~"5.."}[1h])
  / rate(http_requests_total[1h])
) / (1 - 0.999)

Burn rate > 14.4 означает, что при текущем темпе бюджет сгорит за 2 дня. Это сигнал остановить релизы и чинить стабильность. Подход описан в SRE Workbook. Внедрение этой метрики позволяет реагировать превентивно, экономя время и ресурсы команды.

Почему burn rate — ключевая метрика для SLO?

Без burn rate вы узнаёте о проблеме, когда error budget уже на нуле. Burn rate показывает скорость расходования бюджета. Если она превышает 14.4, у вас максимум 2 дня до нарушения SLA. Это позволяет реагировать превентивно, а не постфактум. В наших проектах эта метрика спасла несколько релизов от провала и сократила среднее время восстановления (MTTR) на 40%.

Структура дашборда: три уровня отображения

Техническая панель (для разработчиков)

• Текущий uptime за месяц (например, 99,94%)
• Оставшийся error budget в минутах/часах
• Статус сервиса: OK / DEGRADED / DOWN (большой цветной индикатор)
• График uptime за последние 30/90 дней
• P50/P95/P99 response time — временной ряд
• Error rate — временной ряд с аннотациями инцидентов
• Breakdown по эндпоинтам: какие самые медленные
• Breakdown по регионам/ДЦ
• Последние инциденты с длительностью

Управленческая панель (для бизнеса)

Агрегированные показатели за месяц: общий аптайм, количество инцидентов, среднее время восстановления (MTTR). Графики упрощены, без избыточной детализации.

Публичный Status Page

Минимальный набор: текущий статус сервиса, uptime за последние 7 и 30 дней, история инцидентов. Один источник данных, разные фильтры и агрегации.

Пример расчёта error budget для разных SLO

Ключевые метрики и их вычисление

Uptime %:

(1 - sum(increase(http_requests_total{status=~"5.."}[30d]))
   / sum(increase(http_requests_total[30d]))) * 100

P95 Response Time:

histogram_quantile(0.95,
  rate(http_request_duration_seconds_bucket[5m])
)

Error Budget Burn Rate (1h):

(
  rate(http_requests_total{status=~"5.."}[1h])
  / rate(http_requests_total[1h])
) / (1 - 0.999)

Детали синтаксиса — в официальной документации Prometheus.

Сравнение PromQL и встроенных вычислений

PromQL в 2-3 раза быстрее обрабатывает сложные запросы с процентилями, чем встроенные функции Grafana, что напрямую влияет на скорость получения инсайтов.

Процесс внедрения и сроки

1. Аналитика: собираем SLO, требования, источники метрик (1 день)
2. Проектирование: макет дашборда, продумываем фильтры и иерархию (1 день)
3. Реализация: пишем PromQL-запросы, настраиваем панели (2-3 дня)
4. Тестирование: проверяем точность метрик, воспроизводим инциденты (1 день)
5. Деплой и обучение: выкатываем дашборд, обучаем команду (1 день)

Сроки ориентировочно: базовые панели (uptime, response time, error rate) — от 1 до 2 дней; error budget + burn rate — от 1 дня; полный цикл под ключ — от 5 до 7 рабочих дней. Стоимость рассчитывается индивидуально — оценим проект после брифа.

Что вы получаете в результате

• Рабочий дашборд в Grafana с тремя уровнями отображения
• Набор PromQL-запросов для всех метрик (включая SLO-запросы)
• Документацию по эксплуатации и расширению
• Обучение команды (1-2 часа)
• Поддержку в течение месяца после внедрения

Наш опыт: более 7 лет в SRE и мониторинге, более 50 успешных внедрений дашбордов для компаний разного масштаба. Правильно настроенный дашборд сокращает время на выявление проблем и снижает затраты на поддержку.

Если вам нужен такой дашборд для своих сервисов, свяжитесь — обсудим детали. Получите бесплатную консультацию по SLO и метрикам и оценку потенциальной экономии. Закажите внедрение — мы настроим мониторинг под ваш проект.

Мы регулярно сталкиваемся с ситуацией: «Сайт не открывается» в 3 часа ночи — и выясняется, что disk full на VPS, потому что логи nginx не ротировались полгода. Или сервер лёг под нагрузкой в день запуска рекламной кампании, потому что на shared хостинге стоял лимит в 50 одновременных соединений. Настройка хостинга и деплоя — это не про «где дешевле», это про то, что происходит в момент, когда что-то идёт не так. Наша команда помогает избежать таких инцидентов, проектируя инфраструктуру с учётом реальных паттернов нагрузки.

Когда выбирать Vercel и Netlify?

Vercel создан под Next.js — деплой в один push, preview deployments для каждого PR, автоматический CDN, Edge Functions, ISR без конфигурации. Для фронтенд-проектов и JAMstack это оптимальный выбор: нет операционной нагрузки, time-to-deploy измеряется минутами.

Ограничения реальные: Vercel Serverless Functions запускаются в us-east-1 по умолчанию (latency для Европы +80–100ms), Function timeout 300 секунд на Pro, Bandwidth 1TB/месяц на Pro. Для тяжёлого backend — нужны воркеры или отдельный сервер.

Netlify ближе к статике и Edge Functions на базе Deno Deploy. Build minutes — основное ограничение на бесплатном тарифе.

Почему Docker — основа предсказуемого деплоя?

«Работает на моей машине» — классика. Docker решает это через контейнеризацию окружения. Но плохой Dockerfile создаёт новые проблемы.

Типичная ошибка: копировать всё в образ без .dockerignore, получать 800MB образ вместо 80MB. node_modules внутри образа весит столько же. Правильно: multi-stage build.

FROM node:20-alpine AS builder
WORKDIR /app
COPY package*.json ./
RUN npm ci --only=production
COPY . .
RUN npm run build

FROM node:20-alpine AS runner
WORKDIR /app
COPY --from=builder /app/.next ./.next
COPY --from=builder /app/node_modules ./node_modules
COPY --from=builder /app/package.json ./package.json
EXPOSE 3000
CMD ["npm", "start"]

Итоговый образ: 180MB вместо 1.2GB. Время сборки CI сокращается из-за layer caching — если package.json не изменился, слой с npm ci берётся из кэша.

Docker Compose для локальной разработки и простых продакшен-сценариев: приложение + PostgreSQL + Redis в одной конфигурации. Для production на одном сервере — вполне рабочий вариант, если нет требований горизонтального масштабирования.

Подробнее о контейнеризации — Wikipedia: Docker.

Как настроить Nginx как reverse proxy?

Nginx перед приложением — стандарт для VPS и выделенных серверов. Основные функции: SSL termination, gzip, static files, rate limiting, upstream балансировка.

Конфигурация, которую часто делают неправильно: worker_processes auto — количество процессов равно числу CPU. worker_connections 1024 — это 1024 на каждый воркер-процесс. При 4 CPU и 1024 connections = 4096 одновременных соединений. Для высоконагруженного сайта нужно worker_connections 4096 и настройка keepalive_timeout 65.

Для статических ассетов с хешем в имени файла:

location ~* \.(js|css|woff2|png|webp)$ {
    expires 1y;
    add_header Cache-Control "public, immutable";
}

immutable сообщает браузеру: не проверяй этот файл даже при hard refresh. Правильно работает только с content-hashed именами файлов (что делает Vite/webpack по умолчанию). Документация — Wikipedia: Nginx.

AWS: гибкость и сложность

EC2 + Auto Scaling Group — классика для горизонтального масштабирования. AMI с предустановленным приложением, Launch Template, ASG с min/desired/max instances, Application Load Balancer. При CPU > 70% на 3 минуты — scale out, при CPU < 30% на 15 минут — scale in. Health check через ALB исключает нездоровые инстансы из ротации.

ECS Fargate — контейнеры без управления EC2. Деплой Docker-образа, задаёте CPU/память (512 CPU units = 0.5 vCPU, от 512MB памяти), Fargate запускает. Дороже Lambda, но нет cold start и нет timeout-ограничений. Подходит для long-running процессов, WebSocket-серверов, тяжёлых воркеров.

RDS для PostgreSQL с Multi-AZ: автоматический failover за 1–2 минуты при падении primary. Read Replicas для масштабирования чтения. RDS Proxy для connection pooling — Lambda-функции не умеют держать долгосрочные соединения, прокси буферизует это.

Kubernetes: когда это оправдано

K8s добавляет значительную операционную сложность. Оправдан, когда: несколько команд деплоят независимые сервисы, нужна тонкая настройка ресурсов на сервис, canary deployments и blue/green без простоя — требование.

AWS EKS, GKE или managed k8s от Hetzner (дешевле). Helm charts для стандартных сервисов. Horizontal Pod Autoscaler по CPU и custom metrics (RPS через Prometheus).

Для большинства стартапов и средних проектов — Kubernetes избыточен. ECS или Fly.io дают 80% возможностей при 20% операционной сложности.

Мониторинг и alerting

Сервер без мониторинга — это ожидание инцидента. Минимальный стек: Prometheus + Grafana (или Grafana Cloud для managed), alerting на disk > 80%, memory > 85%, CPU > 90% за 5 минут, error rate > 1%. Uptime через Better Uptime или Upptime (self-hosted).

Logs: Loki + Grafana или CloudWatch Logs Insights. Структурированные JSON-логи (winston, pino) — обязательно, иначе поиск по логам превращается в боль.

Что входит в настройку хостинга

• Аудит текущей инфраструктуры и профилирование нагрузки
• Выбор целевой архитектуры (VPS, AWS, serverless, Kubernetes)
• Настройка CI/CD pipeline (GitHub Actions, GitLab CI) с автоматическим деплоем
• IaC через Terraform или Pulumi (инфраструктура как код)
• Конфигурация Nginx, SSL-сертификаты, HTTP/2, brotli
• Мониторинг и алертинг (Prometheus + Grafana, PagerDuty)
• Документация runbooks и обучение команды

Дополнительно: пишите, если нужна миграция с текущего хостинга или интеграция с внешними сервисами.

Процесс работы

1. Аудит текущей инфраструктуры (2–5 дней)
2. Выбор целевой архитектуры с обоснованием по нагрузке и бюджету (1–3 дня)
3. Настройка CI/CD pipeline (GitHub Actions, GitLab CI) (2–5 дней)
4. IaC через Terraform или Pulumi (3–10 дней)
5. Настройка мониторинга и alerting (2–5 дней)
6. Документация runbooks и обучение команды (1–3 дня)

Наш опыт — 7 лет на рынке, более 50 проектов, гарантия работоспособности после деплоя.

Сроки

• Базовый деплой на VPS с Docker + Nginx + CI/CD: 1–2 недели.
• Настройка AWS инфраструктуры с Auto Scaling, RDS, CDN: 3–6 недель.
• Миграция на EKS с нуля: 6–12 недель.
• Настройка Vercel/Netlify для JAMstack: 3–5 дней.

Стоимость рассчитывается индивидуально в зависимости от сложности и объёма работ. Получите консультацию — оценим вашу архитектуру за один день.