Профессиональная разработка музыкальной стриминговой платформы

Разработка платформы стриминга музыки

Мы разрабатываем музыкальные стриминговые платформы, которые выдерживают нагрузку тысяч одновременных прослушиваний, обеспечивают low-latency воспроизведение и корректный учёт роялти. В нашем стеке — React, Next.js, PHP/Laravel, PostgreSQL, Elasticsearch и Cloudflare CDN. За 5+ лет мы реализовали более 10 проектов для независимых лейблов и крупных медиа. Задача не в том, чтобы отдать mp3 через HTTP — нужно транскодировать аудио в несколько битрейтов, защитить контент от скачивания, реализовать поиск по каталогу и персонализированные рекомендации. Мы сопровождаем проекты на всех этапах: от выбора архитектуры до нагрузочного тестирования и деплоя. Ниже — архитектура, протоколы и ключевые решения из нашего опыта.

Как обеспечить low-latency воспроизведение?

Выбор протокола доставки — первый компромисс между задержкой и сложностью.

Progressive download — самый простой вариант. Файл отдаётся через обычный HTTP с поддержкой Range-запросов. Браузер буферизует и воспроизводит. Подходит для небольших библиотек без строгих ограничений на скачивание.

location /audio/ {
    root /var/media;
    add_header Accept-Ranges bytes;
    add_header Cache-Control "no-store"; # для DRM
}

HLS (HTTP Live Streaming) — стандарт для продакшна. Файл нарезается на сегменты по 5–10 секунд, клиент подгружает по манифесту. Позволяет адаптивный битрейт (ABR): клиент переключается между 128/256/320 kbps в зависимости от канала. Для нарезки используем FFmpeg с фильтром asplit.

MPEG-DASH — альтернатива HLS, лучше поддерживает DRM через EME. Если нужна защита контента уровня лейблов — DASH + Widevine/FairPlay. Подробнее о протоколах можно прочитать в документации HTTP Live Streaming.

Для большинства проектов выбираем HLS — он проще в реализации и поддерживается всеми современными плеерами (hls.js, Video.js).

Как защитить контент от нелегального распространения?

Подписанные URL с коротким TTL — минимальная защита. Генерируем URL на 60 секунд с привязкой к IP пользователя:

public function stream(Request $request, int $trackId): JsonResponse
{
    $track = Track::findOrFail($trackId);
    if (!$track->canStream($this->geoService->getCountry($request->ip()))) {
        return response()->json(['error' => 'not_available'], 451);
    }
    $url = $this->cdn->signedUrl("hls/{$trackId}/master.m3u8", 60, $request->ip());
    StreamEvent::dispatch($trackId, $request->user()->id, now());
    return response()->json(['url' => $url]);
}

Для лейблов, требующих аппаратной защиты, добавляем DRM через EME. В этом случае CDN (Cloudflare Stream, AWS MediaPackage) сами обрабатывают шифрование и выдачу лицензий.

Архитектура обработки контента

Загрузка трека — не просто сохранение файла, а конвейер: Upload → Validation → Transcoding → Waveform → Fingerprint → CDN → DB.

from celery import chain

@app.task
def process_upload(track_id, raw_path):
    chain(
        validate_audio.s(track_id, raw_path),
        transcode_variants.s(),
        generate_waveform.s(),
        fingerprint_audio.s(),
        push_to_cdn.s(),
        update_track_status.s('ready')
    ).delay()

Транскодинг выполняем в три потока: 128k AAC (стриминг), 320k MP3 (скачивание), FLAC (hi-fi). Для каждого битрейта генерируем HLS-сегменты.

Waveform — обязательный элемент плеера. Используем утилиту audiowaveform от BBC, на фронтенде рендерим через кастомный Canvas.

Система прав — реляционная модель с проверкой территории и типа прав:

CREATE TABLE tracks (
    id BIGSERIAL PRIMARY KEY,
    title TEXT NOT NULL,
    duration_sec INT,
    isrc CHAR(12),
    status TEXT DEFAULT 'processing'
);

CREATE TABLE track_rights (
    track_id BIGINT REFERENCES tracks(id),
    territory CHAR(2),           -- NULL = worldwide
    right_type TEXT,             -- 'stream', 'download', 'sync'
    holder_id BIGINT,
    expires_at TIMESTAMPTZ,
    PRIMARY KEY (track_id, territory, right_type)
);

Поиск и рекомендации

Полнотекстовый поиск по каталогу организуем через Elasticsearch с анализом транслитерации и фонетики. Рекомендательный движок строим на коллаборативной фильтрации (матричная факторизация) — он требует отдельного трека разработки.

Масштабирование и CDN

HLS-сегменты — статические файлы, идеально для CDN. При пиковых нагрузках (новый релиз популярного исполнителя) используем origin shield — промежуточный кеш между CDN и хранилищем, чтобы не положить S3. Манифесты .m3u8 кешируются с коротким TTL (5–30 секунд), сегменты — на 365 дней с меткой immutable, так как имена включают хеш контента.

Роялти-учёт

Каждое прослушивание длительностью ≥30 секунд считается монетизируемым стримом (стандарт IFPI). Собираем heartbeat-события каждые 30 секунд через Kafka, агрегируем monthly.

Офлайн-режим (PWA)

Для мобильных пользователей реализуем кеширование аудиосегментов через Service Worker. Пользователь может скачать треки в свою библиотеку и слушать офлайн. Кеш привязан к аккаунту и очищается при отписке.

Что входит в работу

Дополнительные модули (рекомендации, PWA, мобильные приложения, DRM) обсуждаются отдельно, в зависимости от требований. Наша команда имеет 5+ лет опыта в разработке аудиоплатформ, реализовала более 10 проектов для стриминга и радио. Свяжитесь с нами для оценки вашего проекта — мы поможем выбрать оптимальную архитектуру и сроки.

Разработка систем реального времени: WebRTC, SSE, WebSocket

Мы знаем, как больно, когда поллинг убивает сервер. Один наш проект — платформа для онлайн‑аукционов — использовал polling каждые 2 секунды. Под нагрузкой в 400 участников сервер получал 12 000 HTTP‑запросов в минуту ради одной ставки. 90% ответов — пустые. После перехода на WebSocket нагрузка упала в 15 раз, экономия серверных ресурсов — ~200 000 ₽/мес. Закажите разработку real‑time функций под ключ — получите готовое решение с гарантией стабильности.

Реализация real‑time на продакшене — не просто библиотека. Мы проектируем архитектуру под нагрузку, сценарии и бюджет. Ниже — разбор ключевых решений с примерами.

Три транспорта реального времени: когда что выбирать

Server‑Sent Events работают поверх обычного HTTP/1.1 или HTTP/2. Браузер открывает соединение, сервер держит его открытым и пушит события в формате text/event-stream. Автоматическое переподключение встроено — reconnect‑логика не нужна. Ограничение: только сервер → клиент. Идеально для нотификаций, прогресса долгих задач, live‑фидов.

WebSocket — полнодуплексный канал после HTTP Upgrade‑рукопожатия. Браузер и сервер обмениваются фреймами в обе стороны. Подходит для чатов, совместного редактирования, игр, торговых терминалов. Требует отдельной обработки reconnect‑логики и heartbeat (ping/pong каждые 30 секунд, иначе NAT‑таблицы закрывают соединение).

WebRTC — peer‑to‑peer аудио/видео и данные между браузерами напрямую, минуя сервер. Сервер нужен только для сигнализации (STUN/TURN для обхода NAT). TURN‑сервер требуется в 20–30% случаев (корпоративные сети, симметричный NAT). Для сервиса телемедицины мы внедрили WebRTC: задержка звука упала с 800 мс (через релей) до 50 мс (P2P). TURN‑сервер понадобился лишь 15% сессий, что сэкономило $2000/мес на трафике.

WebSocket (Wikipedia)
WebRTC (Wikipedia)

Как правильно выбрать транспорт: пошаговая инструкция

1. Определите сценарий обмена данными: однонаправленный (сервер → клиент) — SSE; двунаправленный с низкой задержкой — WebSocket; аудио/видео — WebRTC.
2. Оцените требования к задержке. Если приемлемо <500 мс — подойдёт SSE; для <100 мс и двунаправленности — WebSocket; для <50 мс и P2P — WebRTC.
3. Проверьте бюджет на инфраструктуру. SSE использует обычные HTTP‑серверы, WebSocket требует держать соединения в памяти, WebRTC может потребовать TURN‑сервер (от 3000 ₽/мес за 1 ТБ трафика).
4. Учтите масштабирование: для 100 k+ соединений рассмотрите WebSocket‑gateway (Centrifugo, Pushpin).

Что такое CRDT и чем он лучше Operational Transformation?

Совместное редактирование — не просто «кто последний записал, тот и прав». Без алгоритма слияния коллизий два пользователя вставляют текст в позицию 45, первый сохраняет — позиция сдвигается, второй сохраняет поверх — операция применяется к устаревшему состоянию. Текст дублируется или теряется.

OT (Operational Transformation) требует сервера для разрешения конфликтов, CRDT (Conflict‑free Replicated Data Types) работает без централизованного координатора. Yjs — наиболее зрелая CRDT‑библиотека для браузера. Интегрируется с ProseMirror, TipTap, CodeMirror, Monaco Editor.

Сравнение библиотек для совместного редактирования

Проблема: размер Yjs‑документа растёт из‑за истории операций. Нужна периодическая сборка мусора — snapshot документа + очистка старых операций. Без этого документ, над которым работали год, может весить 50 МБ.

const ws = new WebSocket('wss://example.com');
let pingInterval;

ws.on('open', () => {
  pingInterval = setInterval(() => {
    ws.ping();
    setTimeout(() => {
      if (ws.readyState === WebSocket.OPEN) ws.terminate();
    }, 5000);
  }, 25000);
});

ws.on('close', () => clearInterval(pingInterval));

Типичные ошибки при внедрении real‑time

Memory leak на сервере — забыли удалить обработчик события при закрытии соединения. На Node.js heap растёт ~1 МБ/ч. EventEmitter предупреждает о 10+ слушателях, но не всегда это замечают.

Thundering herd при реконнекте. Сервер упал на 30 секунд, поднялся — 10 000 клиентов пытаются переподключиться одновременно. Exponential backoff с jitter обязателен: delay = Math.min(baseDelay * 2^attempt + random(0, 1000), maxDelay).

Отсутствие индикации потери соединения. WebSocket не всегда уведомляет о разрыве (например, телефон ушёл в тоннель). Heartbeat решает проблему.

Процесс работы

Начинаем с выбора транспорта под сценарии — иногда в одном проекте нужны все три: SSE для системных нотификаций, WebSocket для чата, WebRTC для видеозвонков. Проектируем протокол сообщений (JSON с type и payload, реже бинарный через MessagePack). Разрабатываем с тестированием race conditions — это не покрывается юнит‑тестами.

Нагрузочное тестирование с k6 + k6/experimental/websockets: моделируем 5 000 одновременных соединений с реальным паттерном. Инженеры имеют сертификаты по WebSocket и WebRTC, гарантируем стабильность 99.9%.

Что входит

• Архитектура real‑time слоя (выбор транспорта, протокол сообщений)
• Реализация с нагрузочным тестированием (k6, сценарии race conditions)
• Интеграция с бэкендом через Redis Pub/Sub или аналогичную шину
• Документация по протоколу и схемам данных
• Обучение вашей команды
• Техническая поддержка 2 недели после запуска

Почему Centrifugo может быть выгоднее, чем Socket.io?

Socket.io проще в настройке (1–2 дня), но центрифуга на Go держит 1M+ соединений на одной ноде. Для 100 k+ одновременных клиентов Centrifugo экономит до 40% затрат на инфраструктуру. Получите консультацию — мы поможем выбрать стек под вашу нагрузку.

Сроки

• Базовый WebSocket‑чат или нотификации поверх существующего API: 1–3 недели.
• Коллаборативный редактор с Yjs и persistence: 4–8 недель.
• WebRTC видеозвонки с записью: 6–12 недель (значительная часть — интеграция с медиасервером mediasoup или Janus).

Свяжитесь с нами для оценки вашего проекта. Обсудите задачу с инженером — оценим сложность и сроки индивидуально.