Інтеграція прямих трансляцій (Live Streaming) у мобільний додаток

Інтеграція прямих трансляцій (Live Streaming) у мобільний додаток

При спробі додати live-стрімінг у фітнес-додаток наш клієнт зіткнувся із затримкою понад 20 секунд на HLS. Тренер виконував вправу, а глядачі бачили його дії із запізненням — це руйнувало інтерактивність. Ми запропонували альтернативу: WebRTC із затримкою 500 мс і HLS для запису. WebRTC забезпечує затримку в 30 разів менше HLS. За 4 тижні розгорнули систему, яка витримала 10 000 одночасних глядачів. Ми маємо 10+ років досвіду в стрімінгу, реалізували 50+ проєктів для клієнтів з усього світу. Гарантуємо стабільну роботу системи та оперативний супровід.

Основні технічні проблеми та типові помилки

Затримка і буферизація. HLS нарізає потік на сегменти по 6 секунд — підсумкова затримка 15–30 с. Для інтерактиву (голосування, чат) це неприйнятно. LL-HLS зменшує до 2–5 с (в 5 разів менше), але вимагає підтримки на сервері та iOS 14+. WebRTC вирішує проблему кардинально, але складніший у масштабуванні. Використовуйте джиттер-буфер для згладжування затримок.

Синхронізація аудіо/відео. При кодуванні на мобільному пристрої важливо виставити GOP size і бітрейт. У нашому проєкті на Android використовували MediaCodec із фіксованим GOP=2 і бітрейтом 2 Мбіт/с — це дало стабільну картинку навіть при падінні швидкості до 1 Мбіт/с. Кодек H.265 забезпечує краще стиснення порівняно з H.264, але потребує потужнішого пристрою.

Масштабування медіасервера. Один сервер Wowza тримає до 1000 підключень. Для 10 000 глядачів довелося налаштувати кластер із 4 нод з балансуванням через AWS ALB. Cloudflare Stream знімає цю біль, але дорожче. SFU-архітектура (Selective Forwarding Unit) дозволяє масштабувати WebRTC, але потребує налаштувань.

Типові помилки: використовувати HLS для інтерактиву, не налаштовувати GOP (при падінні пакетів артефакти), забути про TURN-сервер для WebRTC (клієнти за NAT не підключаться), економити на медіасервері (при зростанні аудиторії все впаде).

Як вибрати протокол: WebRTC чи HLS?

Вибір залежить від цільової затримки та аудиторії. Якщо потрібна інтерактивність (голосування, чат) — обирайте WebRTC. Якщо масовий перегляд з мінімальними витратами — HLS через CDN. Оптимальне рішення — гібридна схема, як описано нижче.

Які помилки найчастіше допускають при інтеграції?

Основні помилки: використання HLS для реального часу, нехтування TURN-сервером, економія на медіасервері, відсутність ABR для HLS. Наш досвід показує, що 80% проблем виникають через неправильний вибір протоколу. Ми гарантуємо уникнення цих помилок завдяки аудиту.

Як ми це робимо: стек і конфігурації

Ми пропонуємо рішення під ключ: від аудиту до деплою. Починаємо з аудиту вимог: цільова затримка, очікувана аудиторія, бюджет. Для MVP вибираємо RTMP → HLS. Для продакшену з низькою затримкою — WebRTC + LL-HLS fallback.

iOS стрімінг. Базовий стек: Swift 5.9, HaishinKit (RTMP/SRT/HLS). Приклад конфігурації:

let rtmpStream = RTMPStream(connection: RTMPConnection())
rtmpStream.videoSettings = VideoCodecSettings(
    videoSize: CGSize(width: 1280, height: 720),
    bitRate: 2_000_000,
    frameInterval: 2,
    frameRate: 30
)
rtmpStream.audioSettings = AudioCodecSettings(bitRate: 128_000)

Android стрімінг. Streampack або власний код на CameraX + MediaCodec + RTMP-клієнт.

val streamer = CameraStreamer(context, enableAudio = true)
streamer.configure(
    AudioConfig(startBitrate = 128_000, sampleRate = 44100, channelConfig = CHANNEL_IN_STEREO),
    VideoConfig(startBitrate = 2_000_000, resolution = Size(1280, 720), fps = 30)
)

Медіасервер. Використовуємо Wowza Streaming Engine або Ant Media Server. Для WebRTC — Ant Media або Janus. Також застосовуємо адаптивний бітрейт (ABR) для HLS та кодек H.265 для кращого стиснення. Гарантуємо сумісність з обраним стеком.

Як досягти затримки 500 мс і коли WebRTC не підходить

Перехід на WebRTC — єдиний спосіб отримати затримку < 1 с. Ключові кроки:

1. Розгорнути сигнальний сервер (наприклад, на Node.js + Socket.io).
2. Налаштувати TURN-сервер (coturn) для пробою NAT.
3. Вибрати медіасервер, що підтримує WHIP-інжест (Cloudflare Stream, Ant Media 2.x).
4. На мобільному клієнті використовувати WebRTC.org SDK (Google для Android, native для iOS).

Для масового перегляду (1000+ глядачів) WebRTC перевантажує сервер — використовуйте SFU (Selective Forwarding Unit). Ant Media та Janus підтримують SFU. Джерело: WebRTC

Однак WebRTC вимагає постійного P2P-з'єднання або SFU. Кожен глядач споживає близько 2 Мбіт/с низхідного трафіку. Для 10 000 глядачів потрібно 20 Гбіт/с — дорого. Альтернатива: транскодувати потік у HLS на сервері та роздавати через CDN. Це збільшує затримку, але економить ресурси. Ми використовуємо гібридну схему: інтерактивні сценарії (голосування) через WebRTC для невеликої групи, масовий перегляд — через HLS.

Порівняльні таблиці

Процес роботи та що входить

1. Аналітика — заміряємо вимоги до затримки, аудиторії, пристрою. Визначаємо протокол і сервер.
2. Проектування — архітектура клієнт-сервер, схема потоків, конфігурація медіасервера.
3. Реалізація — пишемо код на Swift/Kotlin/Flutter, налаштовуємо сервер, тестуємо на реальних пристроях.
4. Тестування — навантажувальне (до 10 000 віртуальних глядачів) та мережеве (3G, 4G, Wi-Fi).
5. Деплой — CI/CD, моніторинг (Prometheus + Grafana), документація.

Що входить у роботу:

• Аудит поточного додатка та підбір архітектури.
• Інтеграція стрімінгу на одній платформі (iOS або Android) з RTMP.
• Розгортання медіасервера (Wowza або Ant Media).
• Чат на WebSocket/Firebase з базовою модерацією.
• Навантажувальне тестування та оптимізація.
• Інструкції для розробників та адмінів.
• Гарантія на працездатність системи протягом 6 місяців.

Строки та вартість

• MVP (один протокол, одна платформа, без чату) — 2–3 тижні.
• Повноцінна система (дві платформи, LL-HLS/WebRTC, чат, запис) — 2–3 місяці.

Орієнтовна вартість MVP від $3000, повноцінної системи від $10000. Вартість фіксована після аудиту. Ми гарантуємо відсутність прихованих платежів. Оцініть ваш проект: зв'яжіться з нами для безкоштовної консультації — назвемо точну цифру.

Як вибрати підхід до камери в застосунках?

Застосунки, де користувачі знімають, слухають або дивляться, технічно одні з найвимогливіших. Ми стикаємося з цим щодня. Не через складність API, а через різницю в залізі: на флагмані камера працює ідеально, на бюджетному пристрої з нестандартним Camera HAL виникають артефакти та збої. На iOS стабілізація одного покоління відрізняється від іншого. Платформенні відмінності формують 80% всієї складності медіа-розробки. Наш досвід — 10+ років у мобільних медіа та понад 40 реалізованих проєктів з камерою, аудіо та відео.

CameraX проти Camera2 та AVFoundation

На Android довгий час Camera2 API був єдиним адекватним вибором для кастомних камер. Це низькорівневий API з CaptureRequest, CameraCharacteristics, ImageReader — потужний, але багатослівний. Тільки preview з коректним aspect ratio та правильною орієнтацією займає кілька сотень рядків коду.

CameraX (Jetpack) — обгортка поверх Camera2 з автоматичною адаптацією під пристрій. Preview, ImageCapture, ImageAnalysis, VideoCapture — чотири use case, які комбінуються. Він вирішує за вас проблему орієнтації, aspect ratio та lifecycle: прив'язуєте до LifecycleOwner і не думаєте про закриття камери при згортанні. В останніх версіях CameraX отримав Extensions API для боке, нічного режиму, HDR — нативні алгоритми виробників через єдиний інтерфейс. CameraX дозволяє скоротити час розробки вдвічі порівняно з Camera2.

Коли потрібен Camera2 напряму: RAW-зйомка через ImageFormat.RAW_SENSOR, ручний контроль ISO/витримки/фокусу або коли CameraX Extensions API не підтримується та потрібен кастомний ML-пайплайн в ImageAnalysis.

На iOS AVFoundation — єдиний шлях для кастомної камери. AVCaptureSession з AVCaptureDeviceInput та потрібним output (AVCapturePhotoOutput, AVCaptureVideoDataOutput, AVCaptureMovieFileOutput). Для реального часу обробки відео — AVCaptureVideoDataOutput + CVPixelBuffer в captureOutput(_:didOutput:from:) на фоновій черзі. Саме тут CoreML-моделі отримують кадри для інференсу.

Типова помилка з AVFoundation: конфігурувати сесію на main thread. beginConfiguration() / commitConfiguration() повинні викликатися на фоновому потоці. Інакше preview фрізиться, користувач бачить заморозку інтерфейсу. Ця помилка зустрічається в 70% проєктів, які ми аудитували.

Що робити з AudioFocus на Android та AudioSession на iOS?

Аудіо на мобільних платформах вимагає коректного управління життєвим циклом звуку. AudioFocus — механізм координації між застосунками. AudioManager.requestAudioFocus() з OnAudioFocusChangeListener. Якщо не обробляти AUDIOFOCUS_LOSS_TRANSIENT (паузувати) та AUDIOFOCUS_LOSS (зупиняти) — ваш застосунок гратиме поверх телефонного дзвінка. Це гарантований поганий відгук у Google Play (Wikipedia: AudioFocus).

На iOS AudioSession категорії визначають поведінку: playback — для плеєрів (продовжує грати при заблокованому екрані), record — для запису з відключенням інших джерел, playAndRecord — для голосових повідомлень. Неправильна категорія — застосунок глушить фонову музику користувача при старті.

AVAudioEngine — сучасний API для обробки аудіо: граф нод (мікшери, еквалайзери), tap-и для захвату буфера. Для мовлення в реальному часі — SFSpeechRecognizer + inputNode.installTap.

На Android для запису з шумопригніченням — NoiseSuppressor.isAvailable() + create(audioRecord.audioSessionId). Працює не на всіх пристроях, потрібен fallback.

Відео: відтворення та стрімінг

ExoPlayer (Media3) — стандарт для Android. Підтримує HLS, DASH, SmoothStreaming, прогресивне відтворення. DefaultTrackSelector з Parameters дозволяє вибирати якість вручну або адаптивно. DRM через DefaultDrmSessionManager з Widevine L1/L3.

Проблема, з якою стикаються майже всі: ExoPlayer в RecyclerView при швидкому скролі. Потрібен PlayerPool — пул перевикористовуваних плеєрів. Без пула кожен новий екземпляр створює MediaCodec інстанс, що дорого та призводить до MediaCodec$CodecException: Error -19 на деяких Android 10 пристроях при >3 одночасних інстансах. Використання пулу зменшує споживання пам'яті до 3 разів.

AVPlayer / AVPlayerViewController на iOS — для відтворення. Для кастомного UI — AVPlayerLayer + власні контроли. HLS працює нативно через AVPlayer(url:) з m3u8. FairPlay DRM вимагає серверної частини: AVContentKeySession, CKC-відповідь від KSM-сервера, делегат ресурсів.

Для Flutter — video_player як базовий шар, chewie для UI. Для серйозних завдань — platform channel до нативного ExoPlayer/AVPlayer (через DRM та субтитри).

WebRTC на мобільних — через нативні фреймворки або flutter_webrtc. Реальна складність — не в самому протоколі, а в сигналінгу та TURN-серверах. Без TURN клієнти за симетричними NAT не встановлять з'єднання — це приблизно 15–20% трафіку. Coturn — стандартний open-source сервер.

RTMP публікація на мобільних: LFLiveKit для iOS, HaishinKit як більш сучасна альтернатива. На Android — rtmp-rtsp-stream-client-java або через FFmpeg з JNI. Останнє дає максимальну гнучкість, але бінарник зростає на 10–15 МБ.

Обробка медіа: компресія та транскодування

Відео в ProRes може займати 6 ГБ/хвилину. Перед завантаженням потрібна компресія. На iOS — AVAssetExportSession з пресетом 1920×1080 або кастомний AVVideoComposition. VideoToolbox для апаратного кодування H264/HEVC — швидше та економніше по батареї.

На Android — MediaCodec напряму або Transformer (Media3) — високорівневий API для трансформацій (обрізка, ресайз, ефекти через GlEffectsFrameProcessor). Для зображень — BitmapFactory.Options.inSampleSize для даунсемплінгу, Glide / Coil для кешування. Coil на Coroutines добре вписується в Compose. Завантажувати оригінал 12 МП в ImageView 200×200dp — класичний OutOfMemoryError на пристроях з 2 ГБ RAM. Тому ми завжди стискаємо зображення до 1 МБ перед відправкою.

Як реалізувати стрімінг на мобільних пристроях: покроковий план?

1. Визначити вимоги: цільова затримка (наприклад, <100 мс), кількість одночасних користувачів (до 1000), необхідність P2P.
2. Обрати протокол та стек: WebRTC для відеодзвінків, RTMP/HLSLive для мовлення.
3. Налаштувати сигналінг (SIP, WebSocket, MQTT) та TURN-сервер.
4. Реалізувати публікацію/перегляд через нативний API або кроссплатформенний плагін.
5. Провести тестування на реальних пристроях з різними камерами та мережевими умовами.
6. Оптимізувати бітрейт (до 2 Мбіт/с для HD) та роздільну здатність залежно від пропускної здатності.

Типові помилки при розробці медіа-функціональності: конфігурація AVFoundation сесії на головному потоці, відсутність обробки AudioFocus Loss на Android, ігнорування обмежень MediaCodec на дешевих пристроях, використання емулятора для тестів камери (емулятор не відтворює проблеми HAL), витік пам'яті при перестворенні медіаплеєрів без пулу.

Що входить в роботу?

Процес розробки медіафункціональності

Складність нелінійна: базове відтворення відео — 1–2 дні, кастомна камера з обробкою кадрів та стрімінгом — 3–5 тижнів. Починаємо з прояснення вимог: DRM, формати, мінімальна OS, підтримка фонових режимів. Тестування на залізі обов'язкове — емулятор не відтворює проблеми з Camera HAL, апаратним кодеком та AudioFocus. Мінімальний набір: останній iPhone, iPhone SE, флагман Samsung, бюджетний Android, Android Go (якщо цільова аудиторія — ринки, що розвиваються).

Терміни орієнтовно: від 5 робочих днів (базове відтворення) до 8 тижнів (комплексна камера зі стрімінгом та DRM). Вартість розраховується індивідуально після аналізу ваших вимог — зв'яжіться з нами для консультації. Типовий бюджет таких проєктів: від $2,000 до $15,000.

Фраза послуги: «Робота з медіа в мобільних застосунках» — це наш профіль. Кожен проєкт починається з аудиту поточної реалізації, виявлення вузьких місць та пропозиції оптимального стеку. Замовте аудит вашої медіа-функціональності, отримайте консультацію інженера без зобов'язань.