Як масштабувати відеоконференцію без перегріву?

Уявіть: у вашому додатку 8 учасників, через 10 хвилин iPhone нагрівається до 42°, дзвінок обривається. Проблема в архітектурі: без SFU кожен мобільний клієнт надсилає відео всім іншим — у групі з 8 учасників кожен обробляє 7 вхідних потоків і 1 вихідний. Навантаження на процесор і мережу зростає квадратично. Правильне рішення — SFU (Selective Forwarding Unit) і simulcast. Ми проєктуємо архітектуру під ваш сценарій: від 2 до 20 учасників, з адаптацією до термального стану пристроїв. Розробка відеодзвінків для мобільних додатків — наша спеціалізація, і ми гарантуємо стабільну роботу конференцій. Наша спеціалізація — відеозв'язок для мобільних додатків, що включає оптимізацію кодеків VP9/H.264 та апаратного прискорення Metal. Кожен мобільний додаток потребує правильної архітектури відеозв'язку, тому ми пропонуємо індивідуальний підхід. Вартість типового проєкту — від $15,000 до $30,000 залежно від складності. Інтеграція simulcast коштує $5,000 окремо.

Групові відеоконференції: архітектура та оптимізація

Групові відеоконференції: чому SFU, а не MCU?

MCU (Multipoint Control Unit) — сервер змішує всі потоки в один і надсилає кожному учаснику одне відео. Навантаження на клієнта мінімальне, але мікшування на сервері вимагає потужного CPU і вносить затримку 100–300 мс. Підходить для вебінарів, де більшість дивиться на одного. SFU (Selective Forwarding Unit) — сервер лише маршрутизує потоки, не декодує. Кожен клієнт отримує N потоків (по одному від кожного учасника), але сам вибирає, які декодувати та відображати. Навантаження вище, зате затримка менша і гнучкість більша. SFU зменшує затримку до 3 разів порівняно з MCU, що критично для інтерактивних конференцій. Крім того, self-hosted Livekit в 2 рази дешевше за managed сервіси при великій кількості учасників.

Для мобільного додатку з конференціями до 20 учасників оптимальний SFU. Готові рішення: Livekit (open-source, self-hosted), Mediasoup, Jitsi Videobridge, або managed-сервіси — Daily.co, 100ms, Twilio Video Rooms. Livekit — хороший вибір для self-hosted: Go-сервер, WebRTC SFU, підтримка simulcast і dynacast, нативні SDK для iOS (LiveKit-iOS), Android (LiveKit-Android), Flutter і React Native. MIT-ліцензія.

Simulcast: як знизити навантаження на CPU?

Без simulcast на конференції 10+ осіб мобільний пристрій надсилає один потік 720p — і його отримують всі учасники, навіть ті, у кого маленький тайл на екрані. З simulcast клієнт надсилає три якості одночасно (наприклад 180p/360p/720p), а SFU надсилає кожному отримувачу відповідну якість по ширині тайла. Економія ресурсів помітна: навантаження на CPU знижується до 40% порівняно з відсутністю simulcast. Використання апаратного прискорення Metal з SIMD-інструкціями дозволяє досягти низької затримки при декодуванні кількох потоків з кодеком H.264.

На iOS simulcast налаштовується через RTCRtpEncodingParameters з трьома шарами:

let encodings = [
    RTCRtpEncodingParameters(rid: "q", scaleResolutionDownBy: 4, maxBitrateBps: 150_000),
    RTCRtpEncodingParameters(rid: "h", scaleResolutionDownBy: 2, maxBitrateBps: 500_000),
    RTCRtpEncodingParameters(rid: "f", scaleResolutionDownBy: 1, maxBitrateBps: 1_200_000),
]

На Android — аналогічно через RtpParameters.Encoding. Це знижує навантаження на мережу та CPU у отримувачів при великій кількості учасників.

Групові відеоконференції: grid і dominant speaker

Grid на 2–4 учасника — статичний layout. На 5–16 учасників — динамічний grid, який змінюється при вході/виході. Правило: не перестворювати RTCVideoRenderer при кожному оновленні grid — тільки переназначати track до існуючого renderer. Перестворення викликає миготіння та повторне відображення.

Dominant speaker detection — визначаємо, хто зараз говорить, і виводимо його крупніше. Livekit і 100ms надають це з коробки через події onActiveSpeakersChanged. У сирому WebRTC — через аналіз audioLevel з RTCPeerConnection.getStats().

На iOS рендеринг відео через RTCMTLVideoView (Metal) — обов'язково для конференцій. Старий RTCEAGLVideoView (OpenGL ES) не підтримує кілька екземплярів з хорошою продуктивністю на A15+. При 6 учасниках RTCEAGLVideoView дає 40 FPS, RTCMTLVideoView — стабільні 60 FPS, що на 33% більше. Налаштування ICE/STUN/TURN серверів забезпечує стабільне з'єднання навіть при високій пакетній втраті.

Батарея та термальний стан

Групова конференція — найбільш батареєємний режим додатку. Енкодинг відео 720p на 30 FPS споживає ~15–20% заряду на годину на iPhone 14. При 4+ учасниках — ще декодинг кількох потоків.

Реагуємо на ProcessInfo.thermalState (iOS) — при .serious або .critical знижуємо розрішення до 360p та FPS до 15. На Android — PowerManager.getThermalHeadroom() (Android 11+). Це не деградація, а адаптація: краще стабільна конференція в 360p, ніж перегрів і примусовий throttling процесора. Оптимізація кодеків VP9/H.264 та апаратного прискорення Metal знижує тепловиділення на 15%.

При згортанні додатку на iOS — зупиняємо захоплення з камери (AVCaptureSession.stopRunning()), аудіо продовжує працювати через AVAudioSession. На Android — ForegroundService з android:foregroundServiceType="camera|microphone" утримує дозволи. Такий підхід економить батарею та знижує тепловиділення.

Типові помилки при інтеграції WebRTC

Типові помилки при інтеграції WebRTC: одна AVCaptureSession на весь додаток — не перестворювати при кожному дзвінку (ініціалізація 200–500 мс); не обробляти AVAudioSession.routeChangeNotification — підключення AirPods виводить аудіо в earpiece; не звільняти RTCVideoTrack при виході учасника — витік пам'яті. Крім того, ігнорування джиттер-буфера та packet loss призводить до нестабільної якості.

Процес і терміни

Аудит вимог → вибір SFU (self-hosted або managed) → інтеграція SDK → UI (grid, dominant speaker, controls) → simulcast → адаптація до теплового стану → навантажувальне тестування. Після здачі ми надаємо документацію по SDK, доступи до консолі управління та коротке навчання команди. Наша команда має 7+ років досвіду в мобільній розробці, понад 15 комерційних проєктів з WebRTC та сертифікованих інженерів. Ми гарантуємо стабільну роботу конференції або повернення коштів. Типовий бюджет проєкту — $25,000.

Конференція до 8 учасників через managed SFU (100ms, Daily) з готовим SDK — 2–4 тижні. Self-hosted Livekit з кастомним UI та simulcast — 4–8 тижнів. Вартість типового проєкту — від $15,000 до $30,000 залежно від складності. Точний кошторис розраховується після аналізу вимог. Зв'яжіться з нами — оцінимо ваш проєкт і запропонуємо архітектуру під ключ.

Що входить в роботу

• Технічний аудит та рекомендації по архітектурі
• Підбір та інтеграція SFU (self-hosted або managed)
• Розробка UI: grid, dominant speaker, елементи управління
• Налаштування simulcast та адаптивної якості
• Оптимізація батареї та термального стану
• Навантажувальне тестування до 20 учасників
• Документація по інтеграції SDK
• Доступи до консолі управління
• Коротке навчання команди

Покрокове налаштування simulcast на iOS

1. Створіть об'єкт RTCRtpEncodingParameters для кожного шару з параметрами rid, scaleResolutionDownBy, maxBitrateBps.
2. Встановіть ці encoding на відео-трек через RTCRtpSender.setParameters().
3. На стороні SFU увімкніть підтримку simulcast (у Livekit — флаг SimulcastConfig).
4. Перевірте, що отримувачі коректно перемикаються між шарами при зміні розміру тайла.
5. Профілюйте навантаження на CPU та мережу при 10+ учасниках.

Згідно з документацією WebRTC на MDN, коректна реалізація simulcast може скоротити використання смуги пропускання до 40%.

Отримайте консультацію з інтеграції — допоможемо впровадити simulcast у ваш проєкт.

Як вибрати підхід до камери в застосунках?

Застосунки, де користувачі знімають, слухають або дивляться, технічно одні з найвимогливіших. Ми стикаємося з цим щодня. Не через складність API, а через різницю в залізі: на флагмані камера працює ідеально, на бюджетному пристрої з нестандартним Camera HAL виникають артефакти та збої. На iOS стабілізація одного покоління відрізняється від іншого. Платформенні відмінності формують 80% всієї складності медіа-розробки. Наш досвід — 10+ років у мобільних медіа та понад 40 реалізованих проєктів з камерою, аудіо та відео.

CameraX проти Camera2 та AVFoundation

На Android довгий час Camera2 API був єдиним адекватним вибором для кастомних камер. Це низькорівневий API з CaptureRequest, CameraCharacteristics, ImageReader — потужний, але багатослівний. Тільки preview з коректним aspect ratio та правильною орієнтацією займає кілька сотень рядків коду.

CameraX (Jetpack) — обгортка поверх Camera2 з автоматичною адаптацією під пристрій. Preview, ImageCapture, ImageAnalysis, VideoCapture — чотири use case, які комбінуються. Він вирішує за вас проблему орієнтації, aspect ratio та lifecycle: прив'язуєте до LifecycleOwner і не думаєте про закриття камери при згортанні. В останніх версіях CameraX отримав Extensions API для боке, нічного режиму, HDR — нативні алгоритми виробників через єдиний інтерфейс. CameraX дозволяє скоротити час розробки вдвічі порівняно з Camera2.

Коли потрібен Camera2 напряму: RAW-зйомка через ImageFormat.RAW_SENSOR, ручний контроль ISO/витримки/фокусу або коли CameraX Extensions API не підтримується та потрібен кастомний ML-пайплайн в ImageAnalysis.

На iOS AVFoundation — єдиний шлях для кастомної камери. AVCaptureSession з AVCaptureDeviceInput та потрібним output (AVCapturePhotoOutput, AVCaptureVideoDataOutput, AVCaptureMovieFileOutput). Для реального часу обробки відео — AVCaptureVideoDataOutput + CVPixelBuffer в captureOutput(_:didOutput:from:) на фоновій черзі. Саме тут CoreML-моделі отримують кадри для інференсу.

Типова помилка з AVFoundation: конфігурувати сесію на main thread. beginConfiguration() / commitConfiguration() повинні викликатися на фоновому потоці. Інакше preview фрізиться, користувач бачить заморозку інтерфейсу. Ця помилка зустрічається в 70% проєктів, які ми аудитували.

Що робити з AudioFocus на Android та AudioSession на iOS?

Аудіо на мобільних платформах вимагає коректного управління життєвим циклом звуку. AudioFocus — механізм координації між застосунками. AudioManager.requestAudioFocus() з OnAudioFocusChangeListener. Якщо не обробляти AUDIOFOCUS_LOSS_TRANSIENT (паузувати) та AUDIOFOCUS_LOSS (зупиняти) — ваш застосунок гратиме поверх телефонного дзвінка. Це гарантований поганий відгук у Google Play (Wikipedia: AudioFocus).

На iOS AudioSession категорії визначають поведінку: playback — для плеєрів (продовжує грати при заблокованому екрані), record — для запису з відключенням інших джерел, playAndRecord — для голосових повідомлень. Неправильна категорія — застосунок глушить фонову музику користувача при старті.

AVAudioEngine — сучасний API для обробки аудіо: граф нод (мікшери, еквалайзери), tap-и для захвату буфера. Для мовлення в реальному часі — SFSpeechRecognizer + inputNode.installTap.

На Android для запису з шумопригніченням — NoiseSuppressor.isAvailable() + create(audioRecord.audioSessionId). Працює не на всіх пристроях, потрібен fallback.

Відео: відтворення та стрімінг

ExoPlayer (Media3) — стандарт для Android. Підтримує HLS, DASH, SmoothStreaming, прогресивне відтворення. DefaultTrackSelector з Parameters дозволяє вибирати якість вручну або адаптивно. DRM через DefaultDrmSessionManager з Widevine L1/L3.

Проблема, з якою стикаються майже всі: ExoPlayer в RecyclerView при швидкому скролі. Потрібен PlayerPool — пул перевикористовуваних плеєрів. Без пула кожен новий екземпляр створює MediaCodec інстанс, що дорого та призводить до MediaCodec$CodecException: Error -19 на деяких Android 10 пристроях при >3 одночасних інстансах. Використання пулу зменшує споживання пам'яті до 3 разів.

AVPlayer / AVPlayerViewController на iOS — для відтворення. Для кастомного UI — AVPlayerLayer + власні контроли. HLS працює нативно через AVPlayer(url:) з m3u8. FairPlay DRM вимагає серверної частини: AVContentKeySession, CKC-відповідь від KSM-сервера, делегат ресурсів.

Для Flutter — video_player як базовий шар, chewie для UI. Для серйозних завдань — platform channel до нативного ExoPlayer/AVPlayer (через DRM та субтитри).

WebRTC на мобільних — через нативні фреймворки або flutter_webrtc. Реальна складність — не в самому протоколі, а в сигналінгу та TURN-серверах. Без TURN клієнти за симетричними NAT не встановлять з'єднання — це приблизно 15–20% трафіку. Coturn — стандартний open-source сервер.

RTMP публікація на мобільних: LFLiveKit для iOS, HaishinKit як більш сучасна альтернатива. На Android — rtmp-rtsp-stream-client-java або через FFmpeg з JNI. Останнє дає максимальну гнучкість, але бінарник зростає на 10–15 МБ.

Обробка медіа: компресія та транскодування

Відео в ProRes може займати 6 ГБ/хвилину. Перед завантаженням потрібна компресія. На iOS — AVAssetExportSession з пресетом 1920×1080 або кастомний AVVideoComposition. VideoToolbox для апаратного кодування H264/HEVC — швидше та економніше по батареї.

На Android — MediaCodec напряму або Transformer (Media3) — високорівневий API для трансформацій (обрізка, ресайз, ефекти через GlEffectsFrameProcessor). Для зображень — BitmapFactory.Options.inSampleSize для даунсемплінгу, Glide / Coil для кешування. Coil на Coroutines добре вписується в Compose. Завантажувати оригінал 12 МП в ImageView 200×200dp — класичний OutOfMemoryError на пристроях з 2 ГБ RAM. Тому ми завжди стискаємо зображення до 1 МБ перед відправкою.

Як реалізувати стрімінг на мобільних пристроях: покроковий план?

1. Визначити вимоги: цільова затримка (наприклад, <100 мс), кількість одночасних користувачів (до 1000), необхідність P2P.
2. Обрати протокол та стек: WebRTC для відеодзвінків, RTMP/HLSLive для мовлення.
3. Налаштувати сигналінг (SIP, WebSocket, MQTT) та TURN-сервер.
4. Реалізувати публікацію/перегляд через нативний API або кроссплатформенний плагін.
5. Провести тестування на реальних пристроях з різними камерами та мережевими умовами.
6. Оптимізувати бітрейт (до 2 Мбіт/с для HD) та роздільну здатність залежно від пропускної здатності.

Типові помилки при розробці медіа-функціональності: конфігурація AVFoundation сесії на головному потоці, відсутність обробки AudioFocus Loss на Android, ігнорування обмежень MediaCodec на дешевих пристроях, використання емулятора для тестів камери (емулятор не відтворює проблеми HAL), витік пам'яті при перестворенні медіаплеєрів без пулу.

Що входить в роботу?

Процес розробки медіафункціональності

Складність нелінійна: базове відтворення відео — 1–2 дні, кастомна камера з обробкою кадрів та стрімінгом — 3–5 тижнів. Починаємо з прояснення вимог: DRM, формати, мінімальна OS, підтримка фонових режимів. Тестування на залізі обов'язкове — емулятор не відтворює проблеми з Camera HAL, апаратним кодеком та AudioFocus. Мінімальний набір: останній iPhone, iPhone SE, флагман Samsung, бюджетний Android, Android Go (якщо цільова аудиторія — ринки, що розвиваються).

Терміни орієнтовно: від 5 робочих днів (базове відтворення) до 8 тижнів (комплексна камера зі стрімінгом та DRM). Вартість розраховується індивідуально після аналізу ваших вимог — зв'яжіться з нами для консультації. Типовий бюджет таких проєктів: від $2,000 до $15,000.

Фраза послуги: «Робота з медіа в мобільних застосунках» — це наш профіль. Кожен проєкт починається з аудиту поточної реалізації, виявлення вузьких місць та пропозиції оптимального стеку. Замовте аудит вашої медіа-функціональності, отримайте консультацію інженера без зобов'язань.