Screen Broadcasting — трансляція екрану мобільного застосунку — затребувана у сценаріях демонстрації, технічної підтримки, стрімінгу та віддаленого навчання. На iOS доступний лише ReplayKit з жорстким лімітом пам'яті 50 МБ у Broadcast Extension, а на Android — MediaProjection з можливістю захоплення в реальному часі. Неправильна реалізація веде до втрати кадрів, перевитрати пам'яті та збоїв під навантаженням. Ми вирішуємо ці проблеми: оптимізуємо downscale відео, впроваджуємо heartbeat-моніторинг для контролю стану трансляції та підбираємо оптимальний протокол — RTMP, SRT або WebRTC. Наші інженери мають 7+ років досвіду в мобільній розробці, реалізували понад 30 проєктів зі стрімінгом екрану та з 2018 року на ринку. Отримайте попередню оцінку вашого проєкту — просто зв'яжіться з нами.
Особливості Screen Broadcasting на iOS
Трансляція екрану на iOS працює лише через ReplayKit. Спроби захопити UIScreen безпосередньо за допомогою UIScreen.main.snapshot дають одиничний знімок, а не відеопотік. Як зазначено в документації Apple, ReplayKit — єдиний публічний API для захоплення екрану ReplayKit. Однак він накладає обмеження: затримка 2–5 секунд і ліміт пам'яті 50 МБ для Broadcast Extension.
Два режими ReplayKit і коли що використовувати
RPScreenRecorder (in-app recording). Захоплює лише контент всередині застосунку. Користувач не бачить системний picker. Підходить для запису геймплею, capture UI застосунку. Недолік — захоплення припиняється при згортанні.
RPBroadcastSampleHandler (broadcast upload extension). Працює як системний Extension — процес живе окремо від основного застосунку. Захоплює весь екран пристрою, включаючи інші застосунки та сповіщення. Користувач запускає через Control Center або RPSystemBroadcastPickerView. Саме цей режим потрібен для трансляції «всього екрану».
Архітектура Broadcast Extension:
iOS System → RPBroadcastSampleHandler (Extension process) ↓ CMSampleBuffer (video + audio) ↓ App Group shared container (якщо потрібна комунікація з основним застосунком) ↓ RTMP/SRT → сервер трансляції Розширення не має UI і обмежене 50 МБ RAM. Це жорстке обмеження: все кодування та відправка мають вміщатися в цей бюджет.
RPBroadcastSampleHandler: реалізація
class BroadcastHandler: RPBroadcastSampleHandler { private var rtmpStream: RTMPStream? override func broadcastStarted(withSetupInfo setupInfo: [String: NSObject]?) { // Ініціалізуємо RTMP або SRT з'єднання // setupInfo — дані від основного застосунку через Info.plist } override func processSampleBuffer(_ sampleBuffer: CMSampleBuffer, with sampleBufferType: RPSampleBufferType) { switch sampleBufferType { case .video: rtmpStream?.append(sampleBuffer) case .audioApp: rtmpStream?.append(sampleBuffer) // аудіо застосунків case .audioMic: // аудіо мікрофона — окремий потік, потребує явного дозволу break } } override func broadcastFinished() { rtmpStream?.close() } } Передача параметрів (stream key, endpoint) з основного застосунку в Extension — через App Group UserDefaults:
let defaults = UserDefaults(suiteName: "group.com.yourapp.broadcast") defaults?.set(streamKey, forKey: "streamKey") Чому затримка на iOS неминуча?
ReplayKit screen broadcast додає буферизацію ~2–5 секунд. Це не баг — Apple буферизує для захисту конфіденційності (показ системних діалогів з паролями). Зменшити не можна.
Роздільна здатність залежить від моделі пристрою: сучасні топові моделі віддають 1668×2388 (native scale), що надмірно для стріму. У processSampleBuffer перед енкодуванням потрібно downscale через VTPixelTransferSession або CIContext:
// Масштабуємо до 1280×720 перед відправкою в енкодер let scaledBuffer = pixelTransferSession.scale(pixelBuffer, to: CGSize(width: 1280, height: 720)) Без downscale Extension перевищить 50 МБ RAM на першому ж I-frame в 4K.
Порівняння протоколів трансляції
| Протокол | Затримка | Надійність | Складність реалізації |
|---|---|---|---|
| RTMP | 2-5 с | Середня (потребує ретрансляції) | Низька |
| SRT | 0.5-2 с | Висока (FEC, автоматичне відновлення) | Середня |
| WebRTC | <0.5 с | Висока (P2P, адаптивний бітрейт) | Висока |
Вибір протоколу залежить від сценарію: RTMP — для масових стрімів, SRT — для стабільності, WebRTC — для мінімальної затримки. Ми допомагаємо підібрати оптимальний варіант під ваш проєкт.
Реалізація трансляції екрану на Android
На Android аналог — MediaProjection. Користувач підтверджує дозвіл через системний діалог (startActivityForResult з MediaProjectionManager.createScreenCaptureIntent()). Після отримання MediaProjection створюємо VirtualDisplay і направляємо його в MediaCodec через Surface:
val virtualDisplay = mediaProjection.createVirtualDisplay( "ScreenCapture", width, height, dpi, DisplayManager.VIRTUAL_DISPLAY_FLAG_AUTO_MIRROR, mediaCodec.createInputSurface(), null, null ) На відміну від iOS, затримки ReplayKit немає — захоплення йде майже в реальному часі. Але на новіших версіях Android з'явилася вимога: якщо MediaProjection-сесія використовується в ForegroundService, потрібен тип FOREGROUND_SERVICE_TYPE_MEDIA_PROJECTION. Документація MediaProjection API описує всі нюанси.
| Параметр | iOS (ReplayKit) | Android (MediaProjection) |
|---|---|---|
| Затримка | 2–5 секунд (вбудована) | Мінімальна (реальний час) |
| Обмеження пам'яті | 50 МБ RAM на Extension | Немає жорсткого ліміту, але рекомендується управління |
| Захоплення інших застосунків | Так (Broadcast Extension) | Так (з дозволу) |
| Версії | iOS 10+ | Android 5+ (API 21) |
| Параметри запуску | Через Control Center | Через системний діалог |
Android MediaProjection забезпечує затримку менше 100 мс, що в 20–50 разів менше за затримку ReplayKit на iOS.
Як уникнути падіння Broadcast Extension?
На iOS Extension може працювати нескінченно, але якщо процес перевищує 50 МБ — система його вбиває без попередження. Для моніторингу з основного застосунку — heartbeat через App Group: Extension пише timestamp кожні 5 секунд, застосунок перевіряє. Якщо timestamp не оновлювався 15 секунд — вважаємо Extension таким, що впав, і показуємо попередження.
Ми впроваджуємо heartbeat-механізм: Extension кожні 5 секунд зберігає поточний час у UserDefaults через App Group. Основний застосунок перевіряє це значення кожні 15 секунд. Якщо з моменту останнього оновлення минуло більше 15 секунд — значить Extension впав. Користувач отримує сповіщення і може перезапустити трансляцію.
Що входить у роботу
- Проектування архітектури з вибором протоколу (RTMP, SRT, WebRTC) та сервера.
- Розробка Broadcast Extension для iOS або сервісу захоплення для Android.
- Налаштування App Group та комунікації між процесами.
- Оптимізація downscale відео та налаштування бітрейту.
- Впровадження heartbeat-моніторингу та обробки помилок.
- Інтеграція з сервером та тестування на реальних пристроях.
- Документація з інтеграції та навчання команди.
- Підтримка при релізі в App Store та Google Play.
Терміни орієнтовно
iOS Broadcast Extension з RTMP/SRT, downscaling, App Group комунікацією: 2–3 тижні. Android MediaProjection: 1.5–2 тижні. Крос-платформа зі спільним керуючим кодом: 4–5 тижнів. Вартість розраховується індивідуально. Замовте попередню оцінку — зв'яжіться з нами.
Важливо дотримуватися App Store Review Guidelines Section 4.2 — трансляція екрану має бути явно вказана в описі. Отримайте консультацію з архітектури та оптимальне рішення для вашого проєкту.