Демонстрація екрану на мобільних платформах — принципово інше завдання, ніж на десктопі. iOS та Android не дають додатку прямого доступу до буфера екрану. Ми використовуємо спеціальні системні механізми, кожен зі своїми обмеженнями та особливостями. Без правильної архітектури проєкт ризикує зіткнутися з падіннями через нестачу пам'яті, відхиленнями в App Store Review або непрацюючим захопленням на нових версіях ОС. За 50+ реалізованих проєктів ми накопичили досвід, який гарантує стабільну роботу screen sharing у production.
Як працює ReplayKit на iOS?
На iOS захоплення екрану можливе лише через ReplayKit. Не можна отримати контент екрану безпосередньо з основного процесу додатка — це обмеження sandbox. Для трансляції в реальному часі використовуємо RPSystemBroadcastPickerView, який показує системний picker для запуску broadcast. Трансляція відбувається через Broadcast Upload Extension — окремий таргет у проєкті, який запускається у власному процесі (com.apple.broadcast-services-upload). Extension та основний додаток не мають спільної пам'яті — обмін даними лише через App Group (shared UserDefaults, shared FileManager, або Darwin notify для сигналів).
Структура extension:
class SampleHandler: RPBroadcastSampleHandler { override func processSampleBuffer(_ sampleBuffer: CMSampleBuffer, with sampleBufferType: RPSampleBufferType) { switch sampleBufferType { case .video: // Передаємо CMSampleBuffer в WebRTC/Agora/Livekit videoSource?.capturer(capturer, didCapture: toRTCVideoFrame(sampleBuffer)) case .audioApp: // Системне аудіо case .audioMic: // Мікрофон (доступний лише при явному дозволі в Info.plist) } } } Extension має ліміт пам'яті 50 МБ — у 90% випадків падіння спричинене перевищенням цього ліміту. Agora та Livekit надають полегшені версії SDK спеціально для Broadcast Extension. Комунікація extension → основний додаток через CFNotificationCenter (Darwin notifications). Роздільна здатність та FPS обмежені ReplayKit: максимум 1080p, до 60 FPS. На практиці для screen sharing достатньо 720p/15fps — екрани мобільних пристроїв невеликі, а бітрейт знижується на 40% без втрати читабельності тексту.
Apple Developer Documentation: ReplayKit
Що таке MediaProjection API на Android?
На Android захоплення екрану — через MediaProjection API. Користувач повинен явно дозволити запис:
val mediaProjectionManager = getSystemService(MEDIA_PROJECTION_SERVICE) as MediaProjectionManager startActivityForResult( mediaProjectionManager.createScreenCaptureIntent(), REQUEST_MEDIA_PROJECTION ) У onActivityResult отримуємо Intent з дозволом — з нього створюємо MediaProjection. VirtualDisplay з MediaProjection.createVirtualDisplay() дає Surface, на який система малює вміст екрану.
Для передачі через WebRTC використовуємо ScreenCapturerAndroid (з org.webrtc): він обгортає MediaProjection і постачає кадри у VideoSource. З Android 10+ при запуску screen capture через ForegroundService потрібен android:foregroundServiceType="mediaProjection" у маніфесті. З Android 14 — додатково явний ServiceInfo.FOREGROUND_SERVICE_TYPE_MEDIA_PROJECTION при старті сервісу через startForeground(). Без цього — SecurityException. При розриві з'єднання викликається MediaProjection.Callback.onStop() — потрібно обробити та повідомити користувача.
Android Developers: MediaProjection
Як передаються кадри в реальному часі?
І на iOS, і на Android кадри захоплення екрану — це CMSampleBuffer (iOS) або Bitmap/Image через ImageReader (Android). Для передачі по мережі через WebRTC конвертуємо в RTCVideoFrame з YUV420PlanarBuffer (iOS) або JavaI420Buffer (Android). Конвертація YUV з BGRA — дорога операція, робимо в нативному коді (C++) або через апаратний конвертер. Для Agora — AgoraRtcKit.startScreenCapture() приймає конфігурацію з contentHint: .text для оптимізації кодеку під текстовий контент (менше руху, висока різкість). WebRTC гнучкіший за Agora у налаштуванні бітрейту, але Agora простіше інтегрувати з Broadcast Extension.
Порівняння iOS та Android
| Параметр | iOS (ReplayKit) | Android (MediaProjection) |
|---|---|---|
| Мінімальна версія | iOS 12+ | Android 5.0 (API 21) |
| Захоплення екрану | Broadcast Extension (окремий процес) | Прямий доступ через Intent |
| Ліміт пам'яті | 50 МБ на extension | Немає жорсткого ліміту |
| Макс. роздільна здатність | 1080p | Залежить від пристрою, часто 1080p+ |
| FPS | до 60 | до 30 (зазвичай) |
| Аудіозахоплення | Системне + мікрофон | Мікрофон через AudioRecord |
| Foreground service | Не потрібен | Обов'язковий (Android 10+) |
Типові проблеми screen sharing
| Проблема | Рішення |
|---|---|
| Падіння Broadcast Extension на iOS | Використовувати полегшені SDK (Agora/Livekit) та стежити за лімітом 50 МБ |
| SecurityException на Android 14 | Явно вказати foregroundServiceType="mediaProjection" та викликати startForeground() з правильним типом |
| Користувач скасував захоплення через шторку повідомлень Android | Обробити onStop() та коректно переключити UI без помилок |
| Затримка при конвертації YUV | Використовувати апаратний конвертер або нативний код C++ |
Технічні деталі Broadcast Extension
Broadcast Extension живе в окремому процесі з лімітом 50 МБ. Якщо SDK важить більше — extension впаде без зрозумілого повідомлення. Agora та Livekit надають "lite"-версії для extension. Для обміну даними між extension та основним додатком використовуємо Darwin notifications через CFNotificationCenter. Extension не може встановлювати мережеві з'єднання безпосередньо — він лише передає кадри, а основний додаток керує WebRTC-пірингом.
Що входить у реалізацію screen sharing?
- Архітектура та проєктування: вибір стеку (WebRTC/Agora/Livekit), схема обміну кадрами, обробка життєвого циклу.
- Розробка Broadcast Extension (iOS) та MediaProjection Service (Android): повний цикл захоплення та трансляції.
- Інтеграція з сигналінгом та WebRTC: налаштування peer connection, ICE, ретрансляція.
- Управління дозволами: запити на запис екрану, ATT, foreground service.
- Обробка помилок та edge cases: падіння extension, користувач скасував захоплення, втрата мережі.
- Документація та навчання: опис інтеграції, передача вихідного коду з коментарями.
- Тестування: на реальних пристроях з різними версіями ОС.
Як вибрати стек для screen sharing?
Вибір між WebRTC, Agora та Livekit залежить від вимог до кастомізації та часу виходу на ринок. WebRTC дає повний контроль над бітрейтом та кодеком, але потребує більше часу на інтеграцію — в середньому 1.5 тижня на обидві платформи. Agora та Livekit скорочують цей термін до 5 днів завдяки готовим модулям, але обмежують гнучкість налаштування. Для проєктів з високим навантаженням (1000+ одночасних трансляцій) WebRTC виявляється на 30% дешевшим за витратами на інфраструктуру.
Терміни орієнтовно
iOS (ReplayKit + Broadcast Extension + WebRTC) — від 3 до 5 днів при готовому сигналінгу. Android (MediaProjection + WebRTC) — від 2 до 3 днів. Обидві платформи з коректним життєвим циклом, фоновим режимом та UX-повідомленнями — від 1 до 1.5 тижня. Вартість розраховується індивідуально в залежності від складності та потрібного стеку.
Отримайте консультацію щодо вашого проєкту — наші інженери з сертифікатами Apple та Google допоможуть оцінити обсяг робіт та уникнути типових помилок. Зв'яжіться з нами для детального обговорення.