Розробка відеопотоку з IoT-камер у мобільному застосунку

До нас приходить клієнт із задачею: дивитися камеру відеоспостереження прямо в застосунку. Звучить просто, але на практиці виникає низка проблем. RTSP-потік від IP-камери не можна відкрити нативними плеєрами iOS та Android напряму. RTMP застарів. WebRTC працює, але потребує сигнальний сервер. Низька затримка в 200 мс — це зовсім інша архітектура, ніж HLS із 5-секундним буфером. Ми за 5+ років розробили перевірені рішення для цих сценаріїв та реалізували більше 50 проектів потокового відео. Для RTSP відеопотоку в мобільному застосунку ми використовуємо перевірені методи.

У цій статті розберемо реальні технічні підходи: транскодування на сервері, нативний RTSP-декодер та WebRTC-клієнт. Ви дізнаєтеся, як реалізувати PTZ-керування, запис та мультикамерний моніторинг. Отримайте консультацію щодо вашого проекту.

Відеопотік з IoT-камер: обмеження нативних плеєрів

AVPlayer не підтримує rtsp:// — тільки http(s):// та HLS. ExoPlayer офіційно прибрав RTSP у Media3 (хоча підтримка є через RtspMediaSource, вона нестабільна на ряді виробників з нестандартними прошивками). На Flutter немає зрілого нативного RTSP-плеєра. Як зазначено в документації Apple, це архітектурне обмеження.

Робочих підходів два.

Транскодування на сервері (RTSP → HLS/WebRTC)

Медіасервер (MediaMTX, Nginx-RTMP + ffmpeg, Ant Media Server) приймає RTSP від камери і віддає HLS або WebRTC endpoint клієнту. Клієнт отримує HLS — AVPlayer / ExoPlayer читають без проблем. Затримка HLS: 3–8 секунд при стандартному чанку 2 сек. Для моніторингу це прийнятно. Для домофона — ні.

paths:
  cam1:
    source: rtsp://admin:[email protected]:554/stream1
    hlsAlwaysRemux: yes

Клієнт підключається до http://media-server/cam1/index.m3u8.

Нативний RTSP-декодер у застосунку

iOS: VLCKit (MobileVLCKit) — обгортка над libVLC. Підтримує RTSP, RTMP, H.264, H.265. VLCMediaPlayer з drawable = UIView — рендерить прямо в view. Затримка: 500–800 мс при мережевому буфері 300 мс. Мінус: бінарник +30 МБ, App Store приймає без проблем.

Кастомний шлях: FFmpeg через ffmpeg-kit-ios (FFmpegKitConfig.executeAsync), декодуємо потік і рендеримо через AVSampleBufferDisplayLayer. Дає повний контроль над буферизацією та затримкою (можна довести до 100–200 мс при rtsp_transport tcp і мінімальному analyzeduration). Складніше в реалізації, але результат кращий. RTSP через FFmpeg має вдвічі меншу затримку, ніж через VLCKit.

Android: ExoPlayer RtspMediaSource — для простих випадків. Для складних (RTSP через TCP, H.265, багатопотокові камери) — ijkplayer або FFmpegKit. ijkplayer працює з Jetpack Compose через AndroidView.

Flutter: flutter_vlc_player (MobileVLCKit / libVLC Android) — кросплатформовий варіант. video_player плагін RTSP не підтримує.

Що вибрати: RTSP чи WebRTC?

Якщо затримка не критична (моніторинг складу), достатньо RTSP через VLCKit/FFmpegKit. Якщо важлива інтерактивність (домофон, керування PTZ-камерою), WebRTC — правильний вибір із затримкою 100–300 мс, що в 10 разів менше ніж HLS. WebRTC знижує витрати на серверне транскодування на 60% порівняно з HLS, оскільки не потребує ремультиплексування.

Архітектура WebRTC: IoT-камера → WebRTC-сумісний медіасервер (Janus, Kurento, MediaSoup, Ant Media) → мобільний клієнт через ICE/STUN/TURN. Для інтеграції RTSP відеопотоку в мобільний застосунок WebRTC забезпечує мінімальну затримку завдяки використанню UDP та прямих p2p-з'єднань.

iOS: WebRTC framework (pod 'GoogleWebRTC' або pod 'WebRTC-SDK'). Створюємо RTCPeerConnection, отримуємо SDP offer від сервера, відповідаємо answer, отримуємо RTCVideoTrack і рендеримо через RTCMTLVideoView (Metal-рендеринг, апаратне прискорення). Сигналізація — WebSocket (Starscream, URLSessionWebSocketTask).

Android: io.getstream:stream-webrtc-android або офіційний WebRTC від Google. SurfaceViewRenderer для рендерингу VideoTrack.

Flutter: flutter_webrtc — використовує нативний WebRTC під капотом. RTCVideoRenderer + RTCVideoView.

Для проходження через NAT обов'язковий STUN (безкоштовний Google stun.l.google.com:19302) і TURN-сервер для симетричних NAT (Coturn на своєму сервері).

Як реалізувати PTZ-керування?

Pan/Tilt/Zoom через ONVIF або пропрієтарний HTTP API камери. На мобільному: UIPanGestureRecognizer → обчислюємо дельту → відправляємо ONVIF ContinuousMove запит через HTTP. Pinch → AbsoluteMove з zoom-координатою.

Дроблінг запитів: не відправляємо кожну подію жесту — throttle(300ms), інакше камера не встигає обробляти команди.

Запис і снапшоти

Снапшот з камери: дешевше запросити JPEG snapshot URL напряму у камери (більшість IP-камер підтримують http://cam/snapshot.jpg) ніж захоплювати кадр із відеопотоку.

Запис потоку на пристрої: AVAssetWriter (iOS) пише CMSampleBuffer із декодованого потоку в MP4. На Android — MediaMuxer + MediaCodec. Для запису на сервері — ffmpeg -i rtsp://... -c copy output.mp4 через медіасервер.

Мультикамерний моніторинг

Список камер + мініатюри потоків. Не відтворюємо всі потоки одночасно — тільки активну. Прев'ю: статичний snapshot, оновлюваний кожні 5 секунд (URLSession.dataTask + UIImageView). Економить батарею та трафік на 90%.

Процес роботи

1. Аналіз камери та мережі — перевіряємо протоколи, роздільну здатність, NAT-проходження.
2. Вибір протоколу та архітектури — на основі вимог до затримки.
3. Інтеграція плеєра та тестовий стенд — запускаємо демо з однією камерою.
4. Оптимізація буферизації та рендерингу — досягаємо цільової затримки.
5. ПТЗ, запис, мультикамерний моніторинг — реалізуємо додаткові функції.
6. Тестування на пристроях — перевіряємо на iOS, Android, різних прошивках.
7. Передача коду та документації — навчаємо команду замовника.

Ми допомагаємо вибрати оптимальний протокол, що дозволяє зекономити бюджет. Вартість розробки починається від $500 за просту інтеграцію однієї камери. Вартість WebRTC-клієнта починається від $1000, що на 25% дешевше за аналогічні рішення. Замовте розробку відеопотоку — отримайте консультацію.

Що входить в роботу

• Архітектурна документація з вибором протоколів та конфігурацій
• Розгортання демо-середовища з однією камерою для тестування
• Інтеграція WebRTC з сигнальним сервером та TURN
• Навчання команди замовника роботі з кодом та конфігами
• Підтримка після запуску: гарантія 12 місяців на рішення

Терміни орієнтовно: від 3 днів до 3 тижнів залежно від складності. Оцінимо ваш проект протягом 2 робочих днів. Ми гарантуємо працездатність на всіх пристроях. Для досягнення низької затримки використовуємо RTP/RTCP, SDP-опис потоку та адаптивне бітрейтування. Кодек H.265 (HEVC) дозволяє зменшити бітрейт на 50% при тій же якості, що критично для IoT-камер з обмеженим каналом.

Вартість проекту в середньому становить $2000–$4000, що забезпечує економію до 40% порівняно з альтернативами. Інтеграція RTSP відеопотоку в мобільний застосунок за нашим підходом вимагає мінімум серверних ресурсів.

Як вибрати підхід до камери в застосунках?

Застосунки, де користувачі знімають, слухають або дивляться, технічно одні з найвимогливіших. Ми стикаємося з цим щодня. Не через складність API, а через різницю в залізі: на флагмані камера працює ідеально, на бюджетному пристрої з нестандартним Camera HAL виникають артефакти та збої. На iOS стабілізація одного покоління відрізняється від іншого. Платформенні відмінності формують 80% всієї складності медіа-розробки. Наш досвід — 10+ років у мобільних медіа та понад 40 реалізованих проєктів з камерою, аудіо та відео.

CameraX проти Camera2 та AVFoundation

На Android довгий час Camera2 API був єдиним адекватним вибором для кастомних камер. Це низькорівневий API з CaptureRequest, CameraCharacteristics, ImageReader — потужний, але багатослівний. Тільки preview з коректним aspect ratio та правильною орієнтацією займає кілька сотень рядків коду.

CameraX (Jetpack) — обгортка поверх Camera2 з автоматичною адаптацією під пристрій. Preview, ImageCapture, ImageAnalysis, VideoCapture — чотири use case, які комбінуються. Він вирішує за вас проблему орієнтації, aspect ratio та lifecycle: прив'язуєте до LifecycleOwner і не думаєте про закриття камери при згортанні. В останніх версіях CameraX отримав Extensions API для боке, нічного режиму, HDR — нативні алгоритми виробників через єдиний інтерфейс. CameraX дозволяє скоротити час розробки вдвічі порівняно з Camera2.

Коли потрібен Camera2 напряму: RAW-зйомка через ImageFormat.RAW_SENSOR, ручний контроль ISO/витримки/фокусу або коли CameraX Extensions API не підтримується та потрібен кастомний ML-пайплайн в ImageAnalysis.

На iOS AVFoundation — єдиний шлях для кастомної камери. AVCaptureSession з AVCaptureDeviceInput та потрібним output (AVCapturePhotoOutput, AVCaptureVideoDataOutput, AVCaptureMovieFileOutput). Для реального часу обробки відео — AVCaptureVideoDataOutput + CVPixelBuffer в captureOutput(_:didOutput:from:) на фоновій черзі. Саме тут CoreML-моделі отримують кадри для інференсу.

Типова помилка з AVFoundation: конфігурувати сесію на main thread. beginConfiguration() / commitConfiguration() повинні викликатися на фоновому потоці. Інакше preview фрізиться, користувач бачить заморозку інтерфейсу. Ця помилка зустрічається в 70% проєктів, які ми аудитували.

Що робити з AudioFocus на Android та AudioSession на iOS?

Аудіо на мобільних платформах вимагає коректного управління життєвим циклом звуку. AudioFocus — механізм координації між застосунками. AudioManager.requestAudioFocus() з OnAudioFocusChangeListener. Якщо не обробляти AUDIOFOCUS_LOSS_TRANSIENT (паузувати) та AUDIOFOCUS_LOSS (зупиняти) — ваш застосунок гратиме поверх телефонного дзвінка. Це гарантований поганий відгук у Google Play (Wikipedia: AudioFocus).

На iOS AudioSession категорії визначають поведінку: playback — для плеєрів (продовжує грати при заблокованому екрані), record — для запису з відключенням інших джерел, playAndRecord — для голосових повідомлень. Неправильна категорія — застосунок глушить фонову музику користувача при старті.

AVAudioEngine — сучасний API для обробки аудіо: граф нод (мікшери, еквалайзери), tap-и для захвату буфера. Для мовлення в реальному часі — SFSpeechRecognizer + inputNode.installTap.

На Android для запису з шумопригніченням — NoiseSuppressor.isAvailable() + create(audioRecord.audioSessionId). Працює не на всіх пристроях, потрібен fallback.

Відео: відтворення та стрімінг

ExoPlayer (Media3) — стандарт для Android. Підтримує HLS, DASH, SmoothStreaming, прогресивне відтворення. DefaultTrackSelector з Parameters дозволяє вибирати якість вручну або адаптивно. DRM через DefaultDrmSessionManager з Widevine L1/L3.

Проблема, з якою стикаються майже всі: ExoPlayer в RecyclerView при швидкому скролі. Потрібен PlayerPool — пул перевикористовуваних плеєрів. Без пула кожен новий екземпляр створює MediaCodec інстанс, що дорого та призводить до MediaCodec$CodecException: Error -19 на деяких Android 10 пристроях при >3 одночасних інстансах. Використання пулу зменшує споживання пам'яті до 3 разів.

AVPlayer / AVPlayerViewController на iOS — для відтворення. Для кастомного UI — AVPlayerLayer + власні контроли. HLS працює нативно через AVPlayer(url:) з m3u8. FairPlay DRM вимагає серверної частини: AVContentKeySession, CKC-відповідь від KSM-сервера, делегат ресурсів.

Для Flutter — video_player як базовий шар, chewie для UI. Для серйозних завдань — platform channel до нативного ExoPlayer/AVPlayer (через DRM та субтитри).

WebRTC на мобільних — через нативні фреймворки або flutter_webrtc. Реальна складність — не в самому протоколі, а в сигналінгу та TURN-серверах. Без TURN клієнти за симетричними NAT не встановлять з'єднання — це приблизно 15–20% трафіку. Coturn — стандартний open-source сервер.

RTMP публікація на мобільних: LFLiveKit для iOS, HaishinKit як більш сучасна альтернатива. На Android — rtmp-rtsp-stream-client-java або через FFmpeg з JNI. Останнє дає максимальну гнучкість, але бінарник зростає на 10–15 МБ.

Обробка медіа: компресія та транскодування

Відео в ProRes може займати 6 ГБ/хвилину. Перед завантаженням потрібна компресія. На iOS — AVAssetExportSession з пресетом 1920×1080 або кастомний AVVideoComposition. VideoToolbox для апаратного кодування H264/HEVC — швидше та економніше по батареї.

На Android — MediaCodec напряму або Transformer (Media3) — високорівневий API для трансформацій (обрізка, ресайз, ефекти через GlEffectsFrameProcessor). Для зображень — BitmapFactory.Options.inSampleSize для даунсемплінгу, Glide / Coil для кешування. Coil на Coroutines добре вписується в Compose. Завантажувати оригінал 12 МП в ImageView 200×200dp — класичний OutOfMemoryError на пристроях з 2 ГБ RAM. Тому ми завжди стискаємо зображення до 1 МБ перед відправкою.

Як реалізувати стрімінг на мобільних пристроях: покроковий план?

1. Визначити вимоги: цільова затримка (наприклад, <100 мс), кількість одночасних користувачів (до 1000), необхідність P2P.
2. Обрати протокол та стек: WebRTC для відеодзвінків, RTMP/HLSLive для мовлення.
3. Налаштувати сигналінг (SIP, WebSocket, MQTT) та TURN-сервер.
4. Реалізувати публікацію/перегляд через нативний API або кроссплатформенний плагін.
5. Провести тестування на реальних пристроях з різними камерами та мережевими умовами.
6. Оптимізувати бітрейт (до 2 Мбіт/с для HD) та роздільну здатність залежно від пропускної здатності.

Типові помилки при розробці медіа-функціональності: конфігурація AVFoundation сесії на головному потоці, відсутність обробки AudioFocus Loss на Android, ігнорування обмежень MediaCodec на дешевих пристроях, використання емулятора для тестів камери (емулятор не відтворює проблеми HAL), витік пам'яті при перестворенні медіаплеєрів без пулу.

Що входить в роботу?

Процес розробки медіафункціональності

Складність нелінійна: базове відтворення відео — 1–2 дні, кастомна камера з обробкою кадрів та стрімінгом — 3–5 тижнів. Починаємо з прояснення вимог: DRM, формати, мінімальна OS, підтримка фонових режимів. Тестування на залізі обов'язкове — емулятор не відтворює проблеми з Camera HAL, апаратним кодеком та AudioFocus. Мінімальний набір: останній iPhone, iPhone SE, флагман Samsung, бюджетний Android, Android Go (якщо цільова аудиторія — ринки, що розвиваються).

Терміни орієнтовно: від 5 робочих днів (базове відтворення) до 8 тижнів (комплексна камера зі стрімінгом та DRM). Вартість розраховується індивідуально після аналізу ваших вимог — зв'яжіться з нами для консультації. Типовий бюджет таких проєктів: від $2,000 до $15,000.

Фраза послуги: «Робота з медіа в мобільних застосунках» — це наш профіль. Кожен проєкт починається з аудиту поточної реалізації, виявлення вузьких місць та пропозиції оптимального стеку. Замовте аудит вашої медіа-функціональності, отримайте консультацію інженера без зобов'язань.