Розробка відеодзвінків у мобільному додатку

Ми розробляємо відеодзвінки в мобільних додатках. Це не просто WebRTC-з'єднання: управління камерою та мікрофоном, lifecycle на рівні системи, обробка переривань (вхідний дзвінок, сповіщення, блокування екрану), коректна робота у фоні та на низькому рівні заряду батареї. Кожна з цих деталей — окрема задача з нетривіальними рішеннями на iOS та Android. Наш досвід у цій галузі перевищує 7 років, ми реалізували понад 30 проєктів з відеодзвінками для клієнтів з різних індустрій. Вартість розробки базового відеодзвінка стартує від $7,000, а повноцінне рішення з CallKit/ConnectionService та кастомним сигналінгом — від $15,000.

Який транспорт обрати для розробки відеодзвінків: WebRTC чи готовий SDK?

Чистий WebRTC — це RTCPeerConnection, RTCSessionDescription, ICE/STUN/TURN сервери, getUserMedia, сигналінг через WebSocket. Повна реалізація з нуля займає 3–6 тижнів тільки на транспортний шар, без UI. Це дозволяє зменшити розмір бінарника на 30% порівняно з використанням Agora SDK.

Більшість проєктів обирають SDK поверх WebRTC: Twilio Video, Daily.co, 100ms, Livekit або Agora. Вони беруть на себе ICE negotiation, codec negotiation (VP8/VP9/H.264/AV1), адаптивний бітрейт, і дають готові нативні обгортки для iOS та Android.

Якщо вимоги до кастомізації невисокі та важлива швидкість запуску — обираємо SDK. Якщо потрібен повний контроль над кодеком, шифруванням або мінімальною вагою бінарника — чистий WebRTC через GoogleWebRTC (iOS) або org.webrtc (Android).

Крок 1: Як реалізувати відеодзвінок на iOS?

Відео з камери захоплюється через AVCaptureSession. Правильна ініціалізація:

let session = AVCaptureSession()
session.sessionPreset = .hd1280x720

let camera = AVCaptureDevice.default(.builtInWideAngleCamera, for: .video, position: .front)
let input = try AVCaptureDeviceInput(device: camera!)
let output = AVCaptureVideoDataOutput()
output.setSampleBufferDelegate(self, queue: DispatchQueue(label: "videoQueue"))

AVCaptureVideoDataOutput з делегатом дає сирі CMSampleBuffer — їх передаємо в WebRTC через RTCVideoSource. Важно: AVCaptureSession.startRunning() викликається строго у фоновому потоці, не на головному — інакше UI заморозиться на 200–400 мс.

Перемикання фронтальної/основної камери — AVCaptureSession.beginConfiguration() + видалення старого input + додавання нового + commitConfiguration(). Без begin/commit навколо цих операцій — флікер на відео під час перемикання.

CallKit — обов'язковий компонент для iOS-додатків з відеодзвінками. Без нього вхідний дзвінок відображається як push-сповіщення, яке може бути пропущено. З CallKit — повноекранний системний екран дзвінка, інтеграція з Bluetooth/AirPods, правильна обробка переривання аудіо. Реалізуємо через CXProvider та CXCallController. VoIP push через PKPushRegistry — єдиний спосіб розбудити додаток для вхідного дзвінка.

Крок 2: Як реалізувати відеодзвінок на Android?

На Android Camera2 API (CameraManager.openCamera()) дає доступ до ImageReader з форматом YUV_420_888 — стандартний формат для WebRTC на Android. Для більшості задач вистачає рівня CameraDevice.StateCallback + CaptureRequest.Builder.

ConnectionService — Android-аналог CallKit. Реєструємо PhoneAccount, через TelecomManager керуємо станом дзвінка. Без цього на Android 10+ додаток не може працювати у foreground під час дзвінка без постійного сповіщення.

Для збереження з'єднання при згортанні — ForegroundService з типом mediaProjection або phoneCall. На Android 14 це вимагає явного вказання в маніфесті: android:foregroundServiceType="camera|microphone".

Крок 3: Управління камерою та мікрофоном

Mute мікрофона — не відключення пристрою, а заміна аудіо-треку на тишу. В WebRTC: RTCAudioTrack.isEnabled = false. Повне відключення мікрофона на рівні AVAudioSession — ламає ехоподавлення.

Flip камери під час дзвінка — через RTCCameraVideoCapturer.stopCapture() + зміна пристрою + startCapture(with:fps:). Без повної зупинки — крэш на деяких пристроях Huawei та Xiaomi через стан гонки в Camera2.

Поворот екрану — RTCVideoTrack сам по собі не враховує орієнтацію. Потрібно передавати RTCVideoRotation в RTCVideoFrame при захопленні з камери, інакше співрозмовник побачить повернуте на 90° відео на пристроях з portrait-lock.

Крок 4: Якість з'єднання та адаптація

Адаптивний бітрейт — базова функція WebRTC (алгоритм GCC). Але потрібно явно задати діапазон: RTCRtpEncodingParameters з minBitrateBps: 100_000 та maxBitrateBps: 1_500_000. Без обмеження зверху на Wi-Fi WebRTC спробує використовувати 4–8 Мбіт/с — це некомфортно для інших користувачів мережі.

Індикатор якості з'єднання через RTCPeerConnection.getStats() — парсимо RTCInboundRtpStreamStats для framesPerSecond та packetsLost. Втрати > 5% — показуємо попередження користувачу. Ці механізми забезпечують стабільність зв'язку навіть при нестабільному інтернеті.

Що входить в роботу з розробки відеодзвінків?

• Аудит вимог та вибір оптимального транспорту (WebRTC або SDK)
• Розробка сигналінгу (WebSocket або сторонній сервер)
• Інтеграція камери та мікрофона з AVCaptureSession/Camera2
• Підключення CallKit/ConnectionService для системних дзвінків
• Розробка UI: прев'ю локального відео, віддалене відео, кнопки керування
• Адаптивний бітрейт та контроль якості з'єднання
• Тестування на реальних пристроях (iOS/Android)
• Документація з інтеграції та передача вихідного коду
• Підтримка після релізу (2 тижні)

Процес: від ідеї до релізу

Крок 1: Аудит вимог → Крок 2: Вибір транспорту → Крок 3: Реалізація сигналінгу → Крок 4: Інтеграція камери/мікрофона → Крок 5: CallKit/ConnectionService → Крок 6: UI та кнопки керування → Крок 7: Тестування на реальних пристроях → Крок 8: Деплой у магазини.

Оцінимо ваш проєкт безкоштовно. Напишіть нам, і ми запропонуємо оптимальне рішення з урахуванням ваших термінів та бюджету. Базовий відеодзвінок 1-на-1 через SDK (Twilio/Agora/100ms) з управлінням камерою, mute та flip — 1–2 тижні. Чистий WebRTC з сигналінгом, CallKit, фоновий режим — 3–5 тижнів. Вартість розраховується після аналізу вимог.

Як вибрати підхід до камери в застосунках?

Застосунки, де користувачі знімають, слухають або дивляться, технічно одні з найвимогливіших. Ми стикаємося з цим щодня. Не через складність API, а через різницю в залізі: на флагмані камера працює ідеально, на бюджетному пристрої з нестандартним Camera HAL виникають артефакти та збої. На iOS стабілізація одного покоління відрізняється від іншого. Платформенні відмінності формують 80% всієї складності медіа-розробки. Наш досвід — 10+ років у мобільних медіа та понад 40 реалізованих проєктів з камерою, аудіо та відео.

CameraX проти Camera2 та AVFoundation

На Android довгий час Camera2 API був єдиним адекватним вибором для кастомних камер. Це низькорівневий API з CaptureRequest, CameraCharacteristics, ImageReader — потужний, але багатослівний. Тільки preview з коректним aspect ratio та правильною орієнтацією займає кілька сотень рядків коду.

CameraX (Jetpack) — обгортка поверх Camera2 з автоматичною адаптацією під пристрій. Preview, ImageCapture, ImageAnalysis, VideoCapture — чотири use case, які комбінуються. Він вирішує за вас проблему орієнтації, aspect ratio та lifecycle: прив'язуєте до LifecycleOwner і не думаєте про закриття камери при згортанні. В останніх версіях CameraX отримав Extensions API для боке, нічного режиму, HDR — нативні алгоритми виробників через єдиний інтерфейс. CameraX дозволяє скоротити час розробки вдвічі порівняно з Camera2.

Коли потрібен Camera2 напряму: RAW-зйомка через ImageFormat.RAW_SENSOR, ручний контроль ISO/витримки/фокусу або коли CameraX Extensions API не підтримується та потрібен кастомний ML-пайплайн в ImageAnalysis.

На iOS AVFoundation — єдиний шлях для кастомної камери. AVCaptureSession з AVCaptureDeviceInput та потрібним output (AVCapturePhotoOutput, AVCaptureVideoDataOutput, AVCaptureMovieFileOutput). Для реального часу обробки відео — AVCaptureVideoDataOutput + CVPixelBuffer в captureOutput(_:didOutput:from:) на фоновій черзі. Саме тут CoreML-моделі отримують кадри для інференсу.

Типова помилка з AVFoundation: конфігурувати сесію на main thread. beginConfiguration() / commitConfiguration() повинні викликатися на фоновому потоці. Інакше preview фрізиться, користувач бачить заморозку інтерфейсу. Ця помилка зустрічається в 70% проєктів, які ми аудитували.

Що робити з AudioFocus на Android та AudioSession на iOS?

Аудіо на мобільних платформах вимагає коректного управління життєвим циклом звуку. AudioFocus — механізм координації між застосунками. AudioManager.requestAudioFocus() з OnAudioFocusChangeListener. Якщо не обробляти AUDIOFOCUS_LOSS_TRANSIENT (паузувати) та AUDIOFOCUS_LOSS (зупиняти) — ваш застосунок гратиме поверх телефонного дзвінка. Це гарантований поганий відгук у Google Play (Wikipedia: AudioFocus).

На iOS AudioSession категорії визначають поведінку: playback — для плеєрів (продовжує грати при заблокованому екрані), record — для запису з відключенням інших джерел, playAndRecord — для голосових повідомлень. Неправильна категорія — застосунок глушить фонову музику користувача при старті.

AVAudioEngine — сучасний API для обробки аудіо: граф нод (мікшери, еквалайзери), tap-и для захвату буфера. Для мовлення в реальному часі — SFSpeechRecognizer + inputNode.installTap.

На Android для запису з шумопригніченням — NoiseSuppressor.isAvailable() + create(audioRecord.audioSessionId). Працює не на всіх пристроях, потрібен fallback.

Відео: відтворення та стрімінг

ExoPlayer (Media3) — стандарт для Android. Підтримує HLS, DASH, SmoothStreaming, прогресивне відтворення. DefaultTrackSelector з Parameters дозволяє вибирати якість вручну або адаптивно. DRM через DefaultDrmSessionManager з Widevine L1/L3.

Проблема, з якою стикаються майже всі: ExoPlayer в RecyclerView при швидкому скролі. Потрібен PlayerPool — пул перевикористовуваних плеєрів. Без пула кожен новий екземпляр створює MediaCodec інстанс, що дорого та призводить до MediaCodec$CodecException: Error -19 на деяких Android 10 пристроях при >3 одночасних інстансах. Використання пулу зменшує споживання пам'яті до 3 разів.

AVPlayer / AVPlayerViewController на iOS — для відтворення. Для кастомного UI — AVPlayerLayer + власні контроли. HLS працює нативно через AVPlayer(url:) з m3u8. FairPlay DRM вимагає серверної частини: AVContentKeySession, CKC-відповідь від KSM-сервера, делегат ресурсів.

Для Flutter — video_player як базовий шар, chewie для UI. Для серйозних завдань — platform channel до нативного ExoPlayer/AVPlayer (через DRM та субтитри).

WebRTC на мобільних — через нативні фреймворки або flutter_webrtc. Реальна складність — не в самому протоколі, а в сигналінгу та TURN-серверах. Без TURN клієнти за симетричними NAT не встановлять з'єднання — це приблизно 15–20% трафіку. Coturn — стандартний open-source сервер.

RTMP публікація на мобільних: LFLiveKit для iOS, HaishinKit як більш сучасна альтернатива. На Android — rtmp-rtsp-stream-client-java або через FFmpeg з JNI. Останнє дає максимальну гнучкість, але бінарник зростає на 10–15 МБ.

Обробка медіа: компресія та транскодування

Відео в ProRes може займати 6 ГБ/хвилину. Перед завантаженням потрібна компресія. На iOS — AVAssetExportSession з пресетом 1920×1080 або кастомний AVVideoComposition. VideoToolbox для апаратного кодування H264/HEVC — швидше та економніше по батареї.

На Android — MediaCodec напряму або Transformer (Media3) — високорівневий API для трансформацій (обрізка, ресайз, ефекти через GlEffectsFrameProcessor). Для зображень — BitmapFactory.Options.inSampleSize для даунсемплінгу, Glide / Coil для кешування. Coil на Coroutines добре вписується в Compose. Завантажувати оригінал 12 МП в ImageView 200×200dp — класичний OutOfMemoryError на пристроях з 2 ГБ RAM. Тому ми завжди стискаємо зображення до 1 МБ перед відправкою.

Як реалізувати стрімінг на мобільних пристроях: покроковий план?

1. Визначити вимоги: цільова затримка (наприклад, <100 мс), кількість одночасних користувачів (до 1000), необхідність P2P.
2. Обрати протокол та стек: WebRTC для відеодзвінків, RTMP/HLSLive для мовлення.
3. Налаштувати сигналінг (SIP, WebSocket, MQTT) та TURN-сервер.
4. Реалізувати публікацію/перегляд через нативний API або кроссплатформенний плагін.
5. Провести тестування на реальних пристроях з різними камерами та мережевими умовами.
6. Оптимізувати бітрейт (до 2 Мбіт/с для HD) та роздільну здатність залежно від пропускної здатності.

Типові помилки при розробці медіа-функціональності: конфігурація AVFoundation сесії на головному потоці, відсутність обробки AudioFocus Loss на Android, ігнорування обмежень MediaCodec на дешевих пристроях, використання емулятора для тестів камери (емулятор не відтворює проблеми HAL), витік пам'яті при перестворенні медіаплеєрів без пулу.

Що входить в роботу?

Процес розробки медіафункціональності

Складність нелінійна: базове відтворення відео — 1–2 дні, кастомна камера з обробкою кадрів та стрімінгом — 3–5 тижнів. Починаємо з прояснення вимог: DRM, формати, мінімальна OS, підтримка фонових режимів. Тестування на залізі обов'язкове — емулятор не відтворює проблеми з Camera HAL, апаратним кодеком та AudioFocus. Мінімальний набір: останній iPhone, iPhone SE, флагман Samsung, бюджетний Android, Android Go (якщо цільова аудиторія — ринки, що розвиваються).

Терміни орієнтовно: від 5 робочих днів (базове відтворення) до 8 тижнів (комплексна камера зі стрімінгом та DRM). Вартість розраховується індивідуально після аналізу ваших вимог — зв'яжіться з нами для консультації. Типовий бюджет таких проєктів: від $2,000 до $15,000.

Фраза послуги: «Робота з медіа в мобільних застосунках» — це наш профіль. Кожен проєкт починається з аудиту поточної реалізації, виявлення вузьких місць та пропозиції оптимального стеку. Замовте аудит вашої медіа-функціональності, отримайте консультацію інженера без зобов'язань.