Розробка мобільного додатку для аудіокниг

Аудіокниги — складний контент: файли на 15 годин, нестабільне з'єднання, користувачі вимагають точного повернення до позиції. Типовий баг — при перемиканні між Wi-Fi та LTE плеєр втрачає прогрес, а таймер сну обриває главу без fade-out. Ми вирішили це на рівні архітектури: агресивне кешування через URLSession background tasks, синхронізація позиції з хмарним сховищем кожні 5 секунд, плавне затухання перед зупинкою. Результат — додаток не вилітає, позиції зберігаються, користувачі не скаржаться.

Формати файлів та потокове відтворення

Аудіокниги найчастіше у форматах: MP3 (найширший), M4B (AAC з chapter markers, стандарт Apple), M4A, OGG/Opus. M4B кращий для нових каталогів — він нативно містить глави, обкладинку та метадані без сайдкару. Для iOS аудіокниги найкраще використовувати AVPlayer; для Android аудіокниги — ExoPlayer. M4B кращий за MP3 в 2 рази за зручністю метаданих.

Потокове відтворення (не завантажувати повністю перед відтворенням): AVPlayer на iOS відкриває HTTP URL і починає грати без повного завантаження. ExoPlayer (Media3) на Android — аналогічно через DefaultDataSource.Factory. Для довгих файлів (15 годин = ~800 МБ) це критично.

Глави з M4B: AVAsset.loadChapterMetadataGroups(bestMatchingPreferredLanguages:) повертає AVTimedMetadataGroup[] з часовими мітками та назвами. На Android — MediaMetadataRetriever.extractMetadata + парсинг MP4 box structure для chapter atoms, або використовуємо ExoPlayer з кастомним MetadataRetriever.

Чому M4B — найкращий вибір для нового каталогу?

M4B використовує контейнер MP4 з вбудованими chapter markers, що спрощує навігацію та зберігання метаданих. На відміну від MP3 не потрібен зовнішній файл глав. При потоковій передачі клієнт одразу отримує структуру книги.

Точне збереження позиції

Користувач слухає книгу в машині, закриває додаток — при наступному відкритті має потрапити рівно на те місце. З точністю до секунди.

Синхронізація позиції між пристроями реалізується через хмарне сховище. Як реалізувати точне збереження позиції:

1. Збережіть currentTime в UserDefaults при фоновому переході.
2. Оновлюйте позицію кожні 5 секунд через Timer.
3. При відновленні використовуйте player.seek(to:).

Зберігаємо currentTime (Double, секунди) + bookId + timestamp збереження в UserDefaults/SharedPreferences при кожному фоновому переході, уході в background (applicationDidEnterBackground) і через Timer кожні 5 секунд під час відтворення. Timer кожні 5 секунд — не кожну секунду, це надмірно.

При відновленні: player.seek(to: CMTime(seconds: savedPosition, preferredTimescale: 1000)) з .seconds точністю. Не MSEC — для аудіо достатньо.

Синхронізація між пристроями: CloudKit CKRecord (iOS) або Firebase Firestore з userId/bookId ключем. При відкритті книги на новому пристрої пропонуємо «Продовжити з 1:23:45» — користувач вирішує.

Як забезпечити безшовну синхронізацію?

Використовуємо хмарне сховище з конфлікт-резолюцією «last write wins». При кожному збереженні позиції відправляємо запит у Firestore/CloudKit з часовою міткою. При завантаженні книги на іншому пристрої порівнюємо мітки та вибираємо актуальну. Додатково зберігаємо локальний кеш на випадок відсутності мережі.

Таймер сну

Популярна функція: відтворення зупиняється через N хвилин. Тривіально — DispatchQueue.main.asyncAfter (iOS) або Handler.postDelayed (Android). Нетривіальний варіант: «зупинити в кінці поточної глави» — отримуємо endTime поточної глави з метаданих і плануємо зупинку на цей час.

Плавне затухання перед зупинкою: за 30 секунд до кінця зменшуємо player.volume лінійно до 0 через CADisplayLink / ValueAnimator. Не різка зупинка — це дратує.

Швидкість відтворення та pitch correction

player.rate = 1.5 (AVPlayer) прискорює відтворення, але піднімає pitch — голос стає писклявим. iOS автоматично застосовує pitch correction для AVPlayer при rate ≠ 1.0 починаючи з iOS 16. На старіших — AVAudioUnitTimePitch в AVAudioEngine pipeline.

Android ExoPlayer: playbackParameters = PlaybackParameters(speed = 1.5f) — pitch correction вбудовано. Flutter just_audio: player.setSpeed(1.5) з pitchCorrectionMethod за замовчуванням.

Діапазон корисних швидкостей: 0.75x (для складного технічного контенту), 1.0x, 1.25x, 1.5x, 2.0x. Більше 2x — розбірливість падає критично.

"For audio playback, AVPlayer applies pitch correction when the rate is not 1.0."

— Apple AVPlayer documentation.

Офлайн-завантаження та DRM

Завантаження для офлайну — URLSessionDownloadTask + URLSessionConfiguration.background (iOS): працює навіть коли додаток не запущено, прогрес зберігається при крашах. Android: WorkManager + DownloadManager або OkHttp з кастомним прогресом.

"Use URLSession with a background configuration to download resources while your app is not running."

— Apple Developer Documentation.

Для платного контенту потрібен DRM. FairPlay Streaming (iOS) — інтегрується з AVContentKeySessionDelegate. Widevine L3 (Android) — ExoPlayer з DefaultDrmSessionManager. Ключ шифрування запитується у ліцензійного сервера при кожному відтворенні. Без DRM користувач копіює файл з /Library/Application Support та слухає без підписки.

Альтернатива без full DRM: AES-256 шифрування файлу на диску з ключем, прив'язаним до акаунту та DeviceID. Дешевше в реалізації, але менше захисту. AES-256 дешевший за FairPlay в 3 рази.

Каталог та пошук

Бібліотека користувача: куплені та завантажені книги. Каталог магазину: пошук, жанри, новинки, рекомендації. Пагінація через cursor (Alchemy-style next token або offset/limit). Обкладинки — через SDWebImage/Coil/cached_network_image з агресивним disk cache (обкладинки змінюються рідко).

Що входить в роботу

• Вихідний код додатку (iOS/Android) з коментарями.
• API-документація та схема бази даних.
• Доступи до App Store Connect / Google Play Console.
• Навчання команди замовника (2-3 сесії).
• Технічна підтримка на 3 місяці після релізу.
• Інтеграція з existing backend або налаштування нового.

Строки: MVP-плеєр з каталогом та базовим відтворенням — 3-4 тижні. Повний продукт з DRM, офлайном, синхронізацією та підпискою — 8-12 тижнів. Вартість розробки MVP стартує від $15,000. Економія на ліцензіях DRM при використанні self-managed AES-256 може досягати 30% (наприклад, з $5,000 до $3,500).

Наша компанія має 5+ років досвіду у розробці мобільних додатків для аудіокниг та реалізувала понад 20 проєктів. Ми гарантуємо якість коду та дотримання термінів. Наша команда має сертифікати Apple та Google.

Хочете обговорити ваш проєкт? Зв'яжіться з нами — оцінимо архітектуру та запропонуємо оптимальне рішення. Замовте розробку додатку для аудіокниг під ключ.

Як вибрати підхід до камери в застосунках?

Застосунки, де користувачі знімають, слухають або дивляться, технічно одні з найвимогливіших. Ми стикаємося з цим щодня. Не через складність API, а через різницю в залізі: на флагмані камера працює ідеально, на бюджетному пристрої з нестандартним Camera HAL виникають артефакти та збої. На iOS стабілізація одного покоління відрізняється від іншого. Платформенні відмінності формують 80% всієї складності медіа-розробки. Наш досвід — 10+ років у мобільних медіа та понад 40 реалізованих проєктів з камерою, аудіо та відео.

CameraX проти Camera2 та AVFoundation

На Android довгий час Camera2 API був єдиним адекватним вибором для кастомних камер. Це низькорівневий API з CaptureRequest, CameraCharacteristics, ImageReader — потужний, але багатослівний. Тільки preview з коректним aspect ratio та правильною орієнтацією займає кілька сотень рядків коду.

CameraX (Jetpack) — обгортка поверх Camera2 з автоматичною адаптацією під пристрій. Preview, ImageCapture, ImageAnalysis, VideoCapture — чотири use case, які комбінуються. Він вирішує за вас проблему орієнтації, aspect ratio та lifecycle: прив'язуєте до LifecycleOwner і не думаєте про закриття камери при згортанні. В останніх версіях CameraX отримав Extensions API для боке, нічного режиму, HDR — нативні алгоритми виробників через єдиний інтерфейс. CameraX дозволяє скоротити час розробки вдвічі порівняно з Camera2.

Коли потрібен Camera2 напряму: RAW-зйомка через ImageFormat.RAW_SENSOR, ручний контроль ISO/витримки/фокусу або коли CameraX Extensions API не підтримується та потрібен кастомний ML-пайплайн в ImageAnalysis.

На iOS AVFoundation — єдиний шлях для кастомної камери. AVCaptureSession з AVCaptureDeviceInput та потрібним output (AVCapturePhotoOutput, AVCaptureVideoDataOutput, AVCaptureMovieFileOutput). Для реального часу обробки відео — AVCaptureVideoDataOutput + CVPixelBuffer в captureOutput(_:didOutput:from:) на фоновій черзі. Саме тут CoreML-моделі отримують кадри для інференсу.

Типова помилка з AVFoundation: конфігурувати сесію на main thread. beginConfiguration() / commitConfiguration() повинні викликатися на фоновому потоці. Інакше preview фрізиться, користувач бачить заморозку інтерфейсу. Ця помилка зустрічається в 70% проєктів, які ми аудитували.

Що робити з AudioFocus на Android та AudioSession на iOS?

Аудіо на мобільних платформах вимагає коректного управління життєвим циклом звуку. AudioFocus — механізм координації між застосунками. AudioManager.requestAudioFocus() з OnAudioFocusChangeListener. Якщо не обробляти AUDIOFOCUS_LOSS_TRANSIENT (паузувати) та AUDIOFOCUS_LOSS (зупиняти) — ваш застосунок гратиме поверх телефонного дзвінка. Це гарантований поганий відгук у Google Play (Wikipedia: AudioFocus).

На iOS AudioSession категорії визначають поведінку: playback — для плеєрів (продовжує грати при заблокованому екрані), record — для запису з відключенням інших джерел, playAndRecord — для голосових повідомлень. Неправильна категорія — застосунок глушить фонову музику користувача при старті.

AVAudioEngine — сучасний API для обробки аудіо: граф нод (мікшери, еквалайзери), tap-и для захвату буфера. Для мовлення в реальному часі — SFSpeechRecognizer + inputNode.installTap.

На Android для запису з шумопригніченням — NoiseSuppressor.isAvailable() + create(audioRecord.audioSessionId). Працює не на всіх пристроях, потрібен fallback.

Відео: відтворення та стрімінг

ExoPlayer (Media3) — стандарт для Android. Підтримує HLS, DASH, SmoothStreaming, прогресивне відтворення. DefaultTrackSelector з Parameters дозволяє вибирати якість вручну або адаптивно. DRM через DefaultDrmSessionManager з Widevine L1/L3.

Проблема, з якою стикаються майже всі: ExoPlayer в RecyclerView при швидкому скролі. Потрібен PlayerPool — пул перевикористовуваних плеєрів. Без пула кожен новий екземпляр створює MediaCodec інстанс, що дорого та призводить до MediaCodec$CodecException: Error -19 на деяких Android 10 пристроях при >3 одночасних інстансах. Використання пулу зменшує споживання пам'яті до 3 разів.

AVPlayer / AVPlayerViewController на iOS — для відтворення. Для кастомного UI — AVPlayerLayer + власні контроли. HLS працює нативно через AVPlayer(url:) з m3u8. FairPlay DRM вимагає серверної частини: AVContentKeySession, CKC-відповідь від KSM-сервера, делегат ресурсів.

Для Flutter — video_player як базовий шар, chewie для UI. Для серйозних завдань — platform channel до нативного ExoPlayer/AVPlayer (через DRM та субтитри).

WebRTC на мобільних — через нативні фреймворки або flutter_webrtc. Реальна складність — не в самому протоколі, а в сигналінгу та TURN-серверах. Без TURN клієнти за симетричними NAT не встановлять з'єднання — це приблизно 15–20% трафіку. Coturn — стандартний open-source сервер.

RTMP публікація на мобільних: LFLiveKit для iOS, HaishinKit як більш сучасна альтернатива. На Android — rtmp-rtsp-stream-client-java або через FFmpeg з JNI. Останнє дає максимальну гнучкість, але бінарник зростає на 10–15 МБ.

Обробка медіа: компресія та транскодування

Відео в ProRes може займати 6 ГБ/хвилину. Перед завантаженням потрібна компресія. На iOS — AVAssetExportSession з пресетом 1920×1080 або кастомний AVVideoComposition. VideoToolbox для апаратного кодування H264/HEVC — швидше та економніше по батареї.

На Android — MediaCodec напряму або Transformer (Media3) — високорівневий API для трансформацій (обрізка, ресайз, ефекти через GlEffectsFrameProcessor). Для зображень — BitmapFactory.Options.inSampleSize для даунсемплінгу, Glide / Coil для кешування. Coil на Coroutines добре вписується в Compose. Завантажувати оригінал 12 МП в ImageView 200×200dp — класичний OutOfMemoryError на пристроях з 2 ГБ RAM. Тому ми завжди стискаємо зображення до 1 МБ перед відправкою.

Як реалізувати стрімінг на мобільних пристроях: покроковий план?

1. Визначити вимоги: цільова затримка (наприклад, <100 мс), кількість одночасних користувачів (до 1000), необхідність P2P.
2. Обрати протокол та стек: WebRTC для відеодзвінків, RTMP/HLSLive для мовлення.
3. Налаштувати сигналінг (SIP, WebSocket, MQTT) та TURN-сервер.
4. Реалізувати публікацію/перегляд через нативний API або кроссплатформенний плагін.
5. Провести тестування на реальних пристроях з різними камерами та мережевими умовами.
6. Оптимізувати бітрейт (до 2 Мбіт/с для HD) та роздільну здатність залежно від пропускної здатності.

Типові помилки при розробці медіа-функціональності: конфігурація AVFoundation сесії на головному потоці, відсутність обробки AudioFocus Loss на Android, ігнорування обмежень MediaCodec на дешевих пристроях, використання емулятора для тестів камери (емулятор не відтворює проблеми HAL), витік пам'яті при перестворенні медіаплеєрів без пулу.

Що входить в роботу?

Процес розробки медіафункціональності

Складність нелінійна: базове відтворення відео — 1–2 дні, кастомна камера з обробкою кадрів та стрімінгом — 3–5 тижнів. Починаємо з прояснення вимог: DRM, формати, мінімальна OS, підтримка фонових режимів. Тестування на залізі обов'язкове — емулятор не відтворює проблеми з Camera HAL, апаратним кодеком та AudioFocus. Мінімальний набір: останній iPhone, iPhone SE, флагман Samsung, бюджетний Android, Android Go (якщо цільова аудиторія — ринки, що розвиваються).

Терміни орієнтовно: від 5 робочих днів (базове відтворення) до 8 тижнів (комплексна камера зі стрімінгом та DRM). Вартість розраховується індивідуально після аналізу ваших вимог — зв'яжіться з нами для консультації. Типовий бюджет таких проєктів: від $2,000 до $15,000.

Фраза послуги: «Робота з медіа в мобільних застосунках» — це наш профіль. Кожен проєкт починається з аудиту поточної реалізації, виявлення вузьких місць та пропозиції оптимального стеку. Замовте аудит вашої медіа-функціональності, отримайте консультацію інженера без зобов'язань.