Реалізація AI-редагування відео в мобільному застосунку

Реалізація AI-редагування відео в мобільному застосунку

Замовник надсилає запис інтерв'ю: 15 хвилин, тридцять пауз і «ем» через слово. Вручну вирізати — втратити годину. Наш AI-пайплайн робить це за 30 секунд. Ми реалізували автоматичне вирізання, заміну фону, кольорокорекцію та розумний рефрейм для iOS та Android. У цій статті — як це працює технічно.

Які задачі вирішує AI-редагування

AI-редагування відео — не магія, а набір конкретних алгоритмів: автоматичне вирізання пауз і слів-паразитів, заміна фону, кольорокорекція за референсом, розумне обрізання під вертикальний формат. Кожна потребує свого стеку та архітектури. Розглянемо ключові.

Як працює автоматичне вирізання пауз?

Користувач записує розмовне відео. Ми транскрибуємо аудіо через Whisper API або Deepgram, отримуємо JSON з таймкодами кожного слова. Потім знаходимо паузи довші за 0.5 сек та слова зі стоп-листа («ем», «ну», «типу»). Генеруємо FFmpeg cut-list і збираємо підсумкове відео.

# Backend: генерація FFmpeg фільтра з транскрипції Whisper
def build_cut_filter(transcript_words, pause_threshold=0.5, filler_words=None):
    filler_words = filler_words or {"ем", "ну", "от", "типа", "як би"}
    segments_to_keep = []
    prev_end = 0.0

    for i, word in enumerate(transcript_words):
        gap = word["start"] - prev_end
        if gap > pause_threshold:
            pass
        if word["word"].lower().strip(".,!?") in filler_words:
            continue
        segments_to_keep.append((word["start"], word["end"]))
        prev_end = word["end"]

    filter_parts = "+".join(
        f"between(t,{s},{e})" for s, e in merge_segments(segments_to_keep, gap=0.05)
    )
    return f"select='{filter_parts}',setpts=N/FRAME_RATE/TB"

Whisper з параметром word_timestamps=True дає точність ±20 ms — достатньо для плавних склейок. На мобільному пристрої відео завантажується на сервер, запускається задача, результат скачується. Відтворюємо через AVPlayer або ExoPlayer. Документація Whisper вказує на цю точність.

Чому заміна фону на мобільному — складна задача?

Для статичної камери використовуємо MediaPipe Selfie Segmentation — працює в реальному часі (30 fps) на сучасних пристроях. Для камери, що рухається, з кількома людьми — серверна обробка через SAM 2 (Segment Anything Model 2). SAM 2 у 3 рази точніший за MediaPipe, але потребує сервера.

MediaPipe на Android:

val options = ImageSegmenterOptions.builder()
    .setBaseOptions(BaseOptions.builder().useGpu().build())
    .setOutputCategoryMask(false)
    .setOutputConfidenceMasks(true)
    .build()
val segmenter = ImageSegmenter.createFromOptions(context, options)

Результат — маска впевненості від 0 до 1. Застосовуємо до кожного кадру через Metal (iOS) або Vulkan (Android). Для 1080p 30fps GPU обов'язковий — CPU не тягне. Серверна обробка через SAM 2 дає кращу якість, але займає 2–5 хвилин на хвилину відео навіть на A100.

Розумне обрізання під формат (Auto Reframe)

Конвертація 16:9 у 9:16 з розумним кропом — задача трекінгу об'єктів. На мобільному пристрої:

1. Face detection по кожному ключовому кадру (кожні 0.5 сек) — VNDetectFaceRectanglesRequest на iOS
2. Побудова траєкторії руху суб'єкта
3. Плавне панорамування з ease-функцією
4. FFmpeg crop фільтр з динамічними параметрами

# FFmpeg: кроп з рухом (x змінюється від 0 до 540 за 10 сек)
ffmpeg -i input.mp4 \
  -vf "crop=608:1080:'min(max(cx-304,0),672)':0" \
  -c:v libx264 output_9x16.mp4

cx — x-координата суб'єкта з трекінг-даних. На сервері Python-скрипт генерує FFmpeg-команду, виконує і повертає результат.

AI-кольорокорекція

За референс-фото застосовуємо CinematicLUT через Core Image на iOS (близько 100 мс на кадр). За текстовим описом («зроби як золота година») — виклик до сервера з генерацією LUT через Stable Diffusion + ControlNet. Готовий .cube файл застосовуємо до відео через FFmpeg: -vf lut3d=lut_file.cube.

Мобільний редактор: архітектура

Timeline editor — нетривіальна UI-задача. Мінімальний стек:

• iOS: AVMutableComposition для треків, AVVideoComposition для ефектів, AVAssetExportSession для експорту
• Android: MediaCodec + MediaMuxer для низькорівневої обробки або Media3 Transformer (рекомендуємо)

Media3 Transformer дозволяє застосовувати обрізання, зміну швидкості, кольору в одному проході з GPU-прискоренням через OpenGL ES. Це простіше, ніж самостійна робота з MediaCodec.

Порівняння підходів: on-device vs сервер

Вибір залежить від задачі: для масових функцій (автовирізання) підходить сервер, для редагування в реальному часі — on-device.

Що входить у роботу зі створення AI-редактора

Ми надаємо результат «під ключ»:

• Дослідження та вибір оптимального стеку під вашу задачу
• Реалізація backend (Python/FastAPI, Whisper, FFmpeg) та mobile SDK (iOS/Android)
• Інтеграція з наявним застосунком (код, залежності, документація)
• Налаштування StoreKit 2 / Billing 6 для підписок, якщо потрібно
• Тестування на 10+ реальних пристроях
• Завантаження в App Store та Google Play (допомога з Review Guidelines)
• Гарантія стабільної роботи 3 місяці після запуску

Наш досвід: 5+ років у мобільній розробці, 20+ проєктів з відео та AI, сертифіковані спеціалісти Apple та Google. Ми гарантуємо якість та дотримання строків.

Строки та вартість

• Одна функція (автовирізання або заміна фону) — 1–2 тижні, вартість від $5000
• Повноцінний редактор з кількома функціями, timeline та експортом — 6–10 тижнів, вартість від $25000
• Інтеграція в наявний застосунок — від $2000
• Вартість розраховується індивідуально після аналізу вимог. Напишіть нам — ми оцінимо ваш проєкт за 2 дні.

Замовте розробку AI-редактора відео для вашого мобільного застосунку. Отримайте консультацію з технічних деталей та строків.

Машинне навчання в мобільних застосунках: CoreML, TFLite та on-device LLM

Ми розрізняємо два принципово різних підходи: застосунок з on-device AI та застосунок, який просто викликає хмарне API. Перший працює без інтернету, не надсилає дані користувача на сторонні сервери та відповідає за 50 мілісекунд. Другий залежить від затримки мережі та тарифного плану. Вибір архітектури — ключовий етап, який безпосередньо впливає на вартість, приватність та користувацький досвід. Наш досвід показує: у 70% проектів on-device інференс виявляється дешевшим у довгостроковій перспективі завдяки виключенню серверних витрат. Економія може сягати 40% щомісячних витрат — отримайте консультацію, ми порахуємо для вашого кейсу.

Як вибрати між CoreML та TFLite для on-device інференсу?

CoreML — нативний фреймворк Apple для запуску ML-моделей на пристрої, описаний у документації Apple. Підтримує Neural Engine (A11 Bionic та новіші), GPU та CPU як fallback. Моделі конвертуються у формат .mlmodel через coremltools з PyTorch, ONNX або TensorFlow. Конвертація — не завжди тривіальна: кастомні шари вимагають реалізації MLCustomLayer, а квантизація до INT8 іноді помітно знижує точність на специфічних даних. Ми гарантуємо, що підсумкова модель проходить валідацію на реальних даних до та після конвертації.

TensorFlow Lite — крос-платформна альтернатива для Android та Flutter відповідно до специфікації Google. На Android використовує NNAPI (Neural Networks API) для апаратного прискорення — з Android 10+ NNAPI стабільніший, до цього краще явно використовувати GPU delegate через GpuDelegate. Типова помилка: модель навчена на нормалізованих даних у діапазоні [0,1], а в застосунку на вхід подається [0,255] — інференс працює, але з безглуздими результатами без помилки. Ми включаємо модуль автоматичної валідації вхідних даних у SDK.

Для задач класифікації зображень, детекції об'єктів та сегментації доступні готові оптимізовані моделі. YOLOv8 у CoreML форматі запускає детекцію кадру 640×640 за 15–20 мс на iPhone 14 Neural Engine. MobileNetV3 на TFLite з GPU delegate — близько 8 мс на Pixel 7 при класифікації.

Що робити, якщо потрібна генерація тексту на пристрої?

Запуск невеликих мовних моделей на пристрої став реальністю за останні роки. Apple Intelligence використовує власні моделі через Private Cloud Compute, але для сторонніх розробників доступні інші шляхи.

llama.cpp з Metal backend на iOS — робочий підхід для phi-3-mini (3.8B параметрів, 4-bit квантизація, ~2.3 ГБ). Інференс: 15–25 токенів/секунду на iPhone 15 Pro. Для інтеграції в Swift використовуємо Swift Package llama.swift або обгортку через C-інтерфейс llama.h. Бінарник до застосунку не додаємо — модель завантажується при першому запуску та зберігається в Application Support. Наші сертифіковані розробники налаштовують інкрементальне завантаження, щоб не блокувати перший запуск.

На Android аналог — Google AI Edge (колишній MediaPipe LLM Inference API) з підтримкою Gemma-2B. Працює через GPU delegate, на Tensor G3 чіпі Pixel 8 Pro — близько 20 токенів/секунду.

Інтеграція OpenAI API та інших хмарних моделей

Для сценаріїв, де cloud inference допустимий, інтеграція OpenAI, Anthropic або Google Gemini — це HTTP клієнт + streaming SSE. У Swift зручно через AsyncThrowingStream для стрімінгових відповідей. У Kotlin — через Flow.

Критично важливо: API-ключі ніколи не зберігаються в бандлі застосунку. Навіть обфускований ключ витягується з IPA за 10 хвилин через strings або frida. Правильна архітектура: мобільний застосунок → власний backend → OpenAI API. Backend контролює rate limiting, логує запити, захищає ключ.

Що входить у роботу (результати)

• Навчена та квантизована модель під цільовий пристрій (документація за метриками)
• SDK для інтеграції (Swift/Kotlin/Flutter) з прикладами виклику
• Тести продуктивності на 3–5 реальних пристроях
• Інструкція з оновлення моделі OTA
• Підтримка при проходженні модерації App Store / Google Play (перевірка відповідності Guidelines 4.2, 5.1)
• 2 тижні технічної підтримки після релізу

Типовий пайплайн проекту

1. Аналіз завдання — вимірюємо latency, privacy, size, підтримувані пристрої.
2. Прототипування моделі — в Python, оцінка accuracy на цільових даних.
3. Конвертація та квантизація — під CoreML/TFLite з валідацією.
4. Інтеграція в застосунок — модель обгортається в сервісний шар (легко замінювати CoreML → TFLite → хмара).
5. Тестування — на реальних пристроях, вимір FPS, RAM, батареї.
6. Деплой — через TestFlight / Firebase App Distribution, моніторинг метрик.

Терміни: інтеграція готової CoreML/TFLite моделі — 1–2 тижні, розробка кастомної моделі з мобільною оптимізацією — від 6 тижнів, on-device LLM чат з персоналізацією — 4–8 тижнів.

Чому ми беремося за складні кейси?

10+ років досвіду в мобільній розробці, 50+ впроваджених AI/ML рішень, гарантія сумісності з актуальними версіями iOS та Android. Всі проекти проходять code review та навантажувальне тестування. У вартість вже входить підготовка документації для модерації та навчання вашої команди.

Зв'яжіться з нами — ми допоможемо вибрати архітектуру та впровадити ML у ваш застосунок під ключ. Замовте аудит наявного рішення — безкоштовно оцінимо потенціал економії серверних витрат. Отримайте консультацію експерта — напишіть нам сьогодні.