Реализация AI-улучшения качества видео в мобильном приложении
Клиенты часто приходят с видеофайлами, снятыми на старые камеры или сжатыми для экономии места: 480p, битрейт 1 Мбит/с, шумы в тенях. Задача — поднять качество до 1080p, убрать артефакты сжатия, стабилизировать дрожание. Обработка фото тут не работает: видео — это 30 кадров в секунду, каждый кадр нужно обработать быстро, сохраняя согласованность между ними. Решение распадается на два режима: постобработка (ролик 1 минута за 2–3 минуты) и real-time (33 мс на кадр при 30 fps). Мы реализовали десятки таких пайплайнов для iOS и Android — от простого апскейлинга до комплексного temporal-улучшения. Закажите разработку AI-улучшения видео: мы подберём архитектуру под ваш сценарий.
Как выбрать модель для мобильного устройства?
Выбор модели определяется целевым разрешением и доступным железом. Для постобработки используем per-frame модели (например, Real-ESRGAN) — они просты в деплое, но страдают temporal flickering. Temporal-модели (BasicVSR++ с окном 3–5 кадров) дают плавный результат, но требуют батчевой обработки и больше памяти. На мобильных устройствах мы применяем облегчённые версии с тайлингом 256×256. Для real-time — лёгкие кастомные модели (2–4 МБ), рассчитанные на вход 360–480p и ускорение через Core ML или TFLite GPU Delegate.
Реализация на iOS и Android
iOS: Используем AVAssetReader для декодирования в CVPixelBuffer, конвертируем YUV→RGB через Metal shader, прогоняем через Core ML модель, конвертируем обратно и пишем через AVAssetWriter. Конвертация через Metal критична — на CPU это 15–20 мс на кадр только на цветовое пространство. Для денойзинга применяем Real-ESRGAN или temporal-модели. Temporal flickering убираем постпроцессингом: усреднение активаций соседних кадров с весом 0.1–0.2.
Android: Декодирование через MediaCodec в Surface (текстуру OpenGL), обработка TFLite с GPU Delegate (работает напрямую с текстурами через setExternalContext()). Для Full HD тайловая нарезка 256×256 даёт ~48 тайлов, при инференсе 15 мс/тайл — 720 мс на кадр. Для quick-enhance — лёгкая модель без тайлинга, downscale до 540p.
Почему temporal consistency важна?
Независимая обработка каждого кадра приводит к мерцанию: детали то появляются, то исчезают на границах. Мы решаем это двумя способами: используем temporal-модели с окном 3–5 кадров или добавляем постпроцессинг с усреднением активаций. В итоге видео выглядит естественно, без flickering. Временная согласованность — ключевое отличие профессионального решения от простого апскейлинга.
Real-time и аудио
Для real-time работаем с уменьшенным разрешением: на iPhone 14 Pro — ESRGAN x2 на 480p (~28 мс через ANE), на Snapdragon 8 Gen 2 — через GPU Delegate. Используем CameraX с ImageAnalysis и стратегией KEEP_ONLY_LATEST. Аудио копируется без изменений: через AVAssetReaderTrackOutput или MediaExtractor, синхронизация PTS один к одному. Типичная ошибка — забыть синхронизировать PTS, что приводит к рассинхрону звука.
Сравнение подходов
| Параметр | Per-frame модель | Temporal модель (окно 5 кадров) |
|---|---|---|
| Качество | Хорошее, но мерцание | Отличное, без артефактов |
| Скорость на Full HD | ~720 мс/кадр | ~1.5 с/кадр (батч 5) |
| Память | ~50 МБ | ~200 МБ |
| Простота деплоя | Высокая | Средняя, требуется fine-tuning |
Что входит в работу
| Этап | Длительность | Описание |
|---|---|---|
| Анализ сценариев | 1–2 дня | Определяем режимы (постобработка/real-time), целевые устройства, замеряем производительность на эталонных устройствах. |
| Проектирование пайплайна | 2–3 дня | Выбираем модель, формат тайлинга, архитектуру декодирования/энкодирования, способ синхронизации аудио. |
| Реализация | 3–8 недель | Кодим декодер, ML-инференс, энкодер, temporal-постпроцессинг, интеграция в проект. |
| Тестирование | 1–2 недели | Проверка на 10+ устройствах (включая HDR, нестандартные разрешения, поворот), стресстест граничных случаев. |
| Деплой и документация | 2–3 дня | Code Signing, TestFlight / Play Console, описание API и рекомендации по поддержке. |
Ориентиры по срокам
Постобработка на одной платформе с per-frame моделью — 3–5 недель. Обе платформы с temporal-согласованностью и real-time режимом — 8–14 недель. Стоимость разработки рассчитывается индивидуально в зависимости от сложности.
Получите консультацию по вашему проекту — мы проанализируем сценарии, подберём оптимальную архитектуру и назовём точные сроки. Работаем под ключ с гарантией результата.