AI-генерация субтитров в мобильном приложении

Автоматические субтитры к видео — задача, с которой сталкиваются разработчики приложений для социальных сетей, образовательных платформ и сервисов видеомонтажа. Пользователи хотят быстро получать точные субтитры, а не вводить их вручную. Мы реализуем генерацию субтитров на основе Whisper от OpenAI, но не ограничиваемся простым вызовом API. Нужно правильно извлечь аудио из видео, синхронизировать таймкоды до миллисекунд, отрендерить субтитры (как overlay, так и запечённые), а также предоставить редактор для исправления ошибок распознавания. Наш 5-летний опыт в мобильной разработке (30+ проектов) гарантирует, что решение будет работать стабильно и быстро, а также впишется в ваш UI/UX. Снижение затрат на транскрипцию и ускорение выхода приложения на рынок — вот результат.

Как выбрать между on-device и API транскрипцией?

Whisper через OpenAI API — самый простой путь. Отправляем аудио (до 25 MB), получаем JSON с segments (таймкоды + текст):

POST https://api.openai.com/v1/audio/transcriptions
model=whisper-1&response_format=verbose_json&timestamp_granularities[]=word

verbose_json с word-гранулярностью даёт таймкод каждого слова — нужно для синхронизации субтитров. Время обработки: ~10-секундный клип — 2–4 сек, минута видео — 10–20 сек.

Whisper on-device — реально для iOS 16+ через WhisperKit (swift-transformers). Модель whisper-small — 244 MB, скорость ~0.3× реального времени на iPhone 14 (т.е. минута аудио = 3 минуты обработки). whisper-tiny — 77 MB, 0.7× реального времени, но точность заметно хуже. Для русского языка — хуже, чем для английского.

На Android: whisper.cpp через JNI, или openai-whisper-tflite — но это сложнее в сборке. Проще для большинства приложений — API.

Как извлечь аудио из видео на клиенте?

Перед отправкой в Whisper нужно извлечь аудиодорожку — отправлять всё видео избыточно:

// iOS: AVAssetExportSession для извлечения аудио
func extractAudio(from videoURL: URL) async throws -> URL {
    let asset = AVURLAsset(url: videoURL)
    guard let exportSession = AVAssetExportSession(
        asset: asset, presetName: AVAssetExportPresetAppleM4A
    ) else { throw SubtitleError.exportFailed }

    let outputURL = FileManager.default.temporaryDirectory
        .appendingPathComponent(UUID().uuidString + ".m4a")
    exportSession.outputURL = outputURL
    exportSession.outputFileType = .m4a
    await exportSession.export()
    return outputURL
}

m4a/mp3 в 3–5 раз меньше оригинального видео — быстрее загружается и дешевле по API.

Сегменты субтитров: обработка на клиенте

Whisper verbose_json возвращает segments с start, end, text. Нарезаем по 5–7 слов на субтитр для читабельности:

// Android: разбивка на субтитры
data class SubtitleCue(val start: Double, val end: Double, val text: String)

fun segmentsToSubtitles(words: List<WhisperWord>, maxWords: Int = 7): List<SubtitleCue> {
    val cues = mutableListOf<SubtitleCue>()
    var chunk = mutableListOf<WhisperWord>()

    for (word in words) {
        chunk.add(word)
        if (chunk.size >= maxWords || word.word.endsWith(".") || word.word.endsWith("!")) {
            cues.add(SubtitleCue(
                start = chunk.first().start,
                end = chunk.last().end,
                text = chunk.joinToString(" ") { it.word.trim() }
            ))
            chunk.clear()
        }
    }
    if (chunk.isNotEmpty()) {
        cues.add(SubtitleCue(chunk.first().start, chunk.last().end,
            chunk.joinToString(" ") { it.word.trim() }))
    }
    return cues
}

Рендеринг субтитров: overlay или запечённые?

Overlay во время воспроизведения — UILabel/TextView поверх AVPlayerLayer/ExoPlayer. Обновляем текст по таймеру через player.currentTime(). Просто, не модифицирует исходный файл.

Запечённые субтитры — FFmpeg subtitles фильтр, сохраняет субтитры в пикселях видео. Постоянно видны при любом воспроизведении:

ffmpeg -i input.mp4 -vf "subtitles=subs.srt:force_style='FontName=Arial,FontSize=20,PrimaryColour=&HFFFFFF,OutlineColour=&H000000,Bold=1'" output.mp4

Для Stories/Reels нужны запечённые субтитры — при шаринге overlay потеряется. Для внутреннего плеера приложения — overlay достаточен.

Редактор субтитров

Часто пользователь хочет исправить ошибки транскрипции. Минимальный редактор:

• Список SubtitleCue в RecyclerView/List
• Tap на элемент → TextField для редактирования текста
• Drag/resize для сдвига таймкодов
• Preview в видеоплеере с обновлёнными субтитрами в реальном времени

Удобный UX: при редактировании текста — автоматически корректировать конец предыдущего / начало следующего субтитра.

Экспорт SRT/VTT

SRT — стандартный формат для экспорта:

1
00:00:01,200 --> 00:00:03,450
Привет, это тестовый текст

2
00:00:03,800 --> 00:00:06,100
Второй субтитр здесь

На мобиле пишем в FileManager.default.temporaryDirectory, шарим через UIActivityViewController/FileProvider.

SRT и VTT — простые текстовые форматы с таймкодами. VTT поддерживает стили. Оба широко поддерживаются на всех платформах.

OpenAI Whisper API — основа нашего решения.

Что входит в реализацию

• Интеграция Whisper API или on-device транскрипции
• Извлечение аудио из видео
• Разбивка на субтитры с таймкодами
• Выбор типа рендеринга (overlay или запечённые)
• Встроенный редактор субтитров
• Экспорт в SRT/VTT
• Тестирование и оптимизация производительности
• Документация и инструкция для пользователя

Этапы реализации: пошагово

1. Анализ — определяем требования к транскрипции (язык, точность, приватность), выбираем стек.
2. Проектирование — архитектура модуля субтитров, UX редактора.
3. Интеграция — подключение Whisper API или on-device модели, извлечение аудио.
4. Реализация — разбивка на субтитры, рендеринг, редактор, экспорт.
5. Тестирование — проверка точности синхронизации, производительности, отзывчивости интерфейса.
6. Деплой — публикация в сторах, настройка мониторинга.

Сроки и стоимость

Базовая интеграция с Whisper API и overlay плеером — 3–4 дня. Полный функционал с on-device транскрипцией, редактором и запечёнными субтитрами — 2–3 недели. Стоимость рассчитывается индивидуально, свяжитесь с нами для консультации — оценим ваш проект в течение дня. Закажите аудит текущего решения или получите бесплатную консультацию.

AI и ML в мобильных приложениях: CoreML, TFLite и on-device модели

Мы различаем два принципиально разных подхода: приложение с on-device AI и приложение, которое просто вызывает облачное API. Первое работает без интернета, не отправляет данные пользователя на сторонние серверы и отвечает за 50 миллисекунд. Второе зависит от задержки сети и тарифного плана. Выбор архитектуры — ключевой этап, который напрямую влияет на стоимость, приватность и пользовательский опыт. Наш опыт показывает: в 70% проектов on-device инференс оказывается дешевле в долгосрочной перспективе за счёт исключения серверных затрат.

Как выбрать между CoreML и TFLite для on-device инференса?

CoreML — нативный фреймворк Apple для запуска ML-моделей на устройстве. Поддерживает Neural Engine (начиная с A11 Bionic), GPU и CPU как fallback. Модели конвертируются в формат .mlmodel через coremltools из PyTorch, ONNX или TensorFlow. Конвертация — не всегда тривиальна: кастомные слои требуют реализации MLCustomLayer, а квантизация до INT8 иногда заметно роняет точность на специфических данных. Мы гарантируем, что итоговая модель проходит валидацию на реальных данных до и после конвертации.

TensorFlow Lite — кросс-платформенная альтернатива для Android и Flutter. На Android использует NNAPI (Neural Networks API) для хардварного ускорения — с Android 10 NNAPI стабильнее, до этого лучше явно использовать GPU delegate через GpuDelegate. Типичная ошибка: модель обучена на нормализованных данных в диапазоне [0,1], а в приложении на вход подаётся [0,255] — инференс работает, но с бессмысленными результатами без ошибки. Мы включаем модуль автоматической валидации входных данных в SDK.

Для задач классификации изображений, детекции объектов и сегментации доступны готовые оптимизированные модели. YOLOv8 в CoreML формате запускает детекцию кадра 640×640 за 15–20 мс на iPhone 14 Neural Engine. MobileNetV3 на TFLite с GPU delegate — около 8 мс на Pixel 7 при классификации.

Что делать, если нужна генерация текста на устройстве?

Запуск небольших языковых моделей на устройстве стал реальностью в последние несколько лет. Apple Intelligence использует собственные модели через Private Cloud Compute, но для сторонних разработчиков доступны другие пути.

llama.cpp с Metal backend на iOS — работающий подход для phi-3-mini (3.8B параметров, 4-bit квантизация, ~2.3 ГБ). Инференс: 15–25 токенов/секунду на iPhone 15 Pro. Для интеграции в Swift используем Swift Package llama.swift или обёртку через C-интерфейс llama.h. Бинарник к приложению не прикладываем — модель скачивается при первом запуске и хранится в Application Support. Наши сертифицированные разработчики настраивают инкрементальную загрузку, чтобы не блокировать первый запуск.

На Android аналог — Google AI Edge (бывший MediaPipe LLM Inference API) с поддержкой Gemma-2B. Работает через GPU delegate, на Tensor G3 чипе Pixel 8 Pro — около 20 токенов/секунду.

Ограничения реальны: модели больше 4B параметров на мобильных устройствах по-прежнему медленны. Для сложных задач рассуждения on-device LLM уступает GPT-4o в качестве. Гибридный подход — on-device для коротких задач и приватных данных, облако для сложных запросов — часто оптимален. Оценим ваш кейс и предложим баланс производительности и приватности — пишите.

Интеграция OpenAI API и других облачных моделей

Для сценариев, где cloud inference допустим, интеграция OpenAI, Anthropic или Google Gemini — это HTTP клиент + streaming SSE. В Swift удобно через AsyncThrowingStream для стриминговых ответов. В Kotlin — через Flow.

Критически важно: API-ключи никогда не хранятся в бандле приложения. Даже обфусцированный ключ извлекается из IPA за 10 минут через strings или frida. Правильная архитектура: мобильное приложение → собственный backend → OpenAI API. Backend контролирует rate limiting, логирует запросы, защищает ключ.

Что входит в работу (deliverables)

• Обученная и квантизированная модель под целевое устройство (документация по метрикам)
• SDK для интеграции (Swift/Kotlin/Flutter) с примерами вызова
• Тесты производительности на 3–5 реальных устройствах
• Инструкция по обновлению модели OTA
• Поддержка при прохождении модерации App Store / Google Play (проверка соответствия Guidelines 4.2, 5.1)
• 2 недели технической поддержки после релиза

Типичный пайплайн проекта

1. Анализ задачи — замеряем latency, privacy, size, поддерживаемые устройства.
2. Прототипирование модели — в Python, оценка accuracy на целевых данных.
3. Конвертация и квантизация — под CoreML/TFLite с валидацией.
4. Интеграция в приложение — модель оборачивается в сервисный слой (легко подменять CoreML → TFLite → облако).
5. Тестирование — на реальных девайсах, замер FPS, RAM, батареи.
6. Деплой — через TestFlight / Firebase App Distribution, мониторинг метрик.

Сроки: интеграция готовой CoreML/TFLite модели — 1–2 недели, разработка кастомной модели с мобильной оптимизацией — от 6 недель, on-device LLM чат с персонализацией — 4–8 недель.

Почему мы беремся за сложные кейсы?

10+ лет опыта в мобильной разработке, 50+ внедрённых AI/ML решений, гарантия совместимости с актуальными версиями iOS и Android. Все проекты проходят code review и нагрузочное тестирование. В стоимость уже входит подготовка документации для модерации и обучение вашей команды.

Свяжитесь с нами — мы поможем выбрать архитектуру и внедрить ML в ваше приложение под ключ. Закажите аудит существующего решения — бесплатно оценим потенциал экономии серверных затрат (в некоторых проектах экономия достигает $10k в месяц).