Интеграция YandexGPT в мобильное приложение

Интеграция YandexGPT в мобильное приложение

При попытке напрямую использовать IAM-токен в мобильном приложении пользователи сталкиваются с ошибкой 401 Unauthorized через 12 часов — срок жизни токена истекает. API-ключ же остаётся в APK после сборки и извлекается обратной разработкой за несколько минут. Решение — прокси-сервис на собственном бэкенде. Рассмотрим архитектуру и ключевые моменты интеграции YandexGPT на iOS и Android.

YandexGPT даёт преимущество там, где важна русскоязычная семантика: поддержка пользователей, автозаполнение форм, генерация контента с учётом локальной лексики. OpenAI-модели сильны для английской речи, но YandexGPT точнее обрабатывает региональные запросы и специфичные термины. Задача интеграции на первый взгляд проста: POST на https://llm.api.cloud.yandex.net/foundationModels/v1/completion, передать IAM-токен и текст. На практике — цепочка нетривиальных решений, которые мы отработали на десятках проектов.

Как настроить IAM-токен для мобильного приложения?

Первая точка отказа — авторизация. IAM-токен живёт 12 часов, API-ключ — постоянный, но менее безопасный. В мобильном приложении хранить сервисный ключ напрямую нельзя: его вытащат из APK за 10 минут через apktool. Правильная схема: мобильный клиент авторизуется в вашем бэкенде, бэкенд держит IAM-токен и проксирует запросы к Yandex Cloud.

// iOS: запрос через собственный прокси
struct YGPTRequest: Encodable {
    let prompt: String
    let maxTokens: Int
    let temperature: Double
}

func sendToYandexGPT(prompt: String) async throws -> String {
    let url = URL(string: "https://api.yourapp.com/ai/complete")!
    var request = URLRequest(url: url)
    request.httpMethod = "POST"
    request.setValue("Bearer \(authToken)", forHTTPHeaderField: "Authorization")
    request.httpBody = try JSONEncoder().encode(YGPTRequest(
        prompt: prompt,
        maxTokens: 500,
        temperature: 0.7
    ))
    let (data, _) = try await URLSession.shared.data(for: request)
    return try JSONDecoder().decode(CompletionResponse.self, from: data).text
}

На Android — аналогично через Retrofit с OkHttp-интерсептором для подстановки токена.

Почему стоит использовать потоковую генерацию?

Режим stream: true в Yandex Foundation Models API возвращает ответ чанками — как в ChatGPT. Для мобильного UX это важно: пользователь видит текст по мере генерации, не ждёт 3–5 секунд. Мы гарантируем, что потоковая передача не увеличивает нагрузку на устройство при правильной реализации.

На iOS обработка Server-Sent Events через URLSessionDataDelegate:

class StreamingDelegate: NSObject, URLSessionDataDelegate {
    var onChunk: (String) -> Void
    var buffer = Data()

    func urlSession(_ session: URLSession,
                    dataTask: URLSessionDataTask,
                    didReceive data: Data) {
        buffer.append(data)
        guard let text = String(data: buffer, encoding: .utf8) else { return }
        let lines = text.components(separatedBy: "\n")
        for line in lines where line.hasPrefix("data: ") {
            let json = String(line.dropFirst(6))
            if let chunk = parseYGPTChunk(json) {
                DispatchQueue.main.async { self.onChunk(chunk) }
            }
        }
    }
}

На Android — OkHttp с EventSource (библиотека okhttp-sse) или ручной парсинг BufferedReader по строкам.

Модели и параметры

Yandex предоставляет несколько вариантов: yandexgpt-lite — быстрый и дешёвый, yandexgpt — полная версия, yandexgpt-32k — для длинных контекстов. Для большинства мобильных сценариев (чат-подсказки, автозаполнение) yandexgpt-lite достаточен и заметно быстрее.

Параметр temperature от 0 до 1: 0.2–0.4 — детерминированные ответы (FAQ-бот), 0.7–0.9 — творческие тексты. Рекомендуем системный промпт на русском языке — это повышает релевантность ответов.

Подробнее о моделях — в Yandex Cloud API documentation.

Кеш и ограничения

Yandex Cloud тарифицирует по токенам. На мобильном клиенте необходимо кешировать повторяющиеся запросы — типичный паттерн для FAQ или онбординга. Простой LRU-кеш на 100 записей в памяти сокращает расходы при повторяющихся сессиях. Мы используем такой кеш во всех проектах — экономия до 40% на API-запросах.

Rate limit Yandex Foundation Models — 10 RPS на фолдер по умолчанию. При пиковой нагрузке (много пользователей одновременно) нужна очередь на бэкенде, а не прямые вызовы с каждого устройства. Оценим ваш проект и поможем выбрать архитектуру.

Что входит в работу

• Аудит сценариев: профилирование пользовательских запросов, оценка необходимой глубины контекста.
• Проектирование архитектуры: прокси-сервис, управление IAM-токенами, кеширование.
• Интеграция в мобильное приложение (iOS/Android) с поддержкой потоковой генерации.
• Тестирование качества ответов на реальных данных, подбор системного промпта.
• Документация по API и примеры кода.
• Обучение команды заказчика работе с Yandex Cloud.

Процесс работы

1. Аудит сценариев: где именно нужен LLM — поддержка, генерация текста, классификация запросов.
2. Выбор модели и режима (synchronous / stream).
3. Разработка прокси-сервиса на бэкенде с управлением IAM-токеном.
4. Интеграция в мобильное приложение с UI для потоковой генерации.
5. Тестирование качества ответов на реальных пользовательских запросах, подбор системного промпта.
6. Передача документации и финальное демо.

// Retrofit интерфейс
interface YandexGPTProxy {
    @POST("ai/complete")
    suspend fun complete(@Body request: CompletionRequest): CompletionResponse
}

// ViewModel с кешированием
class ChatViewModel(private val api: YandexGPTProxy) : ViewModel() {
    private val cache = LruCache<String, String>(100)
    
    fun sendPrompt(prompt: String) = viewModelScope.launch {
        cache.get(prompt)?.let { /* use cached */ }
        val result = api.complete(CompletionRequest(prompt))
        cache.put(prompt, result.text)
    }
}

Ориентиры по срокам

Стоимость рассчитывается индивидуально в зависимости от сложности и объёма работ. Получите консультацию: мы оценим ваш проект в течение одного рабочего дня. Свяжитесь с нами для обсуждения деталей.

AI и ML в мобильных приложениях: CoreML, TFLite и on-device модели

Мы различаем два принципиально разных подхода: приложение с on-device AI и приложение, которое просто вызывает облачное API. Первое работает без интернета, не отправляет данные пользователя на сторонние серверы и отвечает за 50 миллисекунд. Второе зависит от задержки сети и тарифного плана. Выбор архитектуры — ключевой этап, который напрямую влияет на стоимость, приватность и пользовательский опыт. Наш опыт показывает: в 70% проектов on-device инференс оказывается дешевле в долгосрочной перспективе за счёт исключения серверных затрат.

Как выбрать между CoreML и TFLite для on-device инференса?

CoreML — нативный фреймворк Apple для запуска ML-моделей на устройстве. Поддерживает Neural Engine (начиная с A11 Bionic), GPU и CPU как fallback. Модели конвертируются в формат .mlmodel через coremltools из PyTorch, ONNX или TensorFlow. Конвертация — не всегда тривиальна: кастомные слои требуют реализации MLCustomLayer, а квантизация до INT8 иногда заметно роняет точность на специфических данных. Мы гарантируем, что итоговая модель проходит валидацию на реальных данных до и после конвертации.

TensorFlow Lite — кросс-платформенная альтернатива для Android и Flutter. На Android использует NNAPI (Neural Networks API) для хардварного ускорения — с Android 10 NNAPI стабильнее, до этого лучше явно использовать GPU delegate через GpuDelegate. Типичная ошибка: модель обучена на нормализованных данных в диапазоне [0,1], а в приложении на вход подаётся [0,255] — инференс работает, но с бессмысленными результатами без ошибки. Мы включаем модуль автоматической валидации входных данных в SDK.

Для задач классификации изображений, детекции объектов и сегментации доступны готовые оптимизированные модели. YOLOv8 в CoreML формате запускает детекцию кадра 640×640 за 15–20 мс на iPhone 14 Neural Engine. MobileNetV3 на TFLite с GPU delegate — около 8 мс на Pixel 7 при классификации.

Что делать, если нужна генерация текста на устройстве?

Запуск небольших языковых моделей на устройстве стал реальностью в последние несколько лет. Apple Intelligence использует собственные модели через Private Cloud Compute, но для сторонних разработчиков доступны другие пути.

llama.cpp с Metal backend на iOS — работающий подход для phi-3-mini (3.8B параметров, 4-bit квантизация, ~2.3 ГБ). Инференс: 15–25 токенов/секунду на iPhone 15 Pro. Для интеграции в Swift используем Swift Package llama.swift или обёртку через C-интерфейс llama.h. Бинарник к приложению не прикладываем — модель скачивается при первом запуске и хранится в Application Support. Наши сертифицированные разработчики настраивают инкрементальную загрузку, чтобы не блокировать первый запуск.

На Android аналог — Google AI Edge (бывший MediaPipe LLM Inference API) с поддержкой Gemma-2B. Работает через GPU delegate, на Tensor G3 чипе Pixel 8 Pro — около 20 токенов/секунду.

Ограничения реальны: модели больше 4B параметров на мобильных устройствах по-прежнему медленны. Для сложных задач рассуждения on-device LLM уступает GPT-4o в качестве. Гибридный подход — on-device для коротких задач и приватных данных, облако для сложных запросов — часто оптимален. Оценим ваш кейс и предложим баланс производительности и приватности — пишите.

Интеграция OpenAI API и других облачных моделей

Для сценариев, где cloud inference допустим, интеграция OpenAI, Anthropic или Google Gemini — это HTTP клиент + streaming SSE. В Swift удобно через AsyncThrowingStream для стриминговых ответов. В Kotlin — через Flow.

Критически важно: API-ключи никогда не хранятся в бандле приложения. Даже обфусцированный ключ извлекается из IPA за 10 минут через strings или frida. Правильная архитектура: мобильное приложение → собственный backend → OpenAI API. Backend контролирует rate limiting, логирует запросы, защищает ключ.

Что входит в работу (deliverables)

• Обученная и квантизированная модель под целевое устройство (документация по метрикам)
• SDK для интеграции (Swift/Kotlin/Flutter) с примерами вызова
• Тесты производительности на 3–5 реальных устройствах
• Инструкция по обновлению модели OTA
• Поддержка при прохождении модерации App Store / Google Play (проверка соответствия Guidelines 4.2, 5.1)
• 2 недели технической поддержки после релиза

Типичный пайплайн проекта

1. Анализ задачи — замеряем latency, privacy, size, поддерживаемые устройства.
2. Прототипирование модели — в Python, оценка accuracy на целевых данных.
3. Конвертация и квантизация — под CoreML/TFLite с валидацией.
4. Интеграция в приложение — модель оборачивается в сервисный слой (легко подменять CoreML → TFLite → облако).
5. Тестирование — на реальных девайсах, замер FPS, RAM, батареи.
6. Деплой — через TestFlight / Firebase App Distribution, мониторинг метрик.

Сроки: интеграция готовой CoreML/TFLite модели — 1–2 недели, разработка кастомной модели с мобильной оптимизацией — от 6 недель, on-device LLM чат с персонализацией — 4–8 недель.

Почему мы беремся за сложные кейсы?

10+ лет опыта в мобильной разработке, 50+ внедрённых AI/ML решений, гарантия совместимости с актуальными версиями iOS и Android. Все проекты проходят code review и нагрузочное тестирование. В стоимость уже входит подготовка документации для модерации и обучение вашей команды.

Свяжитесь с нами — мы поможем выбрать архитектуру и внедрить ML в ваше приложение под ключ. Закажите аудит существующего решения — бесплатно оценим потенциал экономии серверных затрат (в некоторых проектах экономия достигает $10k в месяц).