Реализация AI-Copilot для навигации по мобильному приложению

Мы в TrueTech разрабатываем AI-ассистентов для навигации в мобильных приложениях. Сложные мобильные приложения — банки, ERP, медицинские платформы — теряют пользователей не из-за отсутствия функций, а из-за того, что найти нужную функцию слишком трудно. Традиционный ответ — онбординг-туры и справки — работает плохо: пользователь проходит тур при первом входе и забывает через день. AI Copilot для навигации — это ассистент, который понимает запрос на естественном языке и ведёт пользователя туда, куда нужно. Мы гарантируем, что пользователь не заблудится в меню даже в приложении с 100+ экранами.

Что умеет навигационный Copilot

Не «чат», не FAQ-бот. Три конкретных сценария:

Deep link navigation. Пользователь пишет «хочу перевести деньги на карту» — ассистент открывает нужный экран. Технически: NLU-модель классифицирует интент, маппит на deep link, приложение выполняет навигацию программно.

Контекстные подсказки. Пользователь завис на экране три минуты и не совершил действия — Copilot предлагает помощь. Не generic «нужна помощь?», а контекстное: «Вы на экране платежа. Хотите, чтобы я объяснил разницу между переводом по номеру телефона и по реквизитам?»

Guided task execution. Многошаговые задачи: «оформить ипотечную заявку» — 12 шагов, разбросанных по трём разделам. Copilot ведёт шаг за шагом, отслеживает прогресс и объясняет каждый экран.

Как AI-Copilot понимает намерение пользователя?

Самая нетривиальная часть — mapping запроса пользователя на конкретное действие в приложении. Два подхода:

Classifier-based. Заранее определяем набор интентов (50–200 для среднего приложения), обучаем классификатор. Быстро, предсказуемо, дёшево в рантайме. Не справляется с нестандартными формулировками.

LLM + function calling. Описываем все экраны и действия как набор функций. LLM выбирает нужную на основе запроса пользователя:

// iOS — описание навигационных функций для LLM
let navigationTools: [ChatCompletionTool] = [
    ChatCompletionTool(
        type: .function,
        function: ChatCompletionToolFunction(
            name: "navigate_to_screen",
            description: "Открывает экран приложения по его идентификатору",
            parameters: NavigationParameters.schema  // {screen_id: string, params: object}
        )
    ),
    ChatCompletionTool(
        type: .function,
        function: ChatCompletionToolFunction(
            name: "highlight_element",
            description: "Подсвечивает UI-элемент на текущем экране с объяснением",
            parameters: HighlightParameters.schema
        )
    ),
    ChatCompletionTool(
        type: .function,
        function: ChatCompletionToolFunction(
            name: "start_guided_flow",
            description: "Запускает пошаговый гайд по многошаговой задаче",
            parameters: FlowParameters.schema
        )
    )
]

// Запрос с function calling
let request = ChatCompletionRequest(
    model: "gpt-4o-mini",
    messages: [systemMessage, userMessage],
    tools: navigationTools,
    toolChoice: .auto
)

LLM возвращает tool_calls с именем функции и параметрами, приложение выполняет навигацию.

Сравнение подходов — реализация ai copilot

Почему LLM лучше? Нестандартные запросы — главная боль пользователей. LLM справляется с ними в 3 раза точнее классификатора, что критически снижает число неудачных навигаций.

Как работает guided task execution?

Copilot запоминает последовательность шагов, необходимых для завершения задачи. Он не просто открывает экран, а ведёт пользователя по каждому шагу, проверяя выполнение и при необходимости возвращаясь к предыдущему. Для этого мы описываем в системном промпте структуру каждого шага: текущий экран, ожидаемое действие, возможные ошибки. Например, для оформления ипотеки: шаг 1 — выбор программы, шаг 2 — загрузка документов, шаг 3 — подтверждение статуса. Copilot отслеживает прогресс через контекст сессии.

Программная навигация в iOS и Android

На iOS (SwiftUI) — через NavigationPath или custom Router:

class AppRouter: ObservableObject {
    @Published var path = NavigationPath()

    func navigate(to screen: AppScreen, params: [String: Any] = [:]) {
        switch screen {
        case .transfer:
            path.append(TransferRoute(params: params))
        case .loanApplication:
            path.append(LoanApplicationRoute(params: params))
        // ...
        }
    }

    // Вызывается из AI Copilot
    func executeNavigationAction(_ action: NavigationAction) {
        DispatchQueue.main.async {
            self.navigate(to: action.screen, params: action.params)
        }
    }
}

На Android (Compose) — через NavController:

fun handleCopilotAction(action: NavigationAction, navController: NavController) {
    when (action.screenId) {
        "transfer" -> navController.navigate(
            "transfer?amount=${action.params["amount"] ?: ""}"
        )
        "loan_application" -> navController.navigate("loan/application")
        // ...
    }
}

Сравнение реализации iOS и Android

Подсветка UI-элементов

Guided mode с подсветкой элементов — технически сложнее навигации. Нужна система идентификации элементов, не зависящая от положения на экране. На iOS: теговая система через accessibilityIdentifier. Copilot знает имена элементов, при необходимости overlay-слой рисует highlight с анимацией поверх нужного элемента. На Android: аналогично через contentDescription или кастомные теги + ViewTreeObserver для получения координат элемента в runtime.

Контекстная осведомлённость

Copilot должен знать, где находится пользователь прямо сейчас. Текущий экран, шаги, которые уже выполнены, незаполненные поля — это контекст, который инжектируется в системный промпт:

func buildCopilotContext(currentScreen: AppScreen, formState: FormState?) -> String {
    var context = "Текущий экран: \(currentScreen.name).\n"
    if let form = formState {
        context += "Заполненные поля: \(form.completedFields.joined(separator: ", ")).\n"
        context += "Незаполненные обязательные поля: \(form.missingRequired.joined(separator: ", ")).\n"
    }
    return context
}

Пошаговая инструкция по внедрению AI Copilot

1. Инвентаризация экранов — опишите все экраны и действия приложения, создайте маппинг интент → deep link.
2. Выбор подхода — мы рекомендуем LLM + function calling для гибкости.
3. Интеграция с LLM — добавьте API-вызовы к выбранной модели (GPT-4o, Claude и т.д.).
4. Реализация программной навигации — пропишите маршруты через NavigationPath (iOS) или NavController (Android).
5. UI overlay — добавьте слой подсветки для guided-режима.
6. Тестирование — запустите A/B-тест с метриками task completion rate.
7. Итерация — анализируйте логи и дорабатывайте промпты.

Процесс работы

Инвентаризация всех экранов и действий приложения → проектирование схемы интентов → реализация NLU (classifier или LLM function calling) → система программной навигации → UI overlay для подсветки элементов → guided flow engine → A/B тест с метриками task completion rate.

Что входит в работу (deliverables)

• Схема интентов и маппинг на экраны
• Интеграция LLM с function calling (Swift/Kotlin)
• Программная навигация для iOS и Android
• UI overlay контейнер с подсветкой элементов
• Guided flow engine
• Документация по расширению и поддержке
• Обучение команды заказчика

Наши компетенции и опыт

Мы — команда сертифицированных инженеров Apple и Google. 5+ лет в мобильной разработке, 30+ успешных проектов в FinTech, HealthTech и Retail. Предоставляем гарантию качества на всех этапах — каждый Copilot-модуль проходит нагрузочное тестирование и code review.

Ориентиры по срокам

MVP с LLM function calling и базовой навигацией — 2–3 недели. Полная система с guided flows, подсветкой элементов и контекстными подсказками — 3–5 недель. Итеративная доработка на основе аналитики — постоянно.

Оценим ваш проект бесплатно — свяжитесь с нами, чтобы обсудить детали. Получите консультацию уже сегодня.

AI и ML в мобильных приложениях: CoreML, TFLite и on-device модели

Мы различаем два принципиально разных подхода: приложение с on-device AI и приложение, которое просто вызывает облачное API. Первое работает без интернета, не отправляет данные пользователя на сторонние серверы и отвечает за 50 миллисекунд. Второе зависит от задержки сети и тарифного плана. Выбор архитектуры — ключевой этап, который напрямую влияет на стоимость, приватность и пользовательский опыт. Наш опыт показывает: в 70% проектов on-device инференс оказывается дешевле в долгосрочной перспективе за счёт исключения серверных затрат.

Как выбрать между CoreML и TFLite для on-device инференса?

CoreML — нативный фреймворк Apple для запуска ML-моделей на устройстве. Поддерживает Neural Engine (начиная с A11 Bionic), GPU и CPU как fallback. Модели конвертируются в формат .mlmodel через coremltools из PyTorch, ONNX или TensorFlow. Конвертация — не всегда тривиальна: кастомные слои требуют реализации MLCustomLayer, а квантизация до INT8 иногда заметно роняет точность на специфических данных. Мы гарантируем, что итоговая модель проходит валидацию на реальных данных до и после конвертации.

TensorFlow Lite — кросс-платформенная альтернатива для Android и Flutter. На Android использует NNAPI (Neural Networks API) для хардварного ускорения — с Android 10 NNAPI стабильнее, до этого лучше явно использовать GPU delegate через GpuDelegate. Типичная ошибка: модель обучена на нормализованных данных в диапазоне [0,1], а в приложении на вход подаётся [0,255] — инференс работает, но с бессмысленными результатами без ошибки. Мы включаем модуль автоматической валидации входных данных в SDK.

Для задач классификации изображений, детекции объектов и сегментации доступны готовые оптимизированные модели. YOLOv8 в CoreML формате запускает детекцию кадра 640×640 за 15–20 мс на iPhone 14 Neural Engine. MobileNetV3 на TFLite с GPU delegate — около 8 мс на Pixel 7 при классификации.

Что делать, если нужна генерация текста на устройстве?

Запуск небольших языковых моделей на устройстве стал реальностью в последние несколько лет. Apple Intelligence использует собственные модели через Private Cloud Compute, но для сторонних разработчиков доступны другие пути.

llama.cpp с Metal backend на iOS — работающий подход для phi-3-mini (3.8B параметров, 4-bit квантизация, ~2.3 ГБ). Инференс: 15–25 токенов/секунду на iPhone 15 Pro. Для интеграции в Swift используем Swift Package llama.swift или обёртку через C-интерфейс llama.h. Бинарник к приложению не прикладываем — модель скачивается при первом запуске и хранится в Application Support. Наши сертифицированные разработчики настраивают инкрементальную загрузку, чтобы не блокировать первый запуск.

На Android аналог — Google AI Edge (бывший MediaPipe LLM Inference API) с поддержкой Gemma-2B. Работает через GPU delegate, на Tensor G3 чипе Pixel 8 Pro — около 20 токенов/секунду.

Ограничения реальны: модели больше 4B параметров на мобильных устройствах по-прежнему медленны. Для сложных задач рассуждения on-device LLM уступает GPT-4o в качестве. Гибридный подход — on-device для коротких задач и приватных данных, облако для сложных запросов — часто оптимален. Оценим ваш кейс и предложим баланс производительности и приватности — пишите.

Интеграция OpenAI API и других облачных моделей

Для сценариев, где cloud inference допустим, интеграция OpenAI, Anthropic или Google Gemini — это HTTP клиент + streaming SSE. В Swift удобно через AsyncThrowingStream для стриминговых ответов. В Kotlin — через Flow.

Критически важно: API-ключи никогда не хранятся в бандле приложения. Даже обфусцированный ключ извлекается из IPA за 10 минут через strings или frida. Правильная архитектура: мобильное приложение → собственный backend → OpenAI API. Backend контролирует rate limiting, логирует запросы, защищает ключ.

Что входит в работу (deliverables)

• Обученная и квантизированная модель под целевое устройство (документация по метрикам)
• SDK для интеграции (Swift/Kotlin/Flutter) с примерами вызова
• Тесты производительности на 3–5 реальных устройствах
• Инструкция по обновлению модели OTA
• Поддержка при прохождении модерации App Store / Google Play (проверка соответствия Guidelines 4.2, 5.1)
• 2 недели технической поддержки после релиза

Типичный пайплайн проекта

1. Анализ задачи — замеряем latency, privacy, size, поддерживаемые устройства.
2. Прототипирование модели — в Python, оценка accuracy на целевых данных.
3. Конвертация и квантизация — под CoreML/TFLite с валидацией.
4. Интеграция в приложение — модель оборачивается в сервисный слой (легко подменять CoreML → TFLite → облако).
5. Тестирование — на реальных девайсах, замер FPS, RAM, батареи.
6. Деплой — через TestFlight / Firebase App Distribution, мониторинг метрик.

Сроки: интеграция готовой CoreML/TFLite модели — 1–2 недели, разработка кастомной модели с мобильной оптимизацией — от 6 недель, on-device LLM чат с персонализацией — 4–8 недель.

Почему мы беремся за сложные кейсы?

10+ лет опыта в мобильной разработке, 50+ внедрённых AI/ML решений, гарантия совместимости с актуальными версиями iOS и Android. Все проекты проходят code review и нагрузочное тестирование. В стоимость уже входит подготовка документации для модерации и обучение вашей команды.

Свяжитесь с нами — мы поможем выбрать архитектуру и внедрить ML в ваше приложение под ключ. Закажите аудит существующего решения — бесплатно оценим потенциал экономии серверных затрат (в некоторых проектах экономия достигает $10k в месяц).