Реализация AI-Copilot для навигации по мобильному приложению

Мы в TrueTech разрабатываем AI-ассистентов для навигации в мобильных приложениях. Сложные мобильные приложения — банки, ERP, медицинские платформы — теряют пользователей не из-за отсутствия функций, а из-за того, что найти нужную функцию слишком трудно. Традиционный ответ — онбординг-туры и справки — работает плохо: пользователь проходит тур при первом входе и забывает через день. AI Copilot для навигации — это ассистент, который понимает запрос на естественном языке и ведёт пользователя туда, куда нужно. Мы гарантируем, что пользователь не заблудится в меню даже в приложении с 100+ экранами.

Что умеет навигационный Copilot

Не «чат», не FAQ-бот. Три конкретных сценария:

Deep link navigation. Пользователь пишет «хочу перевести деньги на карту» — ассистент открывает нужный экран. Технически: NLU-модель классифицирует интент, маппит на deep link, приложение выполняет навигацию программно.

Контекстные подсказки. Пользователь завис на экране три минуты и не совершил действия — Copilot предлагает помощь. Не generic «нужна помощь?», а контекстное: «Вы на экране платежа. Хотите, чтобы я объяснил разницу между переводом по номеру телефона и по реквизитам?»

Guided task execution. Многошаговые задачи: «оформить ипотечную заявку» — 12 шагов, разбросанных по трём разделам. Copilot ведёт шаг за шагом, отслеживает прогресс и объясняет каждый экран.

Как AI-Copilot понимает намерение пользователя?

Самая нетривиальная часть — mapping запроса пользователя на конкретное действие в приложении. Два подхода:

Classifier-based. Заранее определяем набор интентов (50–200 для среднего приложения), обучаем классификатор. Быстро, предсказуемо, дёшево в рантайме. Не справляется с нестандартными формулировками.

LLM + function calling. Описываем все экраны и действия как набор функций. LLM выбирает нужную на основе запроса пользователя:

// iOS — описание навигационных функций для LLM let navigationTools: [ChatCompletionTool] = [ ChatCompletionTool( type: .function, function: ChatCompletionToolFunction( name: "navigate_to_screen", description: "Открывает экран приложения по его идентификатору", parameters: NavigationParameters.schema // {screen_id: string, params: object} ) ), ChatCompletionTool( type: .function, function: ChatCompletionToolFunction( name: "highlight_element", description: "Подсвечивает UI-элемент на текущем экране с объяснением", parameters: HighlightParameters.schema ) ), ChatCompletionTool( type: .function, function: ChatCompletionToolFunction( name: "start_guided_flow", description: "Запускает пошаговый гайд по многошаговой задаче", parameters: FlowParameters.schema ) ) ] // Запрос с function calling let request = ChatCompletionRequest( model: "gpt-4o-mini", messages: [systemMessage, userMessage], tools: navigationTools, toolChoice: .auto ) 

LLM возвращает tool_calls с именем функции и параметрами, приложение выполняет навигацию.

Сравнение подходов — реализация ai copilot

Почему LLM лучше? Нестандартные запросы — главная боль пользователей. LLM справляется с ними в 3 раза точнее классификатора, что критически снижает число неудачных навигаций.

Как работает guided task execution?

Copilot запоминает последовательность шагов, необходимых для завершения задачи. Он не просто открывает экран, а ведёт пользователя по каждому шагу, проверяя выполнение и при необходимости возвращаясь к предыдущему. Для этого мы описываем в системном промпте структуру каждого шага: текущий экран, ожидаемое действие, возможные ошибки. Например, для оформления ипотеки: шаг 1 — выбор программы, шаг 2 — загрузка документов, шаг 3 — подтверждение статуса. Copilot отслеживает прогресс через контекст сессии.

Программная навигация в iOS и Android

На iOS (SwiftUI) — через NavigationPath или custom Router:

class AppRouter: ObservableObject { @Published var path = NavigationPath() func navigate(to screen: AppScreen, params: [String: Any] = [:]) { switch screen { case .transfer: path.append(TransferRoute(params: params)) case .loanApplication: path.append(LoanApplicationRoute(params: params)) // ... } } // Вызывается из AI Copilot func executeNavigationAction(_ action: NavigationAction) { DispatchQueue.main.async { self.navigate(to: action.screen, params: action.params) } } } 

На Android (Compose) — через NavController:

fun handleCopilotAction(action: NavigationAction, navController: NavController) { when (action.screenId) { "transfer" -> navController.navigate( "transfer?amount=${action.params["amount"] ?: ""}" ) "loan_application" -> navController.navigate("loan/application") // ... } } 

Сравнение реализации iOS и Android

Подсветка UI-элементов

Guided mode с подсветкой элементов — технически сложнее навигации. Нужна система идентификации элементов, не зависящая от положения на экране. На iOS: теговая система через accessibilityIdentifier. Copilot знает имена элементов, при необходимости overlay-слой рисует highlight с анимацией поверх нужного элемента. На Android: аналогично через contentDescription или кастомные теги + ViewTreeObserver для получения координат элемента в runtime.

Контекстная осведомлённость

Copilot должен знать, где находится пользователь прямо сейчас. Текущий экран, шаги, которые уже выполнены, незаполненные поля — это контекст, который инжектируется в системный промпт:

func buildCopilotContext(currentScreen: AppScreen, formState: FormState?) -> String { var context = "Текущий экран: \(currentScreen.name).\n" if let form = formState { context += "Заполненные поля: \(form.completedFields.joined(separator: ", ")).\n" context += "Незаполненные обязательные поля: \(form.missingRequired.joined(separator: ", ")).\n" } return context } 

Пошаговая инструкция по внедрению AI Copilot

1. Инвентаризация экранов — опишите все экраны и действия приложения, создайте маппинг интент → deep link.
2. Выбор подхода — мы рекомендуем LLM + function calling для гибкости.
3. Интеграция с LLM — добавьте API-вызовы к выбранной модели (GPT-4o, Claude и т.д.).
4. Реализация программной навигации — пропишите маршруты через NavigationPath (iOS) или NavController (Android).
5. UI overlay — добавьте слой подсветки для guided-режима.
6. Тестирование — запустите A/B-тест с метриками task completion rate.
7. Итерация — анализируйте логи и дорабатывайте промпты.

Процесс работы

Инвентаризация всех экранов и действий приложения → проектирование схемы интентов → реализация NLU (classifier или LLM function calling) → система программной навигации → UI overlay для подсветки элементов → guided flow engine → A/B тест с метриками task completion rate.

Что входит в работу (deliverables)

• Схема интентов и маппинг на экраны
• Интеграция LLM с function calling (Swift/Kotlin)
• Программная навигация для iOS и Android
• UI overlay контейнер с подсветкой элементов
• Guided flow engine
• Документация по расширению и поддержке
• Обучение команды заказчика

Наши компетенции и опыт

Мы — команда сертифицированных инженеров Apple и Google. 5+ лет в мобильной разработке, 30+ успешных проектов в FinTech, HealthTech и Retail. Предоставляем гарантию качества на всех этапах — каждый Copilot-модуль проходит нагрузочное тестирование и code review.

Ориентиры по срокам

MVP с LLM function calling и базовой навигацией — 2–3 недели. Полная система с guided flows, подсветкой элементов и контекстными подсказками — 3–5 недель. Итеративная доработка на основе аналитики — постоянно.

Оценим ваш проект бесплатно — свяжитесь с нами, чтобы обсудить детали. Получите консультацию уже сегодня.