Пользователь диктует команду, ждёт ответ — и через 3 секунды получает не то. Знакомо? В голосовом ассистенте главное — скорость и точность распознавания. Мы решаем эту задачу, собирая пайплайн из VAD, STT, NLU и TTS с суммарной задержкой от конца фразы до ответа ≤1.5 секунды. Это техническое ограничение, которое мы преодолеваем через оптимизацию каждого этапа: от детекции голоса до синтеза речи. Мы берём на себя весь цикл: проектирование, разработку, интеграцию с вашей CRM или ERP и публикацию в сторах. За 7+ лет мы внедрили голосовых ассистентов в 15+ проектах для iOS и Android. Оцените наш подход — свяжитесь, мы проконсультируем вас.
Как устроен пайплайн голосового помощника?
Микрофон → VAD → STT → NLU → Logic → TTS → Динамик. Каждый компонент вносит вклад в latency.
VAD — Voice Activity Detection, отсекает тишину. Используем WebRTCVAD или SileroVAD (ONNX/TFLite, ~1 MB). Это снижает количество пустых запросов к STT и экономит трафик. Пример конфигурации VAD на Android
```kotlin
val vad = SileroVAD.create(context)
vad.start { frame ->
if (vad.isVoice(frame)) {
// отправляем аудио на STT
}
}
**STT** — Speech-to-Text. Выбор: нативный `SFSpeechRecognizer` (iOS) или Android Speech для простых сценариев; для русского языка с высокой точностью — Яндекс SpeechKit или OpenAI Whisper API. <cite>Apple Developer Documentation</cite> рекомендует использовать SFSpeechRecognizer для базовых команд. Стоимость облачного распознавания — около $0.006 за минуту аудио для Whisper API, on-device — бесплатно. Типичный запрос длится 3-5 секунд, поэтому затраты минимальны.
## Почему latency ≤1.5 секунды — критично?
Пользователь ожидает мгновенной реакции. Задержка более 2 секунд воспринимается как «зависание». Мы добиваемся этого через параллельные запросы, локальную обработку и кэширование частых интентов. Каждый компонент имеет свою долю задержки:
| Компонент | Типовая задержка | Затраты (за минуту аудио) |
|-----------|------------------|---------------------------|
| VAD (Silero) | 30-50 ms | $0 (on-device) |
| STT (Whisper API) | 200-400 ms | ~$0.006 |
| NLU (Rasa) | 200-400 ms | $0 (self-hosted) |
| TTS (Яндекс SpeechKit) | 200-500 ms | ~$0.002 |
Суммарно — до 1.5 секунд. При замене NLU на LLM (GPT-4) задержка может вырасти до 4 секунд, что неприемлемо для real-time.
### Intent Recognition: что реально работает
Для ограниченного домена (умный дом, интернет-банк) — Rasa NLU или Dialogflow с 50–200 обучающими примерами на интент. Для открытого домена — LLM с function calling. Rasa NLU лучше Dialogflow для конфиденциальных данных, так как работает на вашем сервере и не отправляет речь в облако.
| Характеристика | Rasa NLU | Dialogflow | LLM (GPT-4) |
|----------------|----------|------------|-------------|
| Приватность | Полная | Облако Google | Облако (prompt) |
| Точность на домене | 90%+ | 85%+ | 95%+ (но медленнее) |
| Сложность настройки | Средняя | Низкая | Высокая (prompt engineering) |
| Задержка | 200-400 ms | 500-800 ms | 1-4 sec |
### Кейс из нашей практики
Корпоративный ассистент для полевых сотрудников: голосовое создание задач в CRM без разблокировки телефона. Стек: SileroVAD on-device -> Яндекс SpeechKit streaming -> Rasa NLU (self-hosted, 23 интента) -> CRM REST API -> Яндекс SpeechKit TTS. Latency: медиана 1.1 с, p95 2.3 с. Rasa NLU обеспечила полный контроль над данными. По оценкам заказчика, экономия времени сотрудников составила около 25%.
## Как внедрить голосового помощника: пошаговый план
1. **Анализ сценариев** — определяем список команд и контексты (до 3 дней).
2. **Выбор компонентов** — STT, NLU, TTS с учётом языка, приватности и бюджета.
3. **Интеграция пайплайна** — связываем модули, настраиваем параметры VAD и таймауты.
4. **Тестирование на реальных данных** — запись диалогов, A/B тесты, оптимизация.
5. **Релиз в сторах** — подготовка метаданных, тестирование с TestFlight/Internal Track.
## Когда нужен on-device STT?
Если приложение должно работать офлайн или требуется минимальная задержка — выбирайте on-device. Точность ниже (80-90%), но задержка 300-500 мс и нет затрат на вызовы API. Для русского языка on-device пока уступает облачным решениям, но подходит для ограниченного набора фраз.
## Что входит в работу
- Архитектурная документация и API-спецификации
- Настроенный CI/CD для сборки и деплоя
- Исходный код и доступ к репозиторию
- Обучение вашей команды работе с голосовым пайплайном
- Пост-релизная поддержка в течение 2 недель
### Ориентировочные сроки
- Базовый пайплайн STT + NLU + TTS: 2–3 недели
- С wake word и контекстом: 4–6 недель
- С интеграцией в существующую инфраструктуру: уточняется индивидуально
Стоимость рассчитывается после анализа ваших требований. Получите консультацию по вашему сценарию — свяжитесь с нами. Мы оценим проект за 1–2 дня.
AI и ML в мобильных приложениях: CoreML, TFLite и on-device модели
Мы различаем два принципиально разных подхода: приложение с on-device AI и приложение, которое просто вызывает облачное API. Первое работает без интернета, не отправляет данные пользователя на сторонние серверы и отвечает за 50 миллисекунд. Второе зависит от задержки сети и тарифного плана. Выбор архитектуры — ключевой этап, который напрямую влияет на стоимость, приватность и пользовательский опыт. Наш опыт показывает: в 70% проектов on-device инференс оказывается дешевле в долгосрочной перспективе за счёт исключения серверных затрат.
Как выбрать между CoreML и TFLite для on-device инференса?
CoreML — нативный фреймворк Apple для запуска ML-моделей на устройстве. Поддерживает Neural Engine (начиная с A11 Bionic), GPU и CPU как fallback. Модели конвертируются в формат .mlmodel через coremltools из PyTorch, ONNX или TensorFlow. Конвертация — не всегда тривиальна: кастомные слои требуют реализации MLCustomLayer, а квантизация до INT8 иногда заметно роняет точность на специфических данных. Мы гарантируем, что итоговая модель проходит валидацию на реальных данных до и после конвертации.
TensorFlow Lite — кросс-платформенная альтернатива для Android и Flutter. На Android использует NNAPI (Neural Networks API) для хардварного ускорения — с Android 10 NNAPI стабильнее, до этого лучше явно использовать GPU delegate через GpuDelegate. Типичная ошибка: модель обучена на нормализованных данных в диапазоне [0,1], а в приложении на вход подаётся [0,255] — инференс работает, но с бессмысленными результатами без ошибки. Мы включаем модуль автоматической валидации входных данных в SDK.
Для задач классификации изображений, детекции объектов и сегментации доступны готовые оптимизированные модели. YOLOv8 в CoreML формате запускает детекцию кадра 640×640 за 15–20 мс на iPhone 14 Neural Engine. MobileNetV3 на TFLite с GPU delegate — около 8 мс на Pixel 7 при классификации.
| Параметр |
CoreML |
TFLite |
| Платформы |
iOS, macOS, watchOS |
Android, iOS, Linux, embedded |
| Хардварное ускорение |
Neural Engine, GPU, CPU |
NNAPI, GPU (OpenCL/OpenGL), CPU |
| Поддержка квантизации |
FP16, INT8 (с coremltools) |
FP16, INT8, dynamic range |
| Кастомные операции |
Через MLCustomLayer (Swift) |
Через делегаты (Java/Kotlin) |
| Размер бандла модели |
~3–5 МБ (MobileNetV2 quantized) |
~2–4 МБ |
Что делать, если нужна генерация текста на устройстве?
Запуск небольших языковых моделей на устройстве стал реальностью в последние несколько лет. Apple Intelligence использует собственные модели через Private Cloud Compute, но для сторонних разработчиков доступны другие пути.
llama.cpp с Metal backend на iOS — работающий подход для phi-3-mini (3.8B параметров, 4-bit квантизация, ~2.3 ГБ). Инференс: 15–25 токенов/секунду на iPhone 15 Pro. Для интеграции в Swift используем Swift Package llama.swift или обёртку через C-интерфейс llama.h. Бинарник к приложению не прикладываем — модель скачивается при первом запуске и хранится в Application Support. Наши сертифицированные разработчики настраивают инкрементальную загрузку, чтобы не блокировать первый запуск.
На Android аналог — Google AI Edge (бывший MediaPipe LLM Inference API) с поддержкой Gemma-2B. Работает через GPU delegate, на Tensor G3 чипе Pixel 8 Pro — около 20 токенов/секунду.
Ограничения реальны: модели больше 4B параметров на мобильных устройствах по-прежнему медленны. Для сложных задач рассуждения on-device LLM уступает GPT-4o в качестве. Гибридный подход — on-device для коротких задач и приватных данных, облако для сложных запросов — часто оптимален. Оценим ваш кейс и предложим баланс производительности и приватности — пишите.
Интеграция OpenAI API и других облачных моделей
Для сценариев, где cloud inference допустим, интеграция OpenAI, Anthropic или Google Gemini — это HTTP клиент + streaming SSE. В Swift удобно через AsyncThrowingStream для стриминговых ответов. В Kotlin — через Flow.
Критически важно: API-ключи никогда не хранятся в бандле приложения. Даже обфусцированный ключ извлекается из IPA за 10 минут через strings или frida. Правильная архитектура: мобильное приложение → собственный backend → OpenAI API. Backend контролирует rate limiting, логирует запросы, защищает ключ.
Что входит в работу (deliverables)
- Обученная и квантизированная модель под целевое устройство (документация по метрикам)
- SDK для интеграции (Swift/Kotlin/Flutter) с примерами вызова
- Тесты производительности на 3–5 реальных устройствах
- Инструкция по обновлению модели OTA
- Поддержка при прохождении модерации App Store / Google Play (проверка соответствия Guidelines 4.2, 5.1)
- 2 недели технической поддержки после релиза
Типичный пайплайн проекта
-
Анализ задачи — замеряем latency, privacy, size, поддерживаемые устройства.
-
Прототипирование модели — в Python, оценка accuracy на целевых данных.
-
Конвертация и квантизация — под CoreML/TFLite с валидацией.
-
Интеграция в приложение — модель оборачивается в сервисный слой (легко подменять CoreML → TFLite → облако).
-
Тестирование — на реальных девайсах, замер FPS, RAM, батареи.
-
Деплой — через TestFlight / Firebase App Distribution, мониторинг метрик.
Сроки: интеграция готовой CoreML/TFLite модели — 1–2 недели, разработка кастомной модели с мобильной оптимизацией — от 6 недель, on-device LLM чат с персонализацией — 4–8 недель.
Почему мы беремся за сложные кейсы?
10+ лет опыта в мобильной разработке, 50+ внедрённых AI/ML решений, гарантия совместимости с актуальными версиями iOS и Android. Все проекты проходят code review и нагрузочное тестирование. В стоимость уже входит подготовка документации для модерации и обучение вашей команды.
Свяжитесь с нами — мы поможем выбрать архитектуру и внедрить ML в ваше приложение под ключ. Закажите аудит существующего решения — бесплатно оценим потенциал экономии серверных затрат (в некоторых проектах экономия достигает $10k в месяц).
