Інтеграція штучного інтелекту в мобільні додатки
Мобільний AI розділяється на два принципово різні підходи: cloud inference (запит до сервера) та on-device inference (модель запускається на телефоні). Вибір залежить від вимог до latency, приватності та розміру моделі.
Хмарний AI для мобільних
Найпростіший підхід: мобільний додаток → REST API → LLM/ML модель на сервері → відповідь. Підходить для складних завдань, де модель не розміщується на пристрої. Недоліки: latency (100–2000 мс), залежність від мережі, витрати на сервер.
Stack: iOS (URLSession), Android (Retrofit/OkHttp). Streaming responses для LLM (SSE/WebSocket).
On-Device AI
Модель працює локально — приватність, offline-режим, нульовий latency.
iOS / Core ML:
- Конвертація через coremltools (PyTorch → Core ML)
- Neural Engine на iPhone 12+ — значне прискорення
- Create ML для тренування простих моделей безпосередньо в Xcode
Android / TensorFlow Lite:
- TFLite + NNAPI для апаратного прискорення
- GPU delegate для Vision задач
- Hexagon DSP delegate на Qualcomm
Практичні можливості on-device (2025)
| Завдання | Платформа | Модель | Продуктивність |
|---|---|---|---|
| Image classification | iOS/Android | MobileNetV3 | <10 мс |
| Object detection | iOS/Android | YOLOv8n | 20–50 мс |
| Text classification | iOS/Android | DistilBERT quantized | 50–150 мс |
| Small LLM | iOS (Neural Engine) | Llama 3.2 3B | 15–30 token/sec |
| Speech recognition | iOS/Android | Whisper tiny | Real-time |
Пайплайн розробки
Тижні 1–3: Вибір підходу (cloud/on-device/hybrid). Прототип інференсу.
Тижні 4–7: Оптимізація моделі (quantization, pruning). Нативна інтеграція.
Тижні 8–10: UX для AI-функції. Error handling. Graceful degradation.