On-Device ML (тренування та інференс на пристрої без передачі даних)
On-Device ML — дані не покидають пристрій. Критично для: медичних даних (HIPAA), біометрії, корпоративних документів, персоналізації без privacy concerns. Apple, Google, Samsung активно просувають цей напрямок.
On-Device Inference
Більш проста задача — модель попередньо навчена на сервері, розгорнута на пристрої:
- iOS: Core ML + Neural Engine. Відмінна продуктивність на iPhone 12+
- Android: TFLite + NNAPI/GPU/Hexagon
- Embedded: TFLite Micro, ONNX Runtime Mobile
On-Device Training
Значно складніше. Потребує: достатню кількість пам'яті, адаптивний оптимайзер, ефективний backward pass.
Federated Learning: Стандартний підхід для on-device training. Пристрій дообучає модель на локальних даних → відправляє тільки gradient updates (не сирі дані) → сервер агрегує через FedAvg → оновлена модель повертається. TensorFlow Federated, PySyft, FATE.
Continual Learning на пристрої: Модель адаптується до конкретного користувача без centralized training. NLP: адаптація до стилю набору тексту. Computer Vision: персоналізація face recognition.
Apple Private Cloud Compute: новий підхід Apple — обчислення в хмарі, але з криптографічними гарантіями що дані недоступні Apple чи третім сторонам.
Технічні обмеження
Акумулятор: training — енергомісткої операції. Тільки під час зарядки. Пам'ять: зворотне поширення вимагає ~3× пам'яті порівняно з інференсом. Типово: тільки fine-tuning останніх шарів.