Конвертація моделі для Edge (TensorFlow Lite Micro, TFLite, Edge TPU)
Три різних цільові платформи — три різних пайплайни конвертації. TFLite Micro для MCU, TFLite для мобільних/SBC, Edge TPU (Google Coral) для апаратно-прискореного інференсу.
TFLite (мобільні / Raspberry Pi / x86 edge)
Стандартна конвертація:
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_model = converter.convert()
Підтримує: INT8, FP16, dynamic range quantization. GPU delegate, NNAPI, Hexagon DSP.
TFLite Micro (MCU, <1 MB)
Підмножина операцій TFLite, portable C++:
xxd -i model.tflite > model_data.cc # конвертація в C array
Підтримується на: STM32, Arduino, ESP32, nRF52840. Набір операцій обмежений — compatibility checker обов'язковий.
Edge TPU (Google Coral)
Edge TPU потребує INT8 квантизацію. Тільки операції, підтримувані Edge TPU, виконуються в апаратному забезпеченні (решта — CPU fallback):
edgetpu_compiler model_quant.tflite # компілятор Google Coral
Продуктивність: 4 TOPS (Coral USB), 4 TOPS (Coral PCIe M.2). Відмінно для image classification та object detection.
Обмеження: моделі >8 MB не розміщуються повністю на Edge TPU — частковий fallback зменшує прискорення. Проектуйте для <8 MB для максимального прискорення.