Розгортання AI на Google Coral: інференс на Edge TPU з 180 FPS
Наш клієнт з логістики інтегрував детекцію дефектів на конвеєрі — обрав Coral USB Accelerator для роботи на Raspberry Pi 4. Модель EfficientDet-Lite1 у FP32 видавала 5 FPS при необхідних 25. Після INT8 квантизації та компіляції ми отримали 180 FPS при 1.5 Вт. Окупність рішення — менше 6 місяців за рахунок зниження витрат на хмарні обчислення. Ключовий фактор — вибір правильного representative dataset для квантизації, щоб зберегти mAP на рівні 0.87.
Google Coral — платформа для високоефективного ML inference на edge. Edge TPU — спеціалізований ASIC для INT8 inference: 4 TOPS при 0.5–2 Вт споживання. Згідно з офіційною документацією, ASIC забезпечує максимальну продуктивність при мінімальному енергоспоживанні, ідеально для battery-powered або low-power applications.
Форм-фактори Coral
| Модель | Інтерфейс | Цільове застосування | Споживання |
|---|---|---|---|
| USB Accelerator | USB 3.0 | Raspberry Pi / x86 | 1.5 Вт |
| PCIe M.2 Accelerator (A+E) | M.2 | Вбудовані системи | 2 Вт |
| Dev Board | SoC i.MX 8M | Автономний комп'ютер | 5 Вт |
| Dev Board Mini | SoC i.MX 8M | Компактні пристрої | 3 Вт |
Чому Edge TPU швидший за CPU?
Edge TPU — це ASIC, оптимізований під INT8 матричні множення. На відміну від універсального CPU, він не витрачає енергію на розгалуження та кешування. Результат: 400 FPS на MobileNet SSD при 28 мВт. Для порівняння, той самий код на Raspberry Pi 4 CPU дає близько 8 FPS при 3 Вт. Економія енергоспоживання сягає 90%. Це робить Coral ідеальним для інференсу на краю (edge inference).
Як оптимізувати модель для Edge TPU?
Основний workflow включає чотири кроки: навчання моделі в TensorFlow → пост-тренувальна INT8 квантизація з representative dataset → компіляція через edgetpu_compiler → деплой з PyCoral API. Критично, щоб всі операції підтримувалися TPU (Conv2D, DepthwiseConv, ReLU та ін.). Несумісні операції автоматично переносяться на CPU, різко знижуючи швидкість. Ми перевіряємо сумісність на етапі аудиту та підбираємо квантизаційний датасет, щоб уникнути падіння точності.
Приклад команди компіляції:
edgetpu_compiler model_quant.tflite Популярні моделі та їх продуктивність на Coral USB Accelerator
| Модель | Розмір | FPS (INT8) | Затримка (ms) |
|---|---|---|---|
| MobileNetV2 SSD | 6.2 MB | 230 | 4.3 |
| EfficientDet-Lite1 | 7.8 MB | 180 | 5.6 |
| InceptionV3 | 7.5 MB | 95 | 10.5 |
| ResNet50 | 6.8 MB | 110 | 9.1 |
Типові проблеми при деплої
- Розмір моделі перевищує 8 МБ — частина обчислень йде на CPU, падіння швидкості.
- Використання операцій, що не підтримуються TPU (наприклад, Select, StridedSlice) — автоматичний fallback на CPU.
- Відсутність representative dataset при квантизації — велика помилка в метриках.
Ми вирішуємо ці проблеми на етапі аудиту моделі: перевіряємо сумісність, підбираємо квантизаційний датасет, застосовуємо pruning або knowledge distillation.
Як ми це робимо: кейс деплою на Coral USB Accelerator (з нашої практики)
Для клієнта зі сфери логістики вимагалося детектувати пошкодження коробок на конвеєрі. Ми обрали MobileNet SSD, конвертували в TFLite з INT8 квантизацією на 500 репрезентативних кадрах. Після компіляції отримали 230 FPS на USB Accelerator при затримці менше 10 ms. Рішення запущено на 20 Raspberry Pi 4 — відхилення FPS менше 5%. Економія на хмарних обчисленнях склала близько 40%.
Процес роботи
- Аналіз моделі та датасету – перевірка сумісності операцій, оцінка точності після квантизації.
- Оптимізація – pruning, quantization-aware training (QAT) або підбір representative dataset.
- Компіляція та інтеграція – збірка під цільовий пристрій, налаштування PyCoral або C++ API.
- Тестування – перевірка на реальних даних, виміри latency p99, споживання енергії.
- Деплой – розгортання на парку пристроїв, моніторинг.
Що входить в роботу
- Звіт щодо сумісності моделі з Edge TPU.
- Конвертація та компіляція (TFLite → Edge TPU).
- Інтеграція з PyCoral або C++ на цільовий пристрій.
- Тестування на вашому залізі (до 3 пристроїв).
- Документація з розгортання та експлуатації.
Терміни та вартість
Терміни: від 1 до 3 тижнів залежно від складності моделі. Вартість розраховується індивідуально після аудиту. Замовте безкоштовний аудит вашої моделі — ми оцінимо проект за 2 робочі дні. Отримайте консультацію, щоб обговорити деталі та терміни.
Чому обирають нас
- 30+ успішних проєктів на Coral та інших платформах.
- Гарантія: доведемо модель до робочого стану на вашому пристрої.
- Індивідуальний підхід: підбираємо стек під задачу, включаючи pruning або knowledge distillation.
Зв'яжіться з нами, щоб прискорити деплой вашого AI-рішення на Coral Edge TPU.