Розгортання AI на Raspberry Pi з апаратним прискоренням
Raspberry Pi 5 — значний стрибок для edge AI: 2–3× швидше за Pi 4. З апаратними ускорювачами (Hailo-8, Coral USB) становиться серйозною edge AI платформою.
Апаратне прискорення для Pi
Hailo-8 M.2 HAT+: 26 TOPS при 5 Вт спожи вання. Спеціально розроблений для Pi 5 (M.2 слот через HAT). YOLOv8n: 30 FPS → 120+ FPS з Hailo-8. Найкращий вибір для 2025.
Google Coral USB Accelerator: 4 TOPS, USB 3.0. Працює на Pi 4 та Pi 5. Обмеження: тільки INT8 TFLite моделі.
Intel Neural Compute Stick 2 (Movidius): Застарілий, але існує в legacy проектах. USB 3.0.
Stack без ускорювача (Pure Pi 5)
TFLite + XNNPACK (CPU оптимізації ARM Neon): MobileNetV3 classification: ~15 FPS на Pi 5 CPU (vs. 5 FPS на Pi 4). Достатньо для несрочних завдань.
Llama.cpp на Pi 5: Llama 3.2 1B: 8–12 token/sec. Для простих NLP завдань.
Практичні кейси
Розумний дверний звонок (face detection з Hailo-8: real-time). Промислова візуальна контроль (дефекти): YOLOv8 + Hailo-8, 30 FPS на конвеєрі. Offline мовний помічник: Vosk STT + Llama 3.2 1B (без інтернету).
OS та Stack
Raspberry Pi OS Bookworm (64-bit). Python 3.11+. TFLite runtime або Hailo SDK. Для production — балансування навантаження через кілька Pi як кластер.