Raspberry Pi 5 значительно быстрее предшественника — 2–3x прирост CPU. Но для real-time инференса детекции, классификации или генерации текста аппаратный ускоритель часто обязателен. Мы занимаемся развёртыванием AI на Pi уже более 5 лет и помогли десяткам проектов перейти от прототипа к production. Например, клиент из электронной промышленности хотел детектировать царапины на плате в реальном времени. Без ускорителя YOLOv8n выдавал 15 FPS — недостаточно для конвейера 30 см/с. После оптимизации с Hailo-8 и квантизацией INT8 получили стабильные 110 FPS. Согласно Wikipedia, Edge AI — это подход, который позволяет обрабатывать данные локально без задержек, что критично для промышленных задач. Ниже — практические рекомендации.
Какой ускоритель выбрать для Raspberry Pi 5?
На рынке три основных варианта:
| Ускоритель | Производительность (TOPS) | Потребление | Поддержка моделей | Подходит для Pi 5 |
|---|---|---|---|---|
| Hailo-8 M.2 HAT+ | 26 TOPS | 5 Вт | Любые (через Hailo SDK) | Да (M.2 слот через HAT) |
| Google Coral USB Accelerator | 4 TOPS | 2–3 Вт | Только INT8 TFLite | Да (USB, Pi 4/5) |
| Intel Neural Compute Stick 2 | 1 TOPS | 1–2 Вт | OpenVINO, устарел | Частично |
Hailo-8 — выбор сегодня: 26 TOPS при мизерном энергопотреблении. В наших проектах он даёт 120+ FPS на YOLOv8n. Coral — бюджетный вариант для готовых TFLite-моделей. Intel NCS2 встречается только в legacy-системах.
Как Hailo-8 влияет на производительность?
| Модель | Без ускорителя (CPU Pi 5) | С Hailo-8 |
|---|---|---|
| YOLOv8n (детекция) | ~30 FPS | 120+ FPS |
| MobileNetV3 (классификация) | ~15 FPS | 60+ FPS |
| Llama 3.2 1B (генерация) | 8–12 токенов/с | — (пока не поддерживается) |
Разница в 4–5 раз. Для real-time задач (видеонаблюдение, робототехника) ускоритель обязателен. Экономия бюджета при таком подходе может достигать 40% по сравнению с облачными решениями.
Стек без ускорителя (Pure Pi 5)
Если задача не срочная, хватает CPU с TFLite + XNNPACK (ARM Neon). Для NLP — Llama.cpp: Llama 3.2 1B выдаёт 8–12 токенов/с. Этого хватает для offline-ассистента или простой классификации. Для CV-задач можно использовать MobileNetV3-SSD: 8–10 FPS на разрешении 320x320. Но если требуется latency < 100 мс, без Hailo-8 не обойтись.
Как мы оптимизируем модели и разворачиваем AI
Из нашей практики: кейс с дефектоскопией
Клиент — производитель электроники. Нужно детектировать царапины на плате в реальном времени. Проблемы: модель YOLOv8n тяжелая для Pi 5 (15 FPS), тепловыделение. Мы:
- Провели квантизацию INT8 с помощью Hailo SDK — FPS вырос до 110.
- Настроили пайплайн через GStreamer, снизив latency p99 до 30 мс.
- Добавили троттлинг CPU, чтобы избежать перегрева. Результат: стабильные 30 FPS на конвейере, отказоустойчивость 99.9%.
Процесс работы
Этапы развёртывания
- Аналитика: нагрузка, требования к latency, выбор ускорителя.
- Проектирование: архитектура инференс-пайплайна.
- Реализация: квантизация, конвертация модели, настройка SDK.
- Тестирование: замеры FPS, latency p99, thermal stress.
- Деплой: развёртывание на Pi, мониторинг, документация.
Что входит в работу?
- Подбор аппаратного ускорителя и комплектующих.
- Оптимизация модели (квантизация, конвертация) под конкретный SDK.
- Настройка системы (ОС, драйверы, библиотеки).
- Интеграция инференс-пайплайна (GStreamer, OpenCV, etc.).
- Тестирование производительности и стресс-тест.
- Документация и инструкции по эксплуатации.
- Обучение вашей команды (до 2 часов).
- Поддержка после внедрения (1 месяц).
Типичные ошибки при развёртывании AI на Pi
- Игнорирование тепловыделения — троттлинг снижает FPS.
- Использование FP32 модели вместо INT8 — потеря производительности.
- Неоптимизированный пайплайн ввода/вывода (GStreamer обязателен).
- Неправильный выбор модели: слишком тяжёлые архитектуры (YOLOv8m) дают 5 FPS даже с ускорителем из-за ограничения пропускной способности памяти.
- Отсутствие мониторинга температуры — при 85°C Pi сбрасывает частоту.
Почему стоит доверить развёртывание нам?
У нас более 5 лет опыта в edge AI и более 50 успешных проектов на Raspberry Pi. Предоставляем гарантию на производительность (документально). Получите консультацию — напишите нам, оценим ваш проект за 1 день. Закажите оценку вашего проекта. Мы поможем подобрать ускоритель и оптимизировать модель под ваши требования.
Edge AI — это точка входа в умные устройства без облака.