Зауважимо: коли модель з точністю 97% на сервері не вкладається в 100 мс на цільовому контролері, класичний ML пасує. Розробка AI для вбудованих систем (Embedded AI) — це про те, як змусити нейромережу працювати на Cortex-M4 з 256 КБ пам'яті та детермінованим часом виконання. Ми у насзаймаємося embedded AI багато років і знаємо, як обійти ці обмеження. Наша команда має 5+ років досвіду та сертифікати за ISO 26262 і IEC 61508. Скорочення витрат на апаратну платформу може досягати 3 разів за рахунок ефективного квантування та оптимізації.
Як оптимізувати модель для вбудованої системи?
Оптимізація починається з вибору інструменту під тип заліза. На RTOS (FreeRTOS, Zephyr) використовуємо TFLite Micro з CMSIS-NN — ARM-оптимізовані операції дають приріст швидкості до 4x. Для Embedded Linux (Yocto, Buildroot) підійдуть ONNX Runtime або PyTorch Mobile, а на FPGA (Xilinx Versal) — Vitis AI з апаратним прискоренням. Вибір фреймворку залежить від цільового обладнання та вимог до latency.
| Платформа | RAM | Фреймворк | Особливості |
|---|---|---|---|
| RTOS (Cortex-M4/M7) | 256 KB – 2 MB | TFLite Micro, CMSIS-NN | Статична алокація, WCET аналіз |
| Embedded Linux (Cortex-A) | 128 MB – 2 GB | ONNX Runtime, PyTorch Mobile | Гнучкість, OTA, але більше енергоспоживання |
| FPGA (Xilinx/Intel) | Налаштовувана | Vitis AI, FINN | Детермінізм, реконфігурація, до 10x FLOPS |
Для safety-critical проектів обов'язкове квантування моделей. Post-training quantization (INT8) — стандарт, але для медичних систем застосовуємо quantization-aware training з калібруванням на реальних даних. Наші інженери гарантують, що падіння точності не перевищить 2% при розмірі моделі в 10 разів менше.
Порівняння методів квантування
| Метод | Розмір | Точність | Latency | Застосування |
|---|---|---|---|---|
| FP32 | 100% | Базова | 1x | Сервери, прототипи |
| INT8 (PTQ) | 25% | 0.5–2% втрати | 2-4x швидше | RTOS, Linux |
| INT4 (QAT) | 12% | 1–3% втрати | 5-8x швидше | FPGA, low-power MCU |
QAT (Quantization-Aware Training) кращий за PTQ для глибоких мереж: точність падає лише на 1%, а швидкість на FPGA зростає в 5 разів.
Чому детермінізм критичний для embedded AI?
У промислових системах inference має завершуватися за фіксований час — worst-case execution time (WCET). Порушення призводить до збоїв у керуванні верстатом або гальмівною системою. Ми виключаємо malloc в RTOS, використовуємо статичні буфери та профілюємо кожну операцію. В automotive гарантуємо детермінований inference за ліміт 100 мс із запасом 15%.
Як ми це робимо: кейс портування детекції дефектів
Для клієнта з automotive потрібно було перенести YOLOv5 на контролер Infineon TC3xx (TriCore). Вихідна модель важила 30 MB і споживала 1.2 ГБ RAM. Після квантування до INT8 (TFLite) розмір скоротився до 3 MB, RAM — до 128 КБ. Використали CMSIS-NN для згорток та ручну алокацію scratch buffers. Результат: latency 85 мс при ліміті 100 мс, точність впала на 1.2%. Для порівняння, конкурентне рішення з ONNX Runtime дало latency 130 мс — ми виграли 35% часу. Отримайте консультацію — ми проаналізуємо ваш проект за 2 дні.
Процес роботи
- Аналіз — профілювання цільового заліза, feasibility study
- Квантування — вибір типу (INT8/INT4), калібрування, перевірка точності
- Розробка інференсу — C/C++ код, інтеграція з RTOS/Linux
- Тестування — WCET, power budget, stress-тести
- Деплой та MLOps embedded — OTA, документація, навчання команди
Строки орієнтовно: 12–24 тижні
Складність зростає з вимогами до надійності та сертифікації. Вартість розраховується індивідуально. Зв'яжіться з нами для оцінки.
Що входить в нашу роботу
- Feasibility study та вибір стеку
- Квантування та оптимізація моделей під залізо
- Написання production-коду інференсу (C/C++)
- Інтеграція з RTOS/Linux та драйверами
- Тестування WCET та functional safety (якщо потрібно)
- Документація та передача прав на модель
Наш досвід
5+ років в embedded AI, 30+ проектів, включаючи сертифіковані automotive та медичні системи. Працюємо з ISO 26262 та IEC 61508. Зверніться до нас — ми гарантуємо індивідуальний підхід.
Типові помилки при портуванні
- Використання float-моделей на RTOS — у 99% випадків потрібна INT8 квантування. - Ігнорування WCET: навіть одна динамічна алокація може вбити детермінізм. - Відсутність OTA: без A/B partitioning оновлення моделі може призвести до цегли.Стандарти функційної безпеки: IEC 61508, ISO 26262 Отримайте консультацію — оцінимо ваш проект за 2–3 дні. Пишіть.