Разработка AI-модели для микроконтроллеров (TinyML)

Разработка ML-модели для микроконтроллера — не задача «сжать готовую сеть», а архитектурное проектирование с нуля под жёсткие лимиты. Типичный заказчик: «Мы взяли ResNet-50, квантизовали — всё равно 5 MB и 500 ms на кадр». После перепроектирования под MCU та же точность укладывается в 300 KB и 50 ms. Показываю, как мы это делаем. Наш опыт — более 50 проектов по TinyML для промышленности, носимой электроники и IoT. Выбрав правильную архитектуру нейронной сети и методы оптимизации модели, вы снижаете затраты на оборудование на 20–40%, а окупаемость инвестиций составляет 6–12 месяцев. Важно понимать: даже простой датчик вибрации с бортовой нейросетью может заменить коробочный анализатор за $2000 — разница в цене комплектующих составляет 5–10×.

Бюджет по памяти

Model Footprint Budget: RAM (inference time) = activations buffer, Flash = model weights. Типичные бюджеты для популярных платформ:

Архитектура модели

• MobileNetV3-Small — 2.5 MB FP32, квантизация до 600 KB — универсальный выбор для Vision.
• MCUNet (специально для MCU) — 1 MB Flash при 70% точности ImageNet (>90% на простых датасетах).
• EfficientNet-Lite0 — для задач, где важна скорость на CPU без DSP.
• DS-CNN — depthwise separable CNN, классика для audio с 50–200 KB.
• 1D CNN — для временных рядов (вибрация, ЭКГ) — 50–200 KB.

Neural Architecture Search (NAS) для MCU: Once-for-All, ProxylessNAS — автоматический поиск топологии под заданные лимиты Flash/RAM. Даёт выигрыш 15–30% по точности при том же размере. MCUNet на 30% точнее ResNet при том же объёме модели — это практический результат.

Как выбрать архитектуру для MCU?

Критерий — latency и footprint под конкретный сценарий. Для real-time audio (10 ms окно) — DS-CNN + INT8 даёт <5 ms на STM32L4. Для периодической классификации жестов — снапшот + MLP укладывается в 20 KB Flash. Мы на старте строим прототип с Edge Impulse, подбираем операторы (DepthwiseConv2D vs SeparableConv) и решаем, нужна ли квантизация INT4 для экономии батареи.

Обучение и оптимизация

QAT: Обучение с симуляцией INT8/INT4 квантизации — на 2–4% точнее Post-Training Quantization. В production используем QAT для всех моделей с TensorFlow или PyTorch (библиотека torch.quantization). QAT позволяет сохранить точность в пределах 1% от FP32.

Knowledge Distillation: Учим маленькую student-модель на soft labels от большой teacher-сети (например, DistilBERT для NLP). Student достигает 90–95% качества teacher при 5–10% размере.

Pruning: Structured pruning (целые фильтры) — deployment-friendly. Удаляем каналы по magnitude и fine-tune — сжимаем модель ещё на 30–50% без падения точности.

Сравнение методов оптимизации:

Почему квантизация критична?

Без неё модель FP32 не помещается в Flash. TinyML — это про жёсткие лимиты, и INT8 увеличивает скорость на 70% на ARM Cortex-M55. Для батарейных устройств INT4 сокращает энергопотребление в 2 раза — разница между неделей и месяцем работы. Свяжитесь с нами — мы поможем подобрать оптимальный метод квантизации под вашу задачу.

Процесс работы

1. Аналитика — аудит задачи, выбор сенсоров, замеры бюджета.
2. Прототип в Edge Impulse — сбор данных, подбор архитектуры, оценка точности.
3. Оптимизация — QAT, pruning, квантизация до целевого размера.
4. Развёртывание — генерация кода под TFLite Micro, STM32Cube.AI или кастомный рантайм.
5. Интеграция — встраивание в прошивку, тестирование на железе.

Получите консультацию инженера на этапе аналитики — мы бесплатно оценим реализуемость вашего сценария.

Что входит в работу

• Модель: обученная, квантизованная, с model_card (метрики, ограничения).
• Код инференса: на C/C++ с поддержкой нужного MCU.
• Документация: описание архитектуры, пайплайна данных, точности на тестах.
• Поддержка: 2 недели после деплоя, помощь в интеграции.

Сроки и стоимость

Типовой проект занимает от 8 до 16 недель в зависимости от сложности задачи. Стоимость рассчитывается индивидуально — пишите, оценим проект бесплатно. Наш опыт говорит, что правильно спроектированная TinyML-модель окупается снижением затрат на оборудование на 20–40% за счёт меньшего Flash и энергопотребления.

Edge AI и оптимизация: деплой моделей без облака

Представьте: ваша модель распознавания лиц выдаёт 4 секунды latency на Jetson Orin, батарея садится за час, модель вылетает по OOM. Мы — команда инженеров по Edge AI с 5+ лет опыта — оптимизировали более 150 моделей для граничных устройств. Без профилирования и правильного выбора квантизации или дистилляции проект обречён. Разрыв между исследовательским кодом и edge-деплоем — отдельная инженерная дисциплина, мы помогаем её освоить за 2–16 недель под ключ. Услуги Edge AI и оптимизация моделей — это не просто экспорт, а системная работа с железом.

Почему просто «экспортировать модель» не работает

PyTorch-модель с float32 и batch_size=32 не готова к edge. Типичные проблемы:

• ResNet-50 в fp32 занимает 98 MB, inference на Cortex-A78 — 380 мс. После INT8-квантизации torch.ao.quantization — 24 MB, 95 мс. Экспорт в ONNX + TensorRT на Jetson — 28 мс.
• YOLOv8m на Raspberry Pi 5 в fp32 — 2.8 fps. TFLite INT8 — 9.4 fps. С XNNPACK делегатом — 14 fps.
• Transformer-энкодер на мобильном CPU: MobileBERT в fp16 через CoreML на iPhone 15 — 18 мс/инференс. distilbert-base-uncased в ONNX — 42 мс.

Проблема не в выборе «квантизировать или нет» — правильный путь определяется устройством, задачей и допустимой деградацией метрики. Предлагаем оценку вашего проекта: за 24 часа скажем, насколько реально ускорить модель.

Какой метод квантизации выбрать для вашей задачи?

PTQ (Post-Training Quantization) — быстрый путь. Берёте обученную модель, прогоняете calibration dataset (200–1000 примеров), получаете INT8 или INT4 веса. Инструменты: torch.ao.quantization, ONNX Runtime quantization tool, bitsandbytes. Деградация точности: 0.5–2% на классификации. Красная зона — детекция мелких объектов и сегментация, где PTQ даёт -4–8% mAP.

QAT (Quantization-Aware Training) — обучение с симулированными квантизационными шумами. Дороже (переобучение), но деградация 0.1–0.5%. Оправдано, когда PTQ неприемлем. В PyTorch — torch.ao.quantization.prepare_qat().

GPTQ / AWQ — для LLM. AWQ лучше сохраняет качество при 4-bit квантизации. llm-compressor от Neural Magic или autoawq — основные библиотеки.

Экономия от выбора правильного метода: до 350 000 ₽ в год на облачных инстансах за счёт снижения latency и энергопотребления. Стоимость проекта рассчитывается индивидуально — диапазон от 100 000 до 500 000 ₽ в зависимости от сложности модели.

Прунинг и дистилляция

Структурный прунинг удаляет каналы или слои. torch.nn.utils.prune — базовый инструмент. Для transformer — прунинг attention heads (LTP, movement pruning). Результат: ResNet-50 после удаления 40% каналов с fine-tuning — -35% размера, -28% latency, -1.2% top-1 accuracy.

Knowledge distillation — обучаем маленькую student имитировать большую teacher. Классика через KLDivLoss на soft labels. Feature distillation на промежуточных слоях эффективнее. Hugging Face DistilBERT: 66M vs 110M параметров, -40% latency, -3% на GLUE. Согласно Wikipedia, это техника сжатия модели.

Комбинированный подход: дистилляция → прунинг → QAT. Даёт максимальный эффект на ограниченном железе. Экономия на облачных вычислениях достигает 70% — мы фиксировали такую у нескольких клиентов.

Целевые платформы и инструменты

TensorRT — главный инструмент для NVIDIA edge. TRT строит граф с fusion операторов, выбирает оптимальные ядра. На Jetson AGX Orin YOLOv8m в TRT INT8 даёт 78 fps против 22 fps в fp16 PyTorch.

Практический кейс: детекция дефектов на производственной линии

Задача: обнаружение царапин на металле в реальном времени, 30 fps, камера к Jetson Xavier NX (16GB). Исходная модель YOLOv8l mAP50 0.91, inference на сервере 28 мс, на Jetson в fp16 — 110 мс (9 fps). Не подходит.

Шаги оптимизации:

1. Переход на YOLOv8m — mAP50 0.887 (-2.3%), 68 мс
2. Экспорт в TensorRT FP16 через yolo export format=engine half=True — 31 мс (32 fps)
3. INT8 calibration на 500 кадрах — 22 мс (45 fps), mAP50 0.879

Итого: деградация 3.5% при 5× ускорении. Клиент получил engine и документацию. Гарантируем, что метрика не упадёт ниже оговорённого порога — прописано в договоре.

Что входит в работу

• Отчёт по профилированию модели на целевом устройстве (latency по слоям, узкие места)
• Выбор и обоснование методов оптимизации (quantization / pruning / distillation)
• Оптимизированная модель (TensorRT engine / TFLite / CoreML / ONNX)
• Конфиги для воспроизведения (скрипты, Docker-образ, инструкция)
• Тестирование на реальном устройстве (не менее 10 000 инференсов)
• Обучение вашей команды (2 часа онлайн)
• Поддержка 1 месяц после передачи

Как заказать оптимизацию модели

1. Оставьте заявку на сайте или свяжитесь с нами любым удобным способом.
2. Мы проводим бесплатное профилирование вашей модели на целевом устройстве в течение 24 часов.
3. Готовим план оптимизации с оценкой trade-off (скорость vs качество).
4. Вы утверждаете план — мы приступаем к работе.
5. После завершения передаём оптимизированную модель, конфиги и документацию.
6. Проводим обучение вашей команды и предоставляем месячную поддержку.

Сроки: оптимизация готовой модели — 2–4 недели. Разработка с нуля под edge — 6–16 недель.

Получите консультацию — мы бесплатно оценим вашу модель и предложим план за 24 часа. Закажите бесплатное профилирование прямо сейчас.