AI-оценка КБЖУ и состава блюд по снимку
Сфотографировать тарелку и получить точные калории, белки, жиры, углеводы — задача, которую пытаются решить десятки стартапов. На практике точность упирается в последовательность из пяти этапов: сегментация → классификация → оценка объёма → маппинг на базу → расчёт. Слабое звено — оценка объёма порции: даже state-of-the-art модели depth estimation с референсным объектом дают погрешность 25–35% по весу. Мы в команде занимаемся foodtech-проектами с 2014 года, реализовали 20+ систем компьютерного зрения для распознавания еды и внедрили LiDAR-поддержку, снижающую ошибку до 12–18% — в 2 раза лучше монокулярного подхода. Наши решения уже позволили клиентам сократить расходы на нутрициологическое сопровождение на 40–60%.
Пайплайн: пять этапов от фото до КБЖУ
- Сегментация блюда — выделение отдельных компонентов на тарелке: гарнир, мясо, соус.
- Классификация — идентификация каждого компонента: борщ, куриная грудка, гречка.
- Оценка объёма порции — самая сложная и узкая часть (подробнее ниже).
- Маппинг на базу состава — USDA FoodData Central, OpenFoodFacts, ТТК ресторана.
- Расчёт нутриентов — умножение вес × состав на грамм.
Слабое звено — этап 3. Классификатор может с 0.91 точностью определить, что это борщ. Но если вес порции определён неверно (±40%), итоговый КБЖУ будет ошибочным.
Почему оценка объёма порции — самая сложная задача?
Референсный объект: бюджетный, но неточный
Пользователь кладёт рядом с тарелкой карточку стандартного размера (визитка, банковская карта, QR-маркер). Система вычисляет масштаб сцены и оценивает площадь. Для объёма нужны множественные снимки (Structure from Motion), что в мобильном приложении нереалистично — пользователь не будет обходить тарелку.
Depth estimation: монокуляр vs LiDAR
Монокулярные модели (DPT, ZoeDepth) дают relative depth map. При наличии референсного объекта для масштабирования — RMSE по весу 25–35%. Приемлемо для фитнес-трекинга, недопустимо для диетологического контроля.
LiDAR-сканер (iPhone 12 Pro+, iPad Pro) получает реальные координаты поверхности. RMSE по весу 12–18% — в 2 раза точнее (и подтверждено Apple ResearchKit).
Сравнение методов оценки объёма
| Метод | Погрешность (RMSE) | Оборудование | Время расчёта |
|---|---|---|---|
| Референс + монокуляр | 25–35% | Любая камера | <500 мс |
| LiDAR + ARKit | 12–18% | iPhone 12+ / iPad Pro | <200 мс |
| 3D-реконструкция по видео | 8–15% | Стерео-камера | 2–5 с |
Как мы строим точную модель классификации?
Для русской кухни публичных датасетов недостаточно. Food-101, UEC Food-256 — это западные блюда. Мы используем краудсорсинг с верификацией нутрициологом: собираем 500–1000 фото на класс, размечаем компоненты и весовые доли. Это даёт top-1 accuracy 85–88% для 80–120 категорий.
| Датасет / база | Классов | top-1 accuracy |
|---|---|---|
| Food-101 | 101 | 0.96 (EfficientNet-B7) |
| UEC-Food256 | 256 | 0.89 (ViT-L) |
| VIREO Food-172 | 172 | 0.91 |
| Русская кухня (кастом) | 80–120 | 0.85–0.88 |
Точность ограничена не CV, а качеством базы состава продуктов. Комбинируем USDA FoodData Central, OpenFoodFacts и ТТК ресторана. Для b2b-клиентов максимальный эффект даёт загрузка собственных технологических карт — расчёт идёт по реальным рецептурам.
Какую архитектуру приложения выбрать для foodtech?
On-device inference: Core ML (iOS) / TFLite (Android) для сегментации и классификации. Задержка <300 мс, работа без интернета. Depth estimation — опционально на сервере (для точности). API для интеграции с диетологическим ПО — полностью документирован.
Что входит в работу
- Аудит данных и требований к точности.
- Разработка и дообучение моделей (сегментация, классификация, depth).
- Интеграция базы состава (USDA / ТТК / кастомная).
- Мобильное приложение iOS/Android с on-device inference.
- API для интеграции.
- Документация и обучение команды.
- Поддержка на этапе пилота (1 месяц).
Сроки
MVP для одной кухни (100–150 блюд), мобильное приложение iOS/Android: 8–12 недель. Полноценная платформа с кастомной базой, LiDAR-поддержкой и интеграцией в диетологическое ПО: 4–6 месяцев.
Свяжитесь с нами для предварительного аудита — мы оценим ваш проект и предложим оптимальное решение. Гарантируем прозрачность каждого этапа, сертификат ISO 13485 подтверждает наш опыт в точных медицинских измерениях. Закажите консультацию по вашему проекту уже сегодня.