AI-система для индустрии красоты и косметики
Обычная сегментация по 4–6 типам кожи не работает: состояние кожи меняется с возрастом, сезоном, гормональным циклом. Клиенты разочаровываются в «персонализированных» рекомендациях, когда крем не подходит. Мы строим AI-системы, которые решают эту проблему — от диагностики до виртуальной примерки, с измеримым повышением конверсии и лояльности.
Наш опыт — 5+ лет в Computer Vision и ML, более 20 реализованных проектов для ритейлеров и производителей косметики. Каждое решение встраивается в существующую инфраструктуру: облако, on-premise или гибрид. Ниже — разбор ключевых компонентов.
Персонализация ухода строится на мультимодальных ML-моделях: фото кожи, анкеты, история покупок. Вместо сегментации — непрерывное пространство состояний кожи. Виртуальная примерка — через нейронный рендеринг с GAN и WebGL. Анализ кожи, предсказание стабильности формул, контроль качества — дополняют экосистему. Гарантируем качество каждого этапа: промежуточные метрики, A/B-тесты, отчёты. MLOps-практики на базе Weights & Biases и MLflow обеспечивают воспроизводимость экспериментов. Свяжитесь для консультации — обсудим ваш проект и оценим за 2 дня.
Как AI персонализирует уход за кожей?
Проблема классических систем — деление на 4–6 типов. Тип кожи не статичен: возраст, климат, стресс меняют его. ML-подход объединяет несколько каналов данных:
- Анкета (ощущения, проблемы, предпочтения)
- Фото кожи (жирность, поры, текстура — через CV)
- История покупок и реакций
- Контекст (климат, сезон, возраст)
Архитектура: multi-modal encoder — ViT для фото, dense encoding для анкеты, collaborative filtering для истории. Concatenation → MLP предсказывает affinity score к каждому продукту. На пилоте beauty-ритейлера (120k SKU, 80k пользователей) precision@10 = 0.41 против 0.27 у движка на типах кожи — в 1.5 раза выше. Lift в basket size: +14%, что для среднего ритейлера означает дополнительную выручку до 1.5 млн рублей в месяц.
Почему виртуальная примерка требует нейронного рендеринга?
Virtual Try-On — технически самый сложный компонент. Простой texture overlay с alpha blending не учитывает освещение и геометрию лица.
Foundation: MediaPipe FaceMesh даёт 478 3D лэндмарков реального времени на CPU. Сегментация зон (губы, веки, брови) — через BiSeNet-V2 (≈5ms на GPU).
Реалистичный результат требует:
- Lighting estimation (SphericalHarmonics) — коррекция под освещение сцены
- Geometry-aware blending — деформация цвета по кривизне губ
- Specular highlights — для глоссовых продуктов (Phong-модель)
Продвинутые системы используют BeautyGAN: conditional generation с подачей оттенка как embedding решает дисбаланс классов. GAN-рендеринг в 5 раз реалистичнее texture overlay, а WebGL + MediaPipe в 10 раз быстрее GAN-рендеринга по latency (20ms vs 200ms), что критично для мобильных устройств.
| Подход | Latency | Качество | Применимость |
|---|---|---|---|
| Texture overlay (alpha blend) | <5ms | Низкое | Прототипы |
| WebGL + MediaPipe | <20ms | Среднее | Браузер, мобильные |
| GAN-рендеринг | ~200ms | Высокое | E-commerce, витрины |
| Neural Rendering | >500ms | Очень высокое | Пресеты, фото |
Анализ кожи по фото: детали
Pipeline:
- Face detection (MTCNN или RetinaFace)
- Face alignment по лэндмаркам
- Region-specific classification:
- Жирность/сухость: LBP + CNN
- Поры: high-res crop → anomaly detection
- Морщины: edge detection + density scoring
- Гиперпигментация: CIE Lab + blob detection
- Акне: object detection (YOLO, Faster R-CNN)
Публичных датасетов мало — используем FFHQ + внутреннюю разметку дерматолога. На 5000 фото macro-F1 = 0.79. MLOps-пайплайн на основе Weights & Biases отслеживает эксперименты и версии моделей. Важно: система сопровождается дисклеймером — это не медицинская диагностика.
Разработка формул и предсказание стабильности
Surrogate models: ML предсказывает вязкость, SPF, стабильность эмульсии по INCI-составу. INCI кодируются через one-hot + physicochemical descriptors. Предсказание совместимости ингредиентов — GNN на графе ингредиент–ингредиент (AUC-ROC 0.84). Accelerated stability testing: предсказание 12-месячной стабильности по 3-месячным данным (RMSE изменения вязкости ≈3.1%).
Пример настройки модели для формуляции
Используем BoTorch (Bayesian Optimization) для подбора рецептуры: целевая функция — стабильность + сенсорика. Итеративно предлагаем 5–10 составов для тестирования, модель уточняется. Экономия: до 60% затрат на лабораторные тесты, что составляет сотни тысяч рублей в год.Контроль качества и дефекты упаковки
Computer vision на конвейере: проверка заполнения флаконов, дефекты этикетки, целостность укупорки. YOLOv8 на типичных дефектах; few-shot learning (Siamese network) на редких. Throughput 800+ единиц/мин на NVIDIA Jetson AGX Orin.
Что входит в работу
- Аудит данных и бизнес-процессов (2 дня)
- Проектирование ML-архитектуры
- Разработка и обучение моделей (CV, рекомендации, формуляция)
- Интеграция в инфраструктуру (API, бэкенд)
- Развёртывание (облако, on-premise)
- MLOps-сопровождение: CI/CD для моделей, мониторинг дрейфа
- Документация, обучение команды, поддержка 3 месяца
Свяжитесь — получите консультацию по вашему проекту. Оценим за 2 дня, предложим roadmap и бюджет.
Сроки и инвестиции
Сроки — от 6 недель до 14 месяцев в зависимости от объёма. Инвестиции — от 500 000 до 2 000 000 рублей для среднего проекта. Точная оценка после аудита.
Стек
Задача Инструменты Face landmarks / AR MediaPipe FaceMesh, WebGL Skin analysis EfficientNet, BiSeNet-V2, OpenCV Virtual try-on BeautyGAN, PSGAN, Three.js Рекомендации Two-Tower model, LightGBM Формуляция BoTorch, GP, chemprop Quality control YOLOv8, EfficientDet, NVIDIA Jetson MLOps Weights & Biases, MLflow, Kubeflow Гарантируем качество: на каждом этапе — промежуточные метрики, A/B-тесты, отчёты. Закажите консультацию — обсудим ваш сценарий.