AI-система для індустрії краси та косметики
Звичайна сегментація за 4–6 типами шкіри не працює: стан шкіри змінюється з віком, сезоном, гормональним циклом. Клієнти розчаровуються в «персоналізованих» рекомендаціях, коли крем не підходить. Ми будуємо AI-системи, які вирішують цю проблему — від діагностики до віртуальної примірки, з вимірним підвищенням конверсії та лояльності.
Наш досвід — 5+ років у Computer Vision та ML, понад 20 реалізованих проєктів для рітейлерів та виробників косметики. Кожне рішення вбудовується в існуючу інфраструктуру: хмару, on-premise або гібрид. Нижче — розбір ключових компонентів.
Персоналізація догляду будується на мультимодальних ML-моделях: фото шкіри, анкети, історія покупок. Замість сегментації — безперервний простір станів шкіри. Віртуальна примірка — через нейронний рендеринг з GAN та WebGL. Аналіз шкіри, передбачення стабільності формул, контроль якості — доповнюють екосистему. Гарантуємо якість кожного етапу: проміжні метрики, A/B-тести, звіти. MLOps-практики на базі Weights & Biases та MLflow забезпечують відтворюваність експериментів. Зв'яжіться для консультації — обговоримо ваш проєкт і оцінимо за 2 дні.
Як AI персоналізує догляд за шкірою?
Проблема класичних систем — поділ на 4–6 типів. Тип шкіри не статичний: вік, клімат, стрес змінюють його. ML-підхід об'єднує кілька каналів даних:
- Анкета (відчуття, проблеми, вподобання)
- Фото шкіри (жирність, пори, текстура — через CV)
- Історія покупок та реакцій
- Контекст (клімат, сезон, вік)
Архітектура: multi-modal encoder — ViT для фото, dense encoding для анкети, collaborative filtering для історії. Concatenation → MLP передбачає affinity score до кожного продукту. На пілоті beauty-рітейлера (120k SKU, 80k користувачів) precision@10 = 0.41 проти 0.27 у движка на типах шкіри — в 1.5 рази вище. Lift в basket size: +14%, що для середнього рітейлера означає додатковий виторг. Точна сума розраховується індивідуально.
Чому віртуальна примірка потребує нейронного рендерингу?
Virtual Try-On — технічно найскладніший компонент. Простий texture overlay з alpha blending не враховує освітлення та геометрію обличчя.
Foundation: MediaPipe FaceMesh дає 478 3D лендмарків реального часу на CPU. Сегментація зон (губи, повіки, брови) — через BiSeNet-V2 (≈5ms на GPU).
Реалістичний результат потребує:
- Lighting estimation (SphericalHarmonics) — корекція під освітлення сцени
- Geometry-aware blending — деформація кольору по кривизні губ
- Specular highlights — для глянцевих продуктів (Phong-модель)
Просунуті системи використовують BeautyGAN: conditional generation з подачею відтінку як embedding вирішує дисбаланс класів. GAN-рендеринг в 5 разів реалістичніший за texture overlay, а WebGL + MediaPipe в 10 разів швидший за GAN-рендеринг по latency (20ms vs 200ms), що критично для мобільних пристроїв.
| Підхід | Latency | Якість | Застосовність |
|---|---|---|---|
| Texture overlay (alpha blend) | <5ms | Низька | Прототипи |
| WebGL + MediaPipe | <20ms | Середня | Браузер, мобільні |
| GAN-рендеринг | ~200ms | Висока | E-commerce, вітрини |
| Neural Rendering | >500ms | Дуже висока | Пресети, фото |
Аналіз шкіри по фото: деталі
Pipeline:
- Face detection (MTCNN або RetinaFace)
- Face alignment по лендмаркам
- Region-specific classification:
- Жирність/сухість: LBP + CNN
- Пори: high-res crop → anomaly detection
- Зморшки: edge detection + density scoring
- Гіперпігментація: CIE Lab + blob detection
- Акне: object detection (YOLO, Faster R-CNN)
Публічних датасетів мало — використовуємо FFHQ + внутрішню розмітку дерматолога. На 5000 фото macro-F1 = 0.79. MLOps-пайплайн на основі Weights & Biases відстежує експерименти та версії моделей. Важно: система супроводжується дисклеймером — це не медична діагностика.
Розробка формул та передбачення стабільності
Surrogate models: ML передбачає в'язкість, SPF, стабільність емульсії за INCI-складом. INCI кодуються через one-hot + physicochemical descriptors. Передбачення сумісності інгредієнтів — GNN на графі інгредієнт–інгредієнт (AUC-ROC 0.84). Accelerated stability testing: передбачення 12-місячної стабільності за 3-місячними даними (RMSE зміни в'язкості ≈3.1%).
Приклад налаштування моделі для формуляції
Використовуємо BoTorch (Bayesian Optimization) для підбору рецептури: цільова функція — стабільність + сенсорика. Ітеративно пропонуємо 5–10 складів для тестування, модель уточнюється. Економія: до 60% витрат на лабораторні тести, що становить значну економію порівняно з традиційним підходом.Контроль якості та дефекти упаковки
Computer vision на конвеєрі: перевірка заповнення флаконів, дефекти етикетки, цілісність закупорювання. YOLOv8 на типових дефектах; few-shot learning (Siamese network) на рідкісних. Throughput 800+ одиниць/хв на NVIDIA Jetson AGX Orin.
Що входить в роботу
- Аудит даних та бізнес-процесів (2 дні)
- Проектування ML-архітектури
- Розробка та навчання моделей (CV, рекомендації, формуляція)
- Інтеграція в інфраструктуру (API, бекенд)
- Розгортання (хмара, on-premise)
- MLOps-супровід: CI/CD для моделей, моніторинг дрейфу
- Документація, навчання команди, підтримка 3 місяці
Зв'яжіться — отримайте консультацію по вашому проєкту. Оцінимо за 2 дні, запропонуємо roadmap та бюджет.
Терміни та інвестиції
Терміни — від 6 тижнів до 14 місяців залежно від обсягу. Інвестиції залежать від обсягу та складності проєкту. Точна оцінка після аудиту.
Стек
Задача Інструменти Face landmarks / AR MediaPipe FaceMesh, WebGL Skin analysis EfficientNet, BiSeNet-V2, OpenCV Virtual try-on BeautyGAN, PSGAN, Three.js Рекомендації Two-Tower model, LightGBM Формуляція BoTorch, GP, chemprop Quality control YOLOv8, EfficientDet, NVIDIA Jetson MLOps Weights & Biases, MLflow, Kubeflow Гарантуємо якість: на кожному етапі — проміжні метрики, A/B-тести, звіти. Замовте консультацію — обговоримо ваш сценарій.