AI-віртуальна примірка макіяжу: від прототипу до продакшену

Віртуальна примерка макіяжу: де ламається якість

Віртуальна примерка макіяжу ламається не в момент відтворення, а раніше — на підготовці даних. Відтінок на екрані залежить від підтону шкіри, її текстури та блиску: одна й та сама помада на матовій і на зволоженій шкірі читається як два різних кольори.

Якщо навчальна вибірка однорідна, на смаглявій шкірі або шкірі з почервоніннями модель систематично відводить тон.

Друге джерело помилок — світло. Жорстке спрямоване світло дає глибокі тіні в складках губ і на крилах носа, розсіяне — з'їдає контур і насиченість.

Без нормалізації балансу білого та еталонної колірної шкали один продукт у каталозі виглядає по-різному на кадрах різних покупців, і передбачити це заздалегідь неможливо.

Найтонше місце — розмітка обличчя та губ. Потрібні стійкі ключові точки по контуру губ, межа між губами та зубами, зони повік і брів, плюс стійкість до усмішки, моргання, волосся та окулярів. Похибка на контурі — і помада виповзає за межу рота, тіні лягають не по складці, а поверх неї.

Ціна розходження відтінку на шкірі — не косметична. Покупець отримує продукт, який на ньому виглядає інакше, і надсилає його назад; у декоративній косметиці частка повернень і так одна з найвищих. Каталог втрачає головне — довіру до передперегляду, і ним перестають користуватися.

Тому ми починаємо не з генерації картинки, а з колірної калібрування та звірки відтінків за еталонними довідниками рівня Pantone. Далі розбираємо, як це закривається покроково: від розмітки та якості за різного світла до контролю результату.

Що дає примерка на потоці: швидкість, повернення, довіра

Швидкість видачі образу покупцеві

Перше питання до будь-якої примерки — скільки чекати результат. Важкий розрахунок на стороні сервера легко розтягує відповідь і гасить інтерес до картки. Ми розбираємо кадр за зонами: окремо губи, повіки та брови, окремо тон шкіри під макіяжем.

Перенесення текстури та кольору йде тільки по цих ділянках, а не по всій фотографії, тому час видачі образу залишається в межах секунд і на слабкому каналі, і в пік навантаження на вітрину.

Частка повернень і ручних правок

Другий ефект видно в статистиці замовлень. Основна причина повернень косметики — невідповідність відтінку: на фото один тон, на шкірі інший.

Якщо переносити колір за середнім значенням кадру, відтінок з'їжджає разом з освітленням, і продавець отримує потік ручних правок відтінку від покупців і консультантів.

Ми калібруємо перенесення за опорними ділянками шкіри, враховуємо підтон і колірну температуру світла на знімку, а межі наносимо з розтушовуванням — відтінок на образі збігається з відтінком у тюбику.

Коли образи стабільні, змінюється поведінка на картці: покупець частіше додає товар у кошик, частка повернень косметики через причину «не той колір» падає, а кількість ручних правок відтінку скорочується, бо один раз налаштований профіль лінійки працює для всієї палетки. Конверсія картки товару зростає не за рахунок знижок, а за рахунок знятої невизначеності.

Режими роботи: браузерний сервіс, застосунок, вбудовування

Режим примерки — це насамперед про доступ до камери й про те, звідки приходить покупець. Алгоритм один, оболонок три: браузер, застосунок, картка товару.

Обмеження пристроїв покупця тут важать більше, ніж краса інтерфейсу, — від них залежить і якість кадру, і час до першого результату.

Коли достатньо браузерного режиму

Посилання з реклами або QR-коду відкривається без встановлення — перший кадр із макіяжем покупець бачить за секунди. Обмеження чесні: частина вбудованих браузерів соцмереж і месенджерів не віддає камеру або ріже потік, а на слабких пристроях менше пам'яті під розрахунок. Тому закладаємо запасний шлях — примерка за завантаженим фото.

Коли потрібен модуль усередині застосунку

Усередині застосунку доступ до камери стабільний, моделі лежать локально й не перекачуються при кожному заході, оновлення приходить разом із новою збіркою. Плата — вбудовування в наявний продукт і узгодження з командою замовника.

Етапи роботи: від розбору даних до передачі в експлуатацію

Примерка ламається не на самій моделі, а на даних і крайових випадках: відтінок іде під теплим світлом, пігмент перекриває текстуру шкіри, а на темних і дуже світлих тонах результат виглядає наклейкою.

Тому робота йде в порядку «дані → метрики → код»: поки не визначено, що вважається коректною примеркою, будь-яка генерація залишається смаковою оцінкою.

1. Аудит даних бренду. Інвентаризуємо палітру та фініші, перевіряємо, що на кожен відтінок є зйомка в однакових умовах освітлення, — інакше частина асортименту залишається без достовірного еталона.
2. Метрики якості генерації. Фіксуємо вимірювані критерії: відхилення відтінку в межах тону, збереження текстури та пор, природну межу на губах і повіках — і узгоджуємо їх до навчання.
3. Перевірка на складних типах шкіри. Окремий набір: темні та світлі тони, проблемні зони, блиск, веснянки, змішане світло. Модель не повинна вибілювати шкіру або гасити пігмент.
4. Збірка та навчання. Архітектура підбирається під формат зйомки бренду, а палітра оновлюється без перенавчання з нуля — новий відтінок додається за дні, а не тижні.
5. Навантажувальна перевірка. Дивимося час відгуку та якість видачі під потоком одночасних сесій: важлива передбачуваність у пік розпродажу, а не лише на показі.
6. Передача в експлуатацію. Віддаємо конфігурації, схему розгортання, автотести й моніторинг метрик — команда бачить просідання якості раніше, ніж надходять скарги покупців.

Що залишається у вас: моделі, схеми, регламенти, доступи

Після приймання рішення залишається у вас комплектом артефактів, а не сервісом на нашій стороні.

Передаємо вихідники навчання, ваги моделей сегментації обличчя та кольороперенесення, палітри відтінків у редагованому вигляді та схему інтеграції — команда може змінювати асортимент і перезбирати збірку без нас.

Документація та регламенти оновлення

• Склад моделей і призначення кожної: де виділення зон обличчя, де підбір тону, де корекція освітлення.
• Скрипти навчання та підготовлені набори кадрів — перенавчання під нову техніку зйомки або умови салону.
• Палітри відтінків у редагованому форматі: новий тон додається в довідник без перезбирання моделі.
• Регламент оновлення відтінків: хто вносить партію, які перевірки вона проходить і як відкочується.
• Схема інтеграції: точки виклику, формати обміну, поведінка вітрини при недоступності сервісу.
• Доступи та ролі: репозиторій, реєстр моделей, панель моніторингу, розділення середовищ і ключів.

Контроль якості видачі

• Еталонний набір кадрів з різними типами шкіри та освітленням — приймальні та регресійні прогони перед кожним викладенням.
• Метрики: частка кадрів із впевнено визначеним тоном, частотність ручних правок, частка відмов на граничних випадках.

Кейс: як ми зрізали повернення та ручні правки відтінків

Вихідна ситуація

Косметичний бренд Lumielle прийшов із прототипом примерки, який тримався на кількох підготовлених студійних фото і розвалювався на живих знімках із телефона.

Покупець обирав відтінок за однотонним свотчем, на своїй шкірі отримував інший тон — і йшов у підтримку з «мені надіслали не той колір». Повернення з цієї причини з'їдали помітну частку замовлень категорії, а контент-команда вручну правила відтінки на картках після кожної скарги.

Інженери переписали ядро підбору: сегментація зон губ, очей і шкіри, приведення знімка до нейтрального світла, рендер відтінку з урахуванням тону шкіри та блиску. Замість однієї текстури — набір покриттів: матове, сатинове, з шиммером.

Контент-команда отримала адмінку, де відтінок прив'язується до картки й оновлюється без участі розробників.

Результат у цифрах

Заміри знімали на зіставному трафіку та асортименті, щоб порівняння не тягнуло за собою сезонність.

Повернення за відтінком перестали бути головною статтею у звітності напряму, а підтримка розвантажилася настільки, що частину змін перевели на консультації з догляду замість розбору скарг.

Керівник напряму бренду підтвердив: примерку використовують як основний спосіб вибору тону на картці.

Чим генеративний підхід відрізняється від ручної отрисовки шарів?

Ручна отрисовка шарів — це коли під кожен відтінок малюється окремий шар із маскою, налаштовується режим змішування й окремо опрацьовується блиск, матовість і контур губ.

Точність влучання в тон тут тримається на кількості підготовлених шарів і акуратності масок, тобто на дисципліні художника, а не на алгоритмі.

Межа настає на арифметиці комбінацій. Обсяг ручної підготовки зображень зростає як добуток «відтінок × тип шкіри × освітлення × міміка», а не як сума: новий продукт змушує перемальовувати всі стани обличчя, інакше тон іде на темній шкірі або за теплого світла. Додатково маска статична — вона не знає, що губи стиснуті, і на межі області проявляється шов.

Генеративний підхід прибирає цю залежність від ручної розмітки. Модель навчається на парах «до і після» з різними відтінками та умовами зйомки, тому новий продукт додається донавчанням або описом відтінку, а не малюванням шару.

Точність влучання в тон рахується в просторі кольору: модель передбачає, як пігмент ляже на вже наявну шкіру, враховуючи її тон і світло як вхідні параметри.

Слабке місце генерації — передбачуваність дрібної механіки. Блиск, блискітки та поведінку текстури при повороті голови надійніше втримати, обмеживши область генерації та наклавши поверх керовані шари.

Тому робочі рішення майже завжди гібридні, а вибір між підходами — питання кількості відтінків і варіативності зйомки.

Часті технічні сумніви та короткі відповіді на них

Сумніви у замовників зазвичай одні й ті самі: світло, права на обличчя, слабкі телефони покупців, зростання палітри відтінків і приймання результату. Короткі відповіді нижче знімають їх до старту — у великих мереж косметики на кшталт Sephora вимоги до примерки ті самі.

Як вирішуються права на зображення облич?

Зйомка моделей іде за письмовою згодою, частина вибірки — синтетичні обличчя. Кадр покупця не зберігається й не йде на сервер: обробка йде на пристрої, нагору передаються лише знеособлені показники.

А якщо у покупця слабкий телефон?

Бюджетні пристрої тестуємо окремо: обличчя кадрується, важкі ефекти замінюються легким накладенням. Примерка залишається плавною — краще проста, ніж завмерла.

Як додавати нові відтінки в каталог?

Відтінок описується набором параметрів, а не окремою збіркою: палітра розширюється таблицею значень, від десятків до сотень позицій, без повторного навчання. Новинка сезону потрапляє на вітрину одразу.

Як приймається результат роботи?

Фіксуємо набір еталонних сцен — за світлом, тоном шкіри та ракурсом — і поріг розходження з узгодженими зразками. Приймання йде за цим набором: видно, які сценарії прийнято, а які пішли на доопрацювання.

Обговоримо задачу: що потрібно для старту та оцінки

Щоб повернутися з оцінкою та планом робіт, а не з уточнювальними питаннями, на старті проєкту нам потрібен мінімальний склад вхідних даних.

Віртуальна примерка макіяжу сильно залежить від сценарію: показати відтінок на обличчі користувача, підібрати палетку під тон шкіри або зібрати образ для картки товару — це три різні задачі з різними вимогами до точності передачі кольору.

Від вас на цьому етапі достатньо:

• 3-5 прикладів зйомки в тих умовах, у яких примеркою будуть користуватися: фронтальна камера, денне світло, змішане освітлення в приміщенні.
• Еталон продукту: офіційні фото відтінків, текстури, палетка — те, що вважається зразком кольору.
• Точки дотику: де з'являється примерка і що відбувається після неї — перехід у кошик, збереження образу, надсилання в чат.
• Обмеження щодо платформ і приватності: потрібні браузери та пристрої, чи можна зберігати завантажені фото, чи потрібна робота без мережі.
• Критерії приймання: хто затверджує результат і на якій контрольній вибірці звіряємо точність передачі кольору.

Обговорення задачі займає одну розмову, після якої ми збираємо прототип на ваших матеріалах, проганяємо його на контрольній вибірці та повертаємося з оцінкою й планом робіт за етапами: підготовка даних, модель, інтеграція, приймання.