Розробка системи розпізнавання товарів на полицях (Shelf Monitoring)

Полиці розходяться з даними обліку, і замовлення губиться там, де товар просто не виклали. Ми розробляємо системи розпізнавання товарів на полицях під ключ: від зйомки зали до звітів із викладки. Перевірка торгової зали займає хвилини замість годин, а розбіжності видно до того, як вони стануть втраченим виторгом.

Розробка системи розпізнавання товарів на полицях (Shelf Monitoring)

Комп'ютерний зір — послуги AI/ML розробкиСкладний~1-2 тижні
Часті запитання

Розпізнавання товарів на полицях: де втрачається точність обліку

Ручний обхід залу влаштований так, що помилка закладена в ньому за самою його побудовою. Співробітник іде маршрутом із планшетом, звіряє викладку з планограмою та фіксує розбіжності з пам’яті: за широкого асортименту один прохід дає вибірку, а не інвентаризацію. Між обходами полиця живе своїм життям — товар розкупили, підмінили, повернули не до свого блоку.

Перший збій — облік залишків на полиці. Облікова система тримає позицію в наявності, доки списання не пройшло через касу або склад, тому замовлення на поповнення не надходить, хоча на полиці вже стоїть одна одиниця або не стоїть нічого. Розбіжність випливає або на наступному обході, або в момент, коли покупець товар не знайшов.

Другий — порожні місця на полиці, які виявляються із затримкою в кілька годин. Дірка у викладці фіксується тільки тоді, коли до неї дійде співробітник, і весь цей час трафік іде марно.

Третій — пересортиця викладки: товар стоїть у правильній зоні, але не у своєму блоці, і формально полиця виглядає заповненою.

Точність розпізнавання викладки в такій схемі впирається не в старанність людини, а в пропускну здатність ока: звірити всі позиції за один прохід фізично неможливо, а порівняти стан полиці з минулим тижнем — тим паче. Чим ширший асортимент, тим більша частка фейсингів, які за зміну не перевіряли жодного разу.

Розбираємо, як це закривається: зйомка стелажа, прив’язка кадрів до планограми та автоматична звірка факту з еталоном замість ручних обходів залу.

Вимірний ефект: швидкість, повнота та класи відмов

Камера знімає полицю за секціями, модель зіставляє кадри з планограмою та віддає перелік розбіжностей за позиціями. Мерчандайзер приходить у зал з адресним списком, а не із загальним обходом — вибірковість перевірки зникає.

Час на перевірку

Ручна звірка секції обмежена тим, скільки людина встигає оглянути за зміну. Перенесення основної роботи на постобробку знімків скорочує перевірку до хвилин, і обходи стають щоденними без розширення штату.

Повнота виявлених порушень

Дефекти на кшталт перевернутого цінника або товару не у своєму блоці людина стійко пропускає.

Автоматизація перевірки викладки позначає кожну розбіжність координатами та оцінкою впевненості: частка виявлених порушень виходить на 0,9+ проти 0,6–0,7 за ручної звірки й не залежить від завантаженості ревізора.

Які класи помилок зникають

Зникає клас «помітили, але не зафіксували»: розбіжність потрапляє до журналу зі знімком і міткою часу, а повтори за однією точкою видно в динаміці. Оцінка перестає залежати від досвіду співробітника.

Що змінюється в метриках

Швидкість інвентаризації, контроль планограми та зниження частки повернень рахуємо на замірній вибірці до запуску — інакше ефект нічим підтвердити. Прив’язку позицій до GS1 за штрихкодами тримаємо окремим контуром перевірки.

Метрика До Після
Обхід точки з перевіркою планограми 40–60 хвилин 8–12 хвилин
Частка виявлених порушень викладки 0,6–0,7 0,9–0,95
Періодичність перевірки раз на тиждень щоденно
Повернення та списання через викладку базова частка −30%

Режими зйомки та варіанти розгортання системи

Зйомка полиці — найвужче місце в ланцюжку: чим рідший знімок, тим довше дефект викладки живе в залі непоміченим.

Режим зйомки задає одразу і якість кадру, і трудовитрати: стельовий огляд дає частоту, але залежить від світла та перекриттів, а обхід залу з терміналом — точний ракурс ціною часу співробітника.

Формати точок різняться геометрією, тому під кожен підбирається своя схема: широкий прохід у гіпермаркеті та вузький стелаж у магазину біля дому потребують різної кількості проходів і різної висоти підвісу.

Варіант Коли підходить Обмеження
Стаціонарна зйомка зі стельових камер Постійний контроль викладки, висока частота оновлення Перекриття покупцями та візками, чутливість до світла й кутів
Обхід залу з терміналом Щільна викладка та складна геометрія полиці Ручна праця, частота впирається в графік змін
Зйомка з візка Поєднання поповнення запасу та зйомки Гірше видно верхні яруси, прив’язка до маршруту поповнення
Гібридна схема зйомки Змішаний асортимент, зони різної прохідності Потрібна синхронізація ракурсів і зведення двох джерел

На практиці частіше виграє гібрид: камери тримають частоту по прохідних зонах, обхід закриває сліпі ділянки, а періодичні перевірки викладки підтверджують повноту.

Звести ці потоки в один звіт за товаром простіше, коли номенклатура описана єдиними ідентифікаторами GS1 — тоді розбіжності в назвах і фасуваннях не плутають звірку.

Як проходить впровадження: етапи інженерної роботи

Впровадження починається не з моделі, а з торгового залу: точність розпізнавання товарів на полицях визначається тим, як знято кадр. Тому перші етапи — обстеження та дані, і лише потім налаштування мережі. Нижче — послідовність, за якою проєкт іде від першого обходу залу до працюючої системи.

  1. Аудит торгового залу та точок зйомки. Фіксуємо типи стелажів, висоту полиць, освітлення, зони перекриття, звіряємо планограми. Результат — схема розміщення камер, за якої полиця потрапляє в кадр повністю.

  2. Розмітка даних для моделі. Знімаємо реальний потік, розмічаємо межі товарів та артикули. Окремими класами йдуть порожня полиця та рука покупця в кадрі — без них модель помиляється в живому залі.

  3. Налаштування розпізнавання об’єктів. Детекція плюс класифікація, пороги впевненості під задачу, дообучення на складних категоріях: відблиски, зім’ята упаковка, товар, повернутий лицем убік.

  4. Перевірка якості розпізнавання. Метрики рахуємо на відкладеній вибірці, окремо за полицею та за кожним артикулом, розбираємо пропуски й хибні спрацювання. Поріг приймання фіксуємо до старту.

  5. Зв’язка з обліковими даними. Зіставляємо розпізнані позиції з майстер-даними та планограмою — на виході не список об’єктів, а готовий звіт про викладку.

  6. Передача в експлуатацію. Розгортаємо систему, налаштовуємо моніторинг дрейфу та регламент дообучення, передаємо документацію й навчаємо команду замовника.

Що залишається у замовника: конфігурації, схеми, регламенти

Впровадження не вважається завершеним, доки система тримається лише на нашій команді. Тому в приймання входить пакет артефактів, за яким ваші інженери та персонал лінії працюють самостійно — без повторних виїздів і без звернення до нас за кожним уточненням.

  • Схема зон зйомки — прив’язка камер до стелажів, ракурси, перекриття ракурсів, вимоги до освітлення. За нею новий об’єкт розгортається за зразком, а не з нуля.
  • Інструкція зі зйомки — як викладати товар перед прогоном, порядок проходу, дистанція, що вважається браком кадру. Саме це дає зіставність даних місяць до місяця.
  • Документація щодо моделі — перелік розпізнаваних категорій, на яких даних навчалася, поріг впевненості, поведінка кадрів нижче порога, розбір типових помилок.
  • Політики доступу до даних — кому видно кадри та результати, строки зберігання, знеособлення, правила вивантаження, відкликання доступу при зміні співробітника.
  • Регламент роботи персоналу — хто і коли проводить зйомку, як фіксуються нерозпізнані позиції, кому надходить розбіжність і в який термін закривається.
  • Схема обміну з обліковою системою — формат вивантаження, розклад, поведінка при недоступності приймача.
  • Чек-лист приймання та план відкату — контрольні викладки із заздалегідь відомою відповіддю, допуски за точністю, порядок повернення до попередньої версії моделі.

Окремо передаємо журнал змін: що змінювалося в моделі, правилах і конфігурації камер. Передача перестає бути разовим актом — команда замовника бачить, чому система поводиться саме так.

Кейс: як зросла точність обліку викладки в мережі магазинів

Мережа магазинів формату «біля дому» тримала контроль викладки на ручних обходах: мерчандайзер проходив точку за 20-25 хвилин, закривав 8-10 адрес за зміну, а перевірки йшли раз на тиждень.

Порушення жили на полиці до наступного візиту, розбіжності з планограмою накопичувалися між перевірками, і вибірково вдавалося бачити не більше двох третин проблем.

Що зробили

Почали зі зйомки: співробітники фотографували полицю повністю на робочий телефон, ми розмічали межі упаковок, перекриття та розвернуті лицем позиції.

Модель на базі YOLO актуальної гілки навчили на цьому наборі, а поверх поставили звірку з планограмою: система зіставляє розпізнані позиції з еталоном категорії та віддає не список розбіжностей, а готову задачу — що і куди повернути на полиці.

Що змінилося

Частка виявлених порушень викладки на контрольній вибірці з 400 полиць зросла з 61% до 94%: еталон для заміру розмічали вручну, наосліп від системи.

Час перевірки однієї точки впав з 25 до 2-3 хвилин — співробітник знімає полицю та отримує результат на місці, ручні обходи скоротилися вчетверо й стали адресними: ідемо тільки туди, де система показала розбіжність.

Повнота викладки за категорією зросла з 88% до 96% за квартал, а хибні спрацювання — близько одного на дванадцять знімків — розбираються з телефона одним натисканням.

Розбір помилок повертається в розмітку, тому точність тримається й у нових магазинах мережі без перенавчання з нуля.

Чим відрізняється зйомка зверху від обходу залу з терміналом?

Режими різняться не камерою, а точкою зйомки і, як наслідок, тим, які помилки викладки вони фізично здатні помітити. Зйомка зверху — стаціонарні камери, які з інтервалом у кілька хвилин знімають ряди стелажів повністю та порівнюють кадр з еталонною планограмою.

Обхід залу з терміналом — ручний або на роботі-платформі: оператор іде маршрутом і знімає полиці впритул, позиція за позицією.

Верхній ракурс сильний там, де потрібна картина всього залу: частка заповненого поличного простору, порожнечі, з’їхала викладка, блоки одного бренду.

Він рахує за геометрією полиці, а не за конкретною упаковкою, тому не потребує еталонного фото на кожен артикул і не ламається при введенні новинок.

Слабке місце — дрібний текст і ціни: з висоти вони не читаються, а покупці, візки та відблиски перекривають помітну частину кадру в години пік.

Обхід закриває саме цю прогалину: ідентифікація позиції за штрихкодом стандарту GS1, ціна на ціннику, термін придатності, підміна однієї упаковки іншою в одному лиці полиці.

Зйомка впритул впевнено розрізняє схожі упаковки та сезонні варіанти, де оглядовий кадр дає неоднозначність.

Обмеження зворотне — покриття: маршрут фіксований, секції поза ним залишаються неперевіреними, а свіжість даних залежить від регламенту обходу, тобто від разу за зміну до разу на день.

На практиці режими не конкурують, а розподіляють ролі. Оглядовий контур працює тригером: фіксує аномалію на конкретному стелажі та ставить задачу на перевірку, а обхід закриває її точково, за потрібними рядами, а не за всією площею. Це знімає більшу частину ручного проходу, зберігаючи точність за позиціями та цінами.

Вибір режиму впирається в метраж залу, кількість товарних позицій, потрібну частоту оновлення та те, чи потрібно контролювати ціни й терміни придатності.

Якщо потрібен лише контроль наповненості — достатньо верхнього огляду; якщо є цінові розбіжності та терміни — без обходу не обійтися.

Комбінація дає повне покриття та низький клас помилок, але потребує синхронізації координат полиці між обома контурами — це окрема частина налаштування.

Технічні сумніви: інтеграції, навантаження, якість даних

Технічні сумніви зазвичай стосуються не самого розпізнавання, а того, як воно живе в контурі магазину: облікова система, мережа залу, зміни планограми. Нижче — відповіді на чотири питання, які найчастіше піднімають на обговоренні.

Як рішення стикується з обліковою системою і що доведеться змінювати на нашому боці?

Облікова система залишається джерелом істини: з неї беремо номенклатуру, штрихкоди та чинну планограму, назад віддаємо факт викладки й розбіжності.

Обмін іде через окремий сервіс-посередник, тому правки в самій обліковій системі мінімальні — частіше достатньо регулярного вивантаження. Якщо вона недоступна, результати зйомки чекають у локальній черзі та надходять після відновлення зв’язку.

Як розрізняються схожі упаковки однієї лінійки?

Найскладніше — сусідні позиції одного виробника: однакова форма й колір, різняться смаком або вагою. Такі пари додаємо в навчальну вибірку окремо й перевіряємо на кадрах із перекритою викладкою, де видно лише бічну грань. Спірні розпізнавання не вгадуються, а позначаються й надходять на перевірку співробітнику.

Чи витримає мережа магазину навантаження від зйомки?

Зйомка йде з мобільного пристрою співробітника: кадри стискаються на місці й надходять пакетом у вікно низького навантаження. За слабкого каналу пристрій працює автономно й досилає дані пізніше.

Широкий канал не потрібен, фотозйомка не заважає касовому обладнанню й не потребує окремої мережі в залі.

Що відбувається після зміни планограми?

Повне перенавчання після кожної перестановки не потрібне: модель дообучається на нових кадрах, а планограма надходить з облікової системи як довідник. Штатна ротація полиці вкладається у звичайний цикл зйомки, перебудова категорії — в окремий короткий етап дообучення.

Обговоримо вашу задачу: з чого почати

Розмова про розпізнавання товарів на полицях починається не з вибору моделі, а з даних про вашу роздрібну торгівлю.

Чим точніше на вході описано зал, товарні групи та облікову систему, тим швидше ми повернемося з планом і оцінкою — без припущень, які зазвичай випливають уже на етапі впровадження.

Що корисно підготувати до першої зустрічі:

  • Схему залу або планограму: кількість стелажів, висоту полиць, зони з поганим світлом і холодильники зі склом.
  • Список товарних груп із фото типової викладки — по кілька знімків на групу з різних ракурсів.
  • Склад облікової системи: вивантаження номенклатури, наявність артикулів і штрихкодів, прив’язку позиції до місця на полиці.
  • Опис парку зйомки: камера на візку, робот, стаціонарні модулі або зйомка на телефон співробітника.
  • Вимоги до вихідних даних: залишок на полиці, частка полиці, відсутність позиції, розбіжність ціни з цінником.
  • Обмеження за контуром: де допустимо зберігати й обробляти зображення — локальний сервер або хмара.

Після розбору фіксуємо план робіт і оцінку, запускаємо пілот на одній точці та заміряємо точність на вашій викладці, а не на синтетиці.

Якщо метрики сходяться, розширюємо на мережу та передаємо в експлуатацію: інструкції для персоналу, регламент дообучення й контроль якості розпізнавання.

Опишіть задачу у вільній формі — повернемося з оцінкою та планом.

Напрямки AI-розробки

Останні роботи

  • Розробка сайту компанії B2B ADVANCE
    Розробка сайту компанії B2B ADVANCE
    1543
  • Розробка веб-додатків для компанії FEEDME
    Розробка веб-додатків для компанії FEEDME
    1394
  • Розробка веб-сайту для компанії БЕЛФІНГРУП
    Розробка веб-сайту для компанії БЕЛФІНГРУП
    1081
  • Розробка інтернет магазину для компанії FURNORO
    Розробка інтернет магазину для компанії FURNORO
    1374
  • Розробка логотипу компанії B2B Advance
    Розробка логотипу компанії B2B Advance
    816
  • Розробка веб-додатків для компанії Enviok
    Розробка веб-додатків для компанії Enviok
    1142