Комп'ютерний зір роботів: де втрачається точність захоплення
Промисловий зір відмовляє рідко «цілком» — він зривається точково, на конкретних деталях і за конкретних умов. Маніпулятор упевнено бере заготовку з першої партії, а на наступній або хапає її за фаску, або йде в аварію через недобір.
Частка браку при цьому зростає не лінійно: один пропущений дефект змінює поріг налаштування, і лінія починає вважати нестабільне розпізнавання нормою.
Три джерела збоїв захоплення повторюються найчастіше. Відблиски від мастила й антикорозійного покриття дають засвітлення, контур деталі «пливе», і класифікатор плутає придатну заготовку з дефектною.
Дрейф калібрування — від вібрації, тепла або підміни об'єктива — зсуває систему координат; у пікселях це частки, на захваті — уже промах у центруванні. Різна геометрія партії ламає поріг упевненості, підібраний на одній вибірці, і в потік ідуть хибні спрацювання.
Ціна — простій лінії, а не лише брак. Хибне спрацювання зупиняє подачу, оператор знімає деталь вручну й перезапускає цикл, втрачаючи темп і достовірність статистики.
Розмітка даних при цьому виявляється вузьким місцем: поки інженери вручну обводять кромки на сотнях кадрів, обладнання вже стоїть, а модель, навчена на ідеальних зразках, на реальних відблисках і задирках поводиться гірше за випадковий поріг.
Гіпотези тут перевіряються на OpenCV, але однією бібліотекою розрив між лабораторним кадром і цехом не закривається — розбираємо, як це закривається по порядку.
Вимірюваний ефект: точність, темп лінії, частка браку
Перший показник — частка пропущеного браку на відкладеній вибірці, яку модель не бачила під час навчання.
Рахуємо її окремо за кожним типом дефекту, а не одним числом: загальна точність розпізнавання дефектів усереднює картину й приховує рідкісний, але дорогий клас, на якому лінія втрачає найбільше.
Другий — повторюваність між змінами. Один і той самий дефект у денну та нічну зміну має отримувати однаковий вердикт, тому розкид перевіряємо на еталонному наборі кадрів: до й після перекалібрування камери, зміни освітлення, заміни об'єктива та профілактики обладнання.
Третій — час циклу. Обробка кадру має вкладатися в такт лінії, інакше зір сам стає вузьким місцем конвеєра.
Висновок робиться на контролері поруч із камерою, а не у віддаленому центрі, і заміряємо ми не лише час на кадр, а й затримку від знімання до сигналу відбракування — саме вона визначає, чи встигне маніпулятор прибрати деталь.
Четвертий — кількість ручних переперевірок. Рахуємо частку кадрів, які йдуть оператору на підтвердження: поріг упевненості налаштовуємо так, щоб спірні випадки віддавалися людині, а однозначні відбраковувалися автоматично.
Ручний контроль скорочується, але не за рахунок зростання пропусків — ці два показники дивимося тільки разом.
П'ятий — швидкість введення нової номенклатури. Окремо фіксуємо, скільки зразків придатних деталей і дефектів потрібно на нову позицію та за який строк перенавчання моделі виводить її в серію без зупинки лінії.
Порівняння підходів: локальний контур, хмара, гібрид
Контур контролю на лінії збирають кількома способами, і вибирають між ними не за модністю технології, а за тактом конвеєра, стабільністю каналу зв'язку та тим, наскільки деталь відрізняється від типової.
У всіх варіантах результат іде в наявну систему керування лінії — відрізняється лише місце, де живе модель, і швидкість, з якою її можна виправити.
| Варіант | Коли підходить | Обмеження |
|---|---|---|
| Готова платформа з попередньо навченими моделями | Типові деталі та класи дефектів із каталогу, потрібен швидкий запуск на одній лінії | Нестандартну деталь не бере: налаштовуються лише пороги й зони, донавчання під деталь недоступне |
| Локальний контур | Жорсткий такт конвеєра, закрита мережа, зображення не можна виводити за межі цеху | Обчислювальний вузол біля кожної лінії, оновлення моделей лише з доступом до обладнання |
| Хмарна обробка | Багато майданчиків, рідкісні події, потрібна єдина статистика та швидка правка моделі | Залежність від каналу: при обриві контроль зупиняється, а винесення зображень назовні потребує погоджень |
| Гібридна схема | Критичні перевірки — на лінії, аналітика й навчання — у центрі | Два середовища супроводу, версіонування моделей і регламент їхньої розсинхронізації |
Як вибирати
Вибір рідко буває остаточним. Зазвичай пілот піднімають на готовій платформі, потім критичні перевірки переносять у локальний контур, а донавчання під конкретну деталь ведуть у центрі на накопиченій вибірці.
Ми проєктуємо схему відразу так, щоб перехід між варіантами не вимагав переписувати стикування з лінією.
Етапи впровадження: від аудиту лінії до передачі зміни
Порядок етапів не випадковий: якщо навчати модель до аудиту лінії, вибірка виявиться не про ті дефекти, які реально доходять до оператора, і система буде впевнено ловити не те. Нижче — як виглядає робота від першого виїзду на дільницю до передачі зміни.
- Аудит лінії. Такт, зони подачі, освітлення, стабільність позиції деталі; фіксуємо, що ловить оператор, а що йде далі потоком.
- Схема контуру. Точки встановлення камер, підсвічування, дистанція знімання, синхронізація з контролером робота — за яким сигналом знімаємо кадр і як віддаємо рішення «придатний/брак».
- Розмітка вибірки. Кадри за всіма позиціями та режимами; рідкісні класи добираємо окремо й не даємо їм потонути. Спірні рамки перевіряють двоє, розбіжності розбираємо до навчання.
- Навчання й налаштування порогів. Поріг вибираємо за кривою на відкладеній частині вибірки, пріоритет — хибним пропускам: пропущений дефект дорожчий за зайву зупинку.
- Перевірка на лінії. Прогін на реальному такті, зміна-еталон, замір за позиціями: упіймано дефектів, хибних спрацювань на зміну, де втручається оператор.
- Приймання на лінії та передача регламентів. Фіксуємо показники, віддаємо конфігурації, регламент обслуговування й процедуру перенавчання на нових дефектах з відкатом на попередню версію.
Після передачі зміни контур залишається прозорим: зрозуміло, хто і за яким регламентом донавчає систему та як у неї потрапляють нові класи дефектів.
Комплект постачання: конфігурації, моделі, регламенти
Комплект постачання — це не лише працюючий модуль розпізнавання, а й усе, що потрібно вашій команді, щоб супроводжувати його власними силами.
Артефакти передаємо окремо: конфігурації окремо від ваг моделі, схема інтеграції окремо від коду обробки кадрів — так будь-яку частину можна замінити, не перезбираючи систему цілком.
Що залишається у замовника після здачі:
- Файли конфігурацій: витримка та підсилення камер, геометрія зони знімання, пороги впевненості за кожним класом дефекту — у текстовому вигляді, з коментарями про те, що і навіщо змінювалося під час налаштування.
- Навчена модель: зафіксована версія ваг, склад і розмітка навчальної вибірки, звіт за метриками — повнота й точність за класами, матриця помилок, частка пропусків на відкладених кадрах.
- Схема інтеграції: точки підключення до контролера робота й конвеєра, формати обміну сигналами «придатний/брак» і координатами захоплення, часові затримки, логіка блокувань при втраті кадру.
- Політики доступу: ролі оператора, налагоджувача й адміністратора; хто має право змінювати пороги, хто — завантажувати нову версію моделі; журнал змін і зберігання знімків спірних деталей.
- Регламент перенавчання: на яких даних і з якою періодичністю донавчати, як перевіряти нову версію на відкладеній вибірці, за якими критеріями відкочуватися на попередню.
- Інструкції для зміни й налагоджувача: калібрування, налаштування освітлення й фокуса, типові несправності та порядок дій.
- Протокол приймання: тестові сценарії, набори кадрів і зафіксовані результати, за якими звіряють якість у спірних ситуаціях.
Кожен пункт — робочий документ, а не додаток до звіту: за ним ваша служба супроводу вводить систему в дію та розвиває її без нас.
Кейс: частка пропущеного браку знизилася вчетверо
До і що змінили
Дільниця складання випускала дрібні вузли, контроль тримався на вибірковому огляді: оператор дивився кожну п'яту деталь на моніторі й вирішував «придатна / не придатна».
Частка пропущеного браку сягала 0,8 % партії й спливала вже у замовника, а між змінами розбіжності щодо спірних деталей сягали кількох відсотків — ранкова зміна бракувала те, що вечірня пропускала.
Розмітили дефекти за класами, окремо винесли пограничні — подряпину, недоштампування, зміщення.
Стенд зібрали на промислових камерах Basler, підсвічування прив'язали до такту лінії, а розпізнавання навчили на реальних знімках усіх трьох змін і доповнили нормалізацією за освітленням: рішення перестало залежати від того, хто і коли вмикає світло на дільниці.
Що стало
Заміри до й після: частка пропущеного браку — 0,2 % проти 0,8 %, вчетверо менше.
Ручні переперевірки скоротилися з кожної деталі до 10-15 % на спірних класах, а повторюваність між змінами зросла — розбіжність рішень пішла в межі 0,5 %, бо пороги й версія моделі тепер одні на всю дільницю, а не свої в кожного оператора.
На робочий режим вийшли за три тижні: тиждень на розмітку й калібрування, два — на навчання та щоденний розбір хибних спрацювань.
Керівник напряму складання: «Спірну деталь раніше забирали й дивилися під лупою. Тепер рішення ухвалюється на такті, а до кінця зміни є вибірка, за якою видно, де ми помилилися».
Що робити, якщо робот уже оснащений камерами?
Спочатку знімаємо з уже розгорнутих камер архівний потік і проганяємо його через поточну модель поза роботом — стає видно, чи вистачає оптики й підсвічування, без зупинки циклу.
Якщо деталі впевнено детектуються на цих кадрах, сенсорний парк використовується повторно цілком, змінюється лише обчислювач. Виняток — камери з аналоговим виходом або закритим драйвером виробника: їх переводимо на стандартний інтерфейс.
Далі вирішуємо сумісність з керуючим контуром. Робот отримує не «команду від нейромережі», а координати й клас об'єкта в системі координат комірки: перерахунок робить окремий модуль, а уставки йдуть у контролер тими самими сигналами й з тією самою логікою безпеки, що й раніше. Для налагоджувачів контур залишається передбачуваним.
| Варіант | Коли підходить | Обмеження |
|---|---|---|
| Камери й оптика залишаються | Деталі детектуються на архівних кадрах | Потрібен зовнішній обчислювач, якщо контролер не тягне модель |
| Змінюємо оптику й підсвічування | Брак через відблиски та низьку контрастність | Перекалібрування комірки, повторна розмітка еталонів |
| Змінюємо сенсорний контур | Аналоговий вихід, закритий драйвер, немає синхронізації | Простій лінії на монтаж і перезбирання еталонів |
Перенесення моделі — найчутливіший етап. Ваги вивантажуємо у відкритий проміжний формат (ONNX), щоб не залежати від попереднього обчислювача й запускати модель без перенавчання.
Потім калібрування: прив'язка пікселів до координат маніпулятора за еталонною деталлю та перевірка в 20–30 положеннях робочої зони — критерій приймання тут повторюваність влучання, а не картинка на екрані.
Замикає роботу обв'язка: логування спрацювань, відкат на попередній алгоритм одним перемиканням режиму й донавчання в міру зношування оптики. Так контур модернізується без перезбирання системи з нуля.
Технічні сумніви: освітлення, відблиски, зміна номенклатури
Інженерні сумніви на таких проєктах стосуються не моделі, а умов експлуатації. Нижче — відповіді на питання, які найчастіше лунають на технічному погодженні.
Що буде при зміні освітлення та відблисках?
Поляризація, підсвічування із синхронізацією за кадром і фіксована експозиція — автоматика камери починає «плавати» саме на відблисках. Модель навчаємо на кадрах різних змін та із засвітленням від сусіднього обладнання.
Що покаже система на новій номенклатурі?
Рахуємо впевненість і віддаємо деталь на ручний контроль замість хибного відбракування. Кількох десятків розмічених кадрів нової деталі достатньо, щоб донавчити модель на місці.
Чи доведеться зупиняти лінію?
Монтаж іде в технологічні вікна та перезмінки. Спочатку система працює в тіньовому режимі: рахує рішення, але не керує відбракуванням, поки збіг з оператором не підтвердиться статистикою.
Хто відповідає за якість розмітки?
Ми: схема класів, правила спірних кадрів, перехресна перевірка й метрика згоди розмітників. Розмітка залишається частиною комплекту, що здається, а не разовим матеріалом.
Що входить у передачу рішення?
Ваги моделей, конфігурації камер і підсвічування, скрипти донавчання, регламент приймання нової номенклатури й навчання ваших інженерів. Далі рішення живе без нашої постійної участі.
Обговоримо задачу: що підготувати для оцінки
Оцінка системи машинного зору впирається не в алгоритми, а у вихідні дані про дільницю. Чим точніше ви опишете лінію та деталі, тим менше припущень у розрахунку й тим раніше ми назвемо реальні строки етапів. Нижче — ввідні, які закривають більшу частину питань ще до виїзду на виробництво.
- Схема дільниці: де стоїть робот, як деталь подається та знімається, куди її несе далі.
- Зразки деталей: десяток придатних і стільки ж бракованих — з типовими й рідкісними дефектами, включно зі спірними випадками, які зараз вирішує людина.
- Поточні причини браку: що саме пропускає наявний контроль, у якій частці випадків і як це фіксується.
- Вимоги до темпу: скільки деталей проходить лінію і яка затримка на розпізнавання допустима, щоб робот не простоював.
- Обмеження щодо монтажу: доступні точки під камери й підсвічування, вібрації, стружка, пил, мийка, перепади освітлення в цеху.
- Доступ до лінії: вікно, коли можна зняти потік і провести заміри без зупинки виробництва.
- Куди віддаємо результат: контролер робота, система керування дільницею або журнал браку — що ухвалює рішення і що просто логує.
- Строки етапів: до якої дати потрібен дослідний зразок на лінії і коли планується серійний запуск.
Надішліть те, що є, — навіть чернетку опису дільниці та кілька фотографій деталей. Обговоримо задачу, уточнимо відсутнє й повернемося з оцінкою та планом: схема встановлення, перелік перевірок, які закриє зір, і строки етапів.
