Видалення об’єктів із відео: де ламається якість
Видалення об’єктів із відео — це не «стерти предмет і залити пляму». Маска рахується покадрово, а між кадрами об’єкт змінює форму, перекриває фон і сам потрапляє в чужі перекриття. Саме на стику кадрів і ламається результат.
Перший клас провалів — артефакти маски. Жорсткий поріг зрізає напівпрозорі краї: волосся, дим, тінь під предметом перетворюються на рвану межу з фоном. М’який поріг залишає напівпрозорий ореол, і після відновлення фон навколо об’єкта виглядає замиленим.
Другий — тремтіння контуру. Маска на сусідніх кадрах розходиться на лічені пікселі, і під час відтворення край «кипить»: він живе своїм життям, хоча камера стоїть. Причина в тому, що кадри обробляються окремо, без урахування часової зв’язності та руху камери.
Третій — шлейф за об’єктом. На кадрах, де предмет уже пішов, у масці залишається його слід від попередніх перекриттів, і відновлювач тягне напівпрозорий відбиток по фону.
Четвертий — руйнування фону й текстури: трава, вода, паркет, повторюваний орнамент затягуються із сусідніх кадрів і перетворюються на пластикову пляму з порушеною перспективою.
Кожен із цих дефектів лікується не «сильнішою моделлю», а зв’язкою: як будується маска, як вона згладжується в часі, чим закривається вирізана ділянка і як перевіряється результат. Розбираємо, як це закривається.
Що змінюється у відзнятому матеріалі після обробки
Обробка змінює не окремі кадри, а властивості всього матеріалу.
Замість ручного обведення й замазування кожного плану сцена проходить нейромережевий перерахунок, і далі ми рахуємо вже не «красиво чи ні», а частку кадрів із дефектами, час підготовки сцени та кількість повторних проходів по тому самому фрагменту.
Дефекти зникають цілим класом
Ручна маска залишала впізнаваний набір артефактів: розмиту пляму на місці об’єкта, тремтливу межу, напівпрозорий слід під час руху камери.
Перерахунок кадру збирає фон із сусідніх кадрів, а не закриває його латкою, тому клас «помітна правка» зникає цілком — межа не розсипається на панорамі й не «дихає» на статиці.
Частка браку за кадрами
Під час обведення вручну на доведення йде приблизно кожен четвертий-п’ятий кадр: десь маска зірвалася на перекритті, десь об’єкт зачепив сусідню деталь.
Після перерахунку на доопрацювання залишаються одиничні відсотки — складні перекриття та дзеркальні поверхні, де фон фізично нема чим відновити.
Швидкість підготовки сцени
Обробка йде пакетом по всій послідовності: кілька хвилин матеріалу рахуються годинами на виділеному вузлі замість днів ручної роботи, і прогін ставиться на ніч.
Уранці сцена готова до монтажу, а повторний прохід потрібен лише за зміни задачі — наприклад, якщо видаляти треба вже інший об’єкт.
Якість перерахунку кадру
<cite>SAM2</cite> будує маску за контуром об’єкта й утримує її між кадрами, тому перерахунок іде строго по межі й не з’їдає сусідні деталі: текст на фоні, тонкі лінії, напівпрозорі предмети залишаються на місці.
Способи очищення кадру: порівняння підходів і режимів
Вибір способу очищення кадру визначається не складністю об’єкта, а тим, наскільки передбачуваний фон під ним. Там, де перекриття коротке й фон статичний, досить автоматичної маски — сегментація за кадрами тримає об’єкт, а фон добудовується за сусідніми кадрами.
Там, де об’єкт закриває унікальну текстуру або перетинає обличчя, автоматика дає артефакти, і без ручного доведення результат в ефір не виходить.
Нижче — чотири варіанти, між якими реально обирають на старті проєкту. Вони відрізняються обсягом ручної праці, стійкістю на русі та тим, що робити, якщо об’єкт повернеться в кадр на наступному плані.
| Варіант | Коли підходить | Обмеження |
|---|---|---|
| Автоматична маска | Короткі перекриття, статичний або повторюваний фон, чітка межа об’єкта | Збоїть на волоссі, відображеннях і напівпрозорих краях — потрібен контроль за кадрами |
| Гібрид: автоматична маска + ручне доведення | Архів і готова зйомка, де перезйомка неможлива; об’єкт проходить крізь текст або обличчя | Час зростає пропорційно до кількості спірних кадрів, потрібен покадровий перегляд |
| Маскування в монтажі (перекадрування, перекриття графікою) | Об’єкт біля краю кадру, є запас за композицією | Змінює композицію, не працює за руху камери та об’єкта в центрі |
| Перезйомка сцени з перерахунком фону | Статична сцена, повторюване світло, є доступ на майданчик | Не підходить для архівного матеріалу; потрібен збіг оптики та світла |
Режим обробки фіксуємо до початку роботи, а не по ходу: перевіряємо, скільки кадрів об’єкт перекриває підряд, чи є під ним унікальна текстура і як рухається камера. Це знімає головний ризик — коли за тиждень з’ясовується, що половину сцени потрібно перераховувати заново.
Як будується робота: етапи обробки та перевірки
Видалення об’єкта ламається не на окремому кадрі, а на стиках: маска дрейфує, фон починає мерехтіти, за межею об’єкта залишається ореол. Тому робота йде за етапами з перевіркою на контрольних сценах — дефект знаходиться до того, як перезібрано весь масив.
- Аудит матеріалу. Дивимося вихідники цілком: рух камери, зміни планів і освітлення, перетини об’єкта з людьми. На виході — карта проблемних ділянок і чесна оцінка, де потрібне домальовування фону.
- Схема обробки за сценами. Для кожної сцени обираємо режим: статична маска, стеження за об’єктом за рухом або відновлення фону за сусідніми кадрами. Схему узгоджуємо до запуску — правки тут коштують години, після прогону — дні.
- Налаштування моделей. Параметри маски та часового вікна підбираємо під зерно, шум і стиснення вихідника, щоб текстури фону переносилися без залипання.
- Перевірка на контрольних сценах. 3–5 найскладніших фрагментів дивимося покадрово: мерехтіння фону, тремтіння меж, залишкові сліди. Лише після чистого проходження запускаємо весь масив.
- Пакетна обробка. Прогін іде із зафіксованими налаштуваннями та збереженням вихідників — будь-яку ділянку можна перезібрати точково.
- Приймання результату. Порівнюємо до і після на контрольних сценах, ведемо журнал змін і залишаємо відкат до вихідників.
- Передача та навчання команди. Віддаємо налаштування й регламент, розбираємо типові помилки — щоб типові задачі ваша команда проганяла сама.
Пакет результатів: маски, проєкти та регламенти
Віддаємо не лише готовий ролик. Разом із ним замовник отримує робочий проєкт обробки, шари масок і опис налаштувань — за ними задачу можна перезапустити на новому матеріалі або продовжити своїми силами, не відновлюючи логіку заново.
Що входить у пакет передачі:
- Проєкт обробки — вихідний матеріал, монтажна послідовність, ключові кадри та точки трекінгу в одному файлі. Відкривається тим самим редактором, у якому працювали ми, без ручного підганяння.
- Шари масок об’єктів — окремий шар на кожен об’єкт, а не зведена маска на весь кадр. Потрібно повернути один об’єкт — правиться лише його шар, решта залишаються недоторканими.
- Проміжні дані — секвенції масок за кадрами та результат після відновлення фону. Фінальну збірку можна перезібрати, не повторюючи прохід по масках.
- Опис налаштувань — які параметри підбиралися під цей матеріал і чому: чутливість до меж об’єкта, згладжування країв, пороги за перекриттями.
- Регламент повторного запуску — покроковий порядок: як підняти проєкт, які перевірки зробити до запуску і як зрозуміти, що маска поїхала на складному кадрі.
- Інструкція з передачі матеріалу — які вихідники потрібні, як їх готувати і в якому вигляді віддавати підряднику або внутрішній команді.
- Контрольні кадри приймання — вибірка кадрів із найскладнішим перекриттям, за якою видно, що результат відтворюється, а не тримається на одному вдалому проході.
Окремо фіксуємо, які ділянки оброблені впевнено, а де залишилося ручне доведення. Це знімає головний ризик передачі: у замовника залишається не «магія автора», а відтворюваний набір файлів, правил і налаштувань.
Кейс: очищення рекламного ролика від зайвих людей
Ролик тримався на одному довгому проході камери: герой іде вулицею, за спиною — щільний натовп. За сценарієм у кадрі залишаються двоє, решту потрібно прибрати разом із тінями на асфальті та відображеннями у вітринах.
Як було: ручне зачищення кадрів
Сцену закривали ротоскопом: художник обводив силует у кожному кадрі й вручну домальовував фон під ним. Із 12 сцен із натовпом 9 ішли на ручне доведення, а три знімалися з монтажу як невиправні.
Один прохід по сцені займав 5–6 годин, і до чверті кадрів поверталося на переробку — межі масок «пливли» на русі, а відновлений фон відрізнявся за зерном.
Як стало: маскування та відновлення фону
Задачу розвели на два незалежні етапи: виділення об’єкта за маскою та відновлення фону за сусідніми кадрами на основі ProPainter. Маска правиться один раз на ключовому кадрі й переноситься по сцені, тому ручна робота зводиться до перевірки меж, а не до покадрового обведення.
Після зміни підходу вручну правилися 2 сцени замість 9, прохід однієї сцени скоротився до 40–50 хвилин, а частка кадрів із видимими дефектами впала з чверті до одиничних випадків. Усі 12 сцен залишилися в ролику — три спірні повернулися з відбракування.
Команда отримала відтворюваний порядок: однакові дії для будь-якої сцени з натовпом, передбачувана перевірка на виході та зрозуміла точка відкату, якщо маска лягла невірно.
Чим відрізняється видалення об’єктів від маскування в монтажі?
Маскування в монтажі нічого не перераховує: поверх кадру кладеться плашка, розмиття або логотип, а вихідні пікселі під ними залишаються на місці. Звідси й обмеження — маска живе рівно стільки, скільки об’єкт видно в кадрі.
Варто об’єкту зміститися або камері поїхати, її доводиться перемальовувати вручну, а під нею, як і раніше, «дірка», яку нема чим заповнити.
Видалення об’єктів ставить задачу інакше: елемент має зникнути з кадру, а відновлення фону — добудувати те, що було за ним.
Робота йде ланцюжком: модель сегментації (SAM 2) знімає маску об’єкта за одним-двома кліками й веде її за кадрами, далі алгоритм перераховує пікселі, спираючись на сусідні кадри, рух камери та паралакс між шарами сцени.
Різниця підходів найкраще видно на помилках. Маскування помиляється помітно й передбачувано: тремтливий край, об’єкт виліз за межі плашки, не той відтінок.
Перерахунок помиляється тихіше й дорожче — розмита текстура на місці об’єкта, «залипання» пікселів, розмноження дрібних деталей на швидкому русі.
Звідси й різний контроль якості: маску в монтажі перевіряють за епізодами, перерахунок — покадрово, дивлячись на межі маски, стабільність фону, відсутність мерехтіння та видимих швів.
Вибір підказує роль об’єкта в сцені. Статична перешкода в куті кадру швидше й точніше закривається маскою; об’єкт, який входить у кадр, рухається й відображається в склі, потребує повного відновлення фону — інакше слід монтажу читається відразу.
Часті сумніви щодо перерахунку кадрів і артефактів
Артефакти перерахунку майже завжди пов’язані з браком контексту: об’єкт, який видаляється, перекриває ділянку фону, і відновити його можна лише за сусідніми кадрами.
Чим менше кадрів бачать цю ділянку і чим швидше рухається камера, тим вищий шанс розмитих плям, «дихаючих» меж і повторів текстури.
Якість вихідників задає стелю результату: стиснення, шум і змаз під час руху алгоритм переносить на відновлену ділянку. Нижче — заперечення, які найчастіше чуємо на прийманні.
На рухомому об’єкті видно слід видаленого предмета — це брак?
Радше брак контексту: якщо предмет перекривав перехожого, його пікселів немає в жодному кадрі, і відновлення йде за траєкторією. На перетинах інженер править маску покадрово — звужує ділянку й додає опорні кадри, поки слід не зникне.
Вихідники знято з рук, камера їде й шумить — візьметеся?
Компенсація руху камери та придушення шуму йдуть до основного розрахунку: кадри вирівнюються за опорними точками, маска переноситься за траєкторією. Стелю задає якість фону — за сильного стиснення обіцяємо «не гірше за оточення», а не відновлення втраченої текстури.
Чи зможемо доопрацювати результат своїми силами?
Так. Віддаємо покадрову послідовність і зібраний файл без повторного стиснення плюс маски за шарами — правки вносяться у звичному редакторі. Якщо зручніше, доопрацювання зробимо ми: опишіть, що саме не влаштувало в конкретному фрагменті.
Обговоримо задачу: що надіслати і як почнемо роботу
Щоб повернутися з оцінкою та планом робіт, нам достатньо вихідного матеріалу й короткого опису задачі. Надішліть посилання на файл у хмарі або на диску, два-три приклади проблемних сцен із таймкодами та одне речення про те, яким має бути результат.
Цього достатньо, щоб оцінити обсяг, обрати схему обробки й назвати строки — без довгого листування та проміжних дзвінків.
Що корисно додати до запиту:
- Вихідний матеріал — оригінальний файл без повторного стиснення: чим менше перекодувань до нас, тим чистіші межі об’єкта й менше артефактів у готовому кадрі.
- Таймкоди проблемних сцен — де об’єкт перекриває обличчя або іншу людину, де він частково виходить за кадр, а де його закриває фон.
- Список об’єктів — що саме прибираємо: статичний предмет, перехожий, логотип, відображення чи тінь. Тіні та відображення вважаються окремою задачею, їх краще вказати відразу.
- Бажаний результат — куди піде відео: реклама, навчальний курс, соцмережі. Від цього залежить, наскільки щільно чистимо кожен кадр і чи потрібна правка фону.
- Пріоритети за строками — який епізод потрібен першим, а що може піти в чергу.
- Спосіб передачі — якщо матеріал лежить у закритому сховищі, заздалегідь домовимося про канал і доступи.
На вступних ми повертаємося з оцінкою та планом робіт: розбивка за сценами, схема підготовки масок, етапи та точки, де ви дивитеся проміжний результат. Опишіть задачу — обговоримо деталі й запропонуємо порядок роботи.
