ШІ-колоризація чорно-білих зображень з DeOldify та Stable Diffusion

AI-колоризація архівних кадрів: де розривається потік

Архів оцифровано, кадри пронумеровано — і на цьому рівна частина закінчується. Покадрова колоризація чорно-білих зображень через DeOldify і Stable Diffusion дає переконливий результат на одиночному кадрі: обличчя, небо й рослинність виглядають природно.

Але коли кадрів тисячі, окремий успіх перестає щось означати — значення має лише те, наскільки рівно колір іде по всьому матеріалу.

Кольорові артефакти проявляються саме на потоці. Модель добудовує відтінок за яскравістю й контекстом, тому на малоконтрастних ділянках і на стиках сцен з’являються зелені та фіолетові плями, а по контурах об’єктів — ореоли.

Баланс кольору між сусідніми кадрами розповзається, і в русі це читається як мерехтіння: глядач бачить не хроніку, а нестабільну картинку.

Вузьке місце тут не в самій моделі, а у відсутності часової узгодженості та єдиної кольорової політики. Кожен кадр рахується незалежно: немає опорного кадру сцени, немає калібрування за референсом, немає перевірки на стрибок відтінку між сусідніми кадрами.

Ручна правка результат витягує, але час зростає разом з обсягом — під час відновлення архівних кадрів це перше, що перестає масштабуватися.

Розбираємо, як це закривається: як збирається конвеєр пакетної обробки зображень, де ставиться контроль стабільності кольору за сценами і як переробляти лише проблемні кадри, а не проганяти весь матеріал заново.

Вимірюваний ефект: швидкість, частка ручної правки, стабільність

Покадрова колоризація впирається в ручну працю: один прогін на кадр, очима переглядаємо результат, спірні кадри правимо в редакторі. Керований конвеєр перетворює це на потік — черга завдань, пакети за сценами, паралельна обробка й автоматичний контроль якості на виході.

Пропускна здатність зростає з одиниць кадрів на годину до тисяч на добу, і вузьким місцем стає вже не модель, а приймання результату.

Частка ручного доопрацювання — друга метрика, яка визначає, чи окупається архів. За кожним кадром рахується впевненість моделі та розходження з палітрою сцени; усе, що нижче порогу, автоматично йде в окрему чергу на правку.

На типовому матеріалі частка таких кадрів падає з третини до кількох відсотків, і правки стають точковими — шкіра, небо, документи, а не весь кадр.

Стабільність кольору сцени тримається на тому, що обробка йде не кадр за кадром, а цілими сценами. Архів розрізається на сцени, для кожної вибирається опорний кадр, його палітра переноситься на сусідні, а межі згладжуються.

Так іде цілий клас відмов на кшталт «пливучого» кольору й мерехтіння відтінку всередині сцени — через них раніше бракували цілі епізоди.

DeOldify у такій схемі дає швидкий чорновий прохід і базову палітру, уточнювальна дифузійна модель доводить деталі.

Сенс не в конкретній моделі, а в контурі навколо неї: на виході замовник отримує не папку з картинками, а звіт про те, скільки кадрів пройшло автоматично і де стабільність кольору потребувала втручання інженера.

Підходи до обробки архівних кадрів: порівняння режимів

Режим вибирають не за розміром архіву, а за однорідністю корпусу та ціною помилки на конкретному кадрі. Пакетна обробка дешевша в перерахунку на кадр, але збій моделі розмножується на все вивантаження. Обробка за запитом дає контроль на кожному кроці, зате майже не масштабується.

Нижче — чотири режими колоризації, між якими реально вибирають на проєктах. Критерій один: чи є еталон, за яким можна перевірити колір.

Порівняння режимів колоризації

На пілоті беруть 20–50 характерних кадрів і проганяють через два-три режими — розходження за кольором шкіри, неба та форменого одягу видно відразу. Далі режим фіксується документально, а для повторюваних сюжетів додається донавчання моделі на власному наборі.

Як будується конвеєр: етапи впровадження та перевірки

Колоризація архіву — не разовий прогін файлів через модель, а конвеєр із контрольними точками. На кожному кроці залишається артефакт: карта фонду, набір налаштувань, еталонна вибірка — за ними видно, що змінилося, якщо результат поїхав.

1. Аудит архіву зображень. Розбираємо фонд: типи кадрів, обсяг, характер дефектів — артефакти стиснення, зерно, засвіти, вицвітання. На виході карта архіву та референсна вибірка для приймання.

2. Схема конвеєра колоризації. Визначаємо, що йде потоком, а що потребує ручної доводки: однотипні серії — пачками, портрети й рідкісні сюжети — окремою гілкою.

3. Передобробка кадрів. Єдиний колірний простір, придушення шуму, вирівнювання контрасту, реставрація пошкоджень. На брудному кадрі модель докрашує дефекти й видає бруд у тінях.

4. Вибір моделі. DeOldify тримає стабільний колір на великих серіях, дифузійна модель дає живий результат на окремих сюжетах — комбінуємо обидві гілки.

5. Калібрування на референсній вибірці. Підбираємо палітру під епоху й сюжет, задаємо правила для тону шкіри, неба, форми. Звіряємо з еталоном, поки розходження не стане передбачуваним.

6. Контроль якості кольору. Гістограми, баланс білого, відсутність «пливучих» відтінків усередині серії. Окремо перевіряємо кадри, де колір предмета вгадується за контекстом.

7. Приймання та передача. Замовник дивиться вибірку, спірні кадри йдуть на повторний прохід. Передаємо оригінали, набори налаштувань і регламент для нових надходжень.

Після здачі конвеєр не зупиняється: нові надходження йдуть за тим самим регламентом, а накопичені правки уточнюють модель під конкретний архів.

Що передаємо на руки: конфігурації та регламенти

Передаємо не «модель у блокноті», а робочий конвеєр колоризації: артефакти, за якими ваша команда відтворює обробку кадру без нашої підтримки. Нижче — що саме йде в репозиторій і у внутрішню документацію.

• Схема обробки кадрів — граф етапів від приймання скану до кольорового файлу, з позначеними точками ручної перевірки й місцями, де результат іде на повторний прогін.
• Файли конфігурації конвеєра — параметри підготовки зображення, профілі за типами сюжетів (портрет, пейзаж, місто), пороги впевненості, нижче яких кадр автоматично позначається для приймання оператором.
• Регламент запуску — розгортання на ваших потужностях: перевірка оточення, прогрів моделей, контрольний прогін на еталонній підбірці та критерії, за якими конвеєр вважається піднятим коректно.
• Політики доступу до архіву — ролі оператора, приймальника й адміністратора, розділення оригіналів і результатів, строки зберігання та порядок видалення матеріалів.
• Журнал якості обробки — метрики за кожною партією: частка кадрів, прийнятих з першого проходу, розподіл типових дефектів, кількість повторних прогонів після правки параметрів.
• Документація конвеєра — етапи, зовнішні залежності та ділянки, де правки безпечні, а де ламають відтворюваність результату.
• Інструкція з розвитку — як підключити новий тип сюжету або замінити модель колоризації без повного перезбирання процесу.

Усе версіонується разом із кодом: зміни параметрів видно в історії, а повернення до попередньої конфігурації займає хвилини.

Кейс: відновлення кінохроніки, метрики до і після

Проєкт — архів кінохроніки: оцифрована плівка із зерном, подряпинами та нестабільною експозицією. Матеріал було переведено в цифру, але він залишався чорно-білим, а ручна колоризація однієї хвилини займала в художника близько сорока хвилин.

За обсягу в кілька годин хроніки це розтягувалося на місяці й упиралося в пропускну здатність архіву.

Що було до перенесення в конвеєр

Ручний прохід давав точний колір на великих планах, але погано масштабувався: кожен кадр узгоджувався окремо, палітра «пливла» між сусідніми сценами, шкіра йшла в зелень на тінях. На повторне доопрацювання поверталося близько 18% кадрів, і частка не падала — правки йшли по колу. Пропускна здатність трималася на рівні 2–3 хвилин готового матеріалу на день.

Що змінили

Перший прохід — DeOldify: він дає базову палітру за кадром і знімає основну частину рутини. Далі дифузійна модель домальовує текстури й уточнює відтінки там, де оригінал вицвів.

Між етапами працює автоматичний контроль: якщо відтінок виходить за поріг відносно сусідніх кадрів, сцена позначається й іде оператору цілком, а не по одному кадру.

Палітра фіксується одним профілем на сцену, тому склейки не «блимають». Після перенесення в конвеєр частка кадрів на доопрацювання — 4%, час проходу хвилини — близько шести хвилин, пропускна здатність архіву зросла до 12–14 хвилин на день. Ручна робота залишилася на відбракуванні та сценах зі змішаним освітленням.

Чим дифузійний підхід відрізняється від змагального?

Змагальна мережа колоризації розв’язує задачу за один прохід: генератор передбачає колір за яскравістю, а дискримінатор на навчанні вимагає невідрізненності від справжнього кольорового кадру.

Модель вивчає найімовірнішу палітру вибірки — звідси швидкість і головний ризик: відтінок береться за статистикою схожих сюжетів, а не за сенсом конкретної сцени.

Дифузійна модель колоризації йде іншим шляхом: зображення відновлюється з шуму за десятки кроків, і кожен крок можна спрямувати текстовою підказкою. Це дає керованість — задаєте палітру сцени, отримуєте передбачуваний відтінок замість усередненого за навчальним масивом.

Стійкість до дефектів плівки в сімейств різна. Змагальна мережа приймає подряпину або засвіт за об’єкт і впевнено зафарбовує її — на виході кольорова смуга там, де пошкоджена емульсія.

Дифузія спирається на статистику всього кадру й такі артефакти гасить, але згладжує зерно: там, де зерно — частина історичної фактури, силу впливу доводиться обмежувати.

На серії кадрів одного сюжету змагальна мережа швидша в рази, зате колір плаває: кадри обробляються незалежно, і шкіра, небо, мундири зміщуються за відтінком від кадру до кадру.

Дифузія за зафіксованого шуму й загальної підказки тримає єдину палітру по всій сцені — ціною часу пакетного прогону.

Тому вибір моделі під архів — не спір про те, що краще, а рішення за станом матеріалу.

Рівний, але вицвілий масив вигідніше проганяти змагальною мережею пакетом; фонди з ключовими кадрами й вимогою історичної достовірності — дифузійною моделлю з підказкою та вибірковою ручною перевіркою. Різниця між сімействами стає видною на масштабі — там і ясно, де швидкість обертається переробкою.

AI-колоризація: технічні сумніви та відповіді

Перед стартом партії замовники ставлять один і той самий набір питань: наскільки колір історично достовірний, що робити зі змішаним архівом, як прибираються артефакти на обличчях і кому належать права на обробку. Коротко відповідаємо за кожним пунктом.

Що робити, якщо в архіві змішані різні плівки та якість сканів?

Знімки різної щільності, зернистості й контрасту дають різну тональність, тому одне загальне налаштування на весь фонд не працює. Матеріал розбиваємо на групи за цими ознаками, для кожної — свій профіль обробки. У результаті серія виглядає однорідно, без стрибків кольору від кадру до кадру.

Чому на обличчях з’являються кольорові плями і як ви з ними боретеся?

Перший прохід DeOldify дає характерні збої: синюваті тіні на щоках, ореоли за контуром волосся, загублені губи й вуха на дрібних портретах. Такі зони закриваємо масками й обробляємо окремо, з повторним проходом і ручною доводкою спірних ділянок. Шкіра приводиться до природного тону, а не до «пластикового».

Кому належать права на оригінали та на оброблені зображення?

Обробка йде в ізольованому контурі на ваших даних: знімки не йдуть у зовнішні сервіси й не використовуються для навчання чужих моделей. Права на оригінали та на результат залишаються у вас.

Донавчання на вашому матеріалі можливе — модель налаштовується під конкретний фонд і не залишає ваш контур.

Як приймається партія загалом і чи можна поправити палітру після старту?

Приймання йде за вибіркою: контрольні кадри з кожної групи дивимося разом із вами, фіксуємо зауваження щодо тону й деталей. Палітра — налаштовуваний параметр, тому правки вносяться на будь-якому етапі й перераховуються по всій партії однорідно.

Обговоримо вашу задачу й повернемося з оцінкою

Щоб оцінка проєкту колоризації спиралася на дані, а не на припущення, достатньо кількох вхідних матеріалів. Перша розмова — це обговорення задачі напряму з інженерами: вони дивляться матеріал і відразу кажуть, де автоматика впорається, а де потрібна ручна доводка.

Що допомагає прискорити розбір:

• 5–10 характерних кадрів: портрет, тінь, змішане світло, великий план шкіри — саме на них моделі помиляються найчастіше.
• обсяг архіву: кількість файлів, формати, тривалість, структура папок — звідси випливає порядок робіт і схема зберігання проміжних версій.
• стан оригіналів: зерно, подряпини, засвіт, тремтіння кадру — сильні дефекти потребують окремого етапу підготовки.
• вимоги до архіву за кольором: референси, брендова палітра, історична достовірність костюма чи пейзажу.
• обмеження за доступом: закритий контур, обробка без вивантаження за межі вашої інфраструктури, угоди про нерозголошення.
• критерії приймання: хто затверджує результат і за якою ознакою кадр вважається готовим.
• порядок видачі: разово чи партіями в міру обробки, з якою періодичністю дивитеся проміжні результати.

Далі йде пробний прогін на вибірці: інженери обробляють 10–20 кадрів, показують до і після, розбирають типові збої — відхід відтінку шкіри, хибний колір на формі, артефакти на дрібних деталях. За цим розбором фіксуємо частку кадрів під ручну доводку та склад етапів.

Опишіть задачу й надішліть зразки — повернемося з оцінкою проєкту колоризації та планом робіт.