AI-колоризация чёрно-белых изображений с DeOldify и Stable Diffusion

AI-колоризация архивных кадров: где рвётся поток

Архив оцифрован, кадры пронумерованы — и на этом ровная часть заканчивается. Покадровая колоризация чёрно-белых изображений через DeOldify и Stable Diffusion даёт убедительный результат на одиночном кадре: лица, небо и растительность выглядят естественно. Но когда кадров тысячи, отдельная удача перестаёт что-либо значить — значение имеет только то, насколько ровно цвет идёт по всему материалу.

Цветовые артефакты проявляются именно на потоке. Модель достраивает оттенок по яркости и контексту, поэтому на малоконтрастных участках и на стыках сцен появляются зелёные и фиолетовые пятна, а по контурам объектов — ореолы. Баланс цвета между соседними кадрами расползается, и в движении это читается как мерцание: зритель видит не хронику, а нестабильную картинку.

Узкое место здесь не в самой модели, а в отсутствии временной согласованности и единой цветовой политики. Каждый кадр считается независимо: нет опорного кадра сцены, нет калибровки по референсу, нет проверки на скачок оттенка между соседними кадрами. Ручная правка результат вытягивает, но время растёт вместе с объёмом — при восстановлении архивных кадров это первое, что перестаёт масштабироваться.

Разбираем, как это закрывается: как собирается конвейер пакетной обработки изображений, где ставится контроль стабильности цвета по сценам и как переделывать только проблемные кадры, а не прогонять весь материал заново.

Измеримый эффект: скорость, доля ручной правки, стабильность

Покадровая колоризация упирается в ручной труд: один прогон на кадр, глазами отсматриваем результат, спорные кадры правим в редакторе. Управляемый конвейер превращает это в поток — очередь задач, пакеты по сценам, параллельная обработка и автоматический контроль качества на выходе. Пропускная способность растёт с единиц кадров в час до тысяч в сутки, и узким местом становится уже не модель, а приёмка результата.

Доля ручной доработки — вторая метрика, которая определяет, окупается ли архив. По каждому кадру считается уверенность модели и расхождение с палитрой сцены; всё, что ниже порога, автоматически уходит в отдельную очередь на правку. На типовом материале доля таких кадров падает с трети до нескольких процентов, и правки становятся точечными — кожа, небо, документы, а не весь кадр.

Стабильность цвета сцены держится на том, что обработка идёт не кадр за кадром, а целыми сценами. Архив режется на сцены, для каждой выбирается опорный кадр, его палитра переносится на соседние, а границы сглаживаются. Так уходит целый класс отказов вроде «плывущего» цвета и мигания оттенка внутри сцены — из-за них раньше браковали целые эпизоды.

DeOldify в такой схеме даёт быстрый черновой проход и базовую палитру, уточняющая диффузионная модель доводит детали. Смысл не в конкретной модели, а в контуре вокруг неё: на выходе заказчик получает не папку с картинками, а отчёт о том, сколько кадров прошло автоматически и где стабильность цвета потребовала вмешательства инженера.

Подходы к обработке архивных кадров: сравнение режимов

Режим выбирают не по размеру архива, а по однородности корпуса и цене ошибки на конкретном кадре. Пакетная обработка дешевле в пересчёте на кадр, но сбой модели размножается на всю выгрузку. Обработка по запросу даёт контроль на каждом шаге, зато почти не масштабируется.

Ниже — четыре режима колоризации, между которыми реально выбирают на проектах. Критерий один: есть ли эталон, по которому можно проверить цвет.

Сравнение режимов колоризации

На пилоте берут 20–50 характерных кадров и прогоняют через два-три режима — расхождение по цвету кожи, неба и форменной одежды видно сразу. Дальше режим фиксируется документально, а для повторяющихся сюжетов добавляется дообучение модели на своём наборе.

Как строится конвейер: этапы внедрения и проверки

Колоризация архива — не разовый прогон файлов через модель, а конвейер с контрольными точками. На каждом шаге остаётся артефакт: карта фонда, набор настроек, эталонная выборка — по ним видно, что изменилось, если результат поехал.

1. Аудит архива изображений. Разбираем фонд: типы кадров, объём, характер дефектов — артефакты сжатия, зерно, засветы, выцветание. На выходе карта архива и референсная выборка для приёмки.

2. Схема конвейера колоризации. Определяем, что идёт потоком, а что требует ручной доводки: однотипные серии — пачками, портреты и редкие сюжеты — отдельной веткой.

3. Предобработка кадров. Единое цветовое пространство, подавление шума, выравнивание контраста, реставрация повреждений. На грязном кадре модель докрашивает дефекты и выдаёт грязь в тенях.

4. Выбор модели. DeOldify держит стабильный цвет на больших сериях, диффузионная модель даёт живой результат на отдельных сюжетах — комбинируем обе ветки.

5. Калибровка на референсной выборке. Подбираем палитру под эпоху и сюжет, задаём правила для тона кожи, неба, формы. Сверяем с эталоном, пока расхождение не станет предсказуемым.

6. Контроль качества цвета. Гистограммы, баланс белого, отсутствие «плывущих» оттенков внутри серии. Отдельно проверяем кадры, где цвет предмета угадывается по контексту.

7. Приёмка и передача. Заказчик смотрит выборку, спорные кадры уходят на повторный проход. Передаём исходники, наборы настроек и регламент для новых поступлений.

После сдачи конвейер не останавливается: новые поступления идут по тому же регламенту, а накопленные правки уточняют модель под конкретный архив.

Что передаём на руки: конфигурации и регламенты

Передаём не «модель в блокноте», а работающий конвейер колоризации: артефакты, по которым ваша команда воспроизводит обработку кадра без нашей поддержки. Ниже — что именно уходит в репозиторий и во внутреннюю документацию.

• Схема обработки кадров — граф этапов от приёма скана до цветного файла, с отмеченными точками ручной проверки и местами, где результат уходит на повторный прогон.
• Файлы конфигурации конвейера — параметры подготовки изображения, профили по типам сюжетов (портрет, пейзаж, город), пороги уверенности, ниже которых кадр автоматически помечается для приёмки оператором.
• Регламент запуска — развёртывание на ваших мощностях: проверка окружения, прогрев моделей, контрольный прогон на эталонной подборке и критерии, по которым конвейер считается поднятым корректно.
• Политики доступа к архиву — роли оператора, приёмщика и администратора, разделение исходников и результатов, сроки хранения и порядок удаления материалов.
• Журнал качества обработки — метрики по каждой партии: доля кадров, принятых с первого прохода, распределение типовых дефектов, число повторных прогонов после правки параметров.
• Документация конвейера — этапы, внешние зависимости и участки, где правки безопасны, а где ломают воспроизводимость результата.
• Инструкция по развитию — как подключить новый тип сюжета или заменить модель колоризации без пересборки процесса целиком.

Всё версионируется вместе с кодом: изменения параметров видны в истории, а возврат к предыдущей конфигурации занимает минуты.

Кейс: восстановление кинохроники, метрики до и после

Проект — архив кинохроники: оцифрованная плёнка с зерном, царапинами и нестабильной экспозицией. Материал был переведён в цифру, но оставался чёрно-белым, а ручная колоризация одной минуты занимала у художника около сорока минут. При объёме в несколько часов хроники это растягивалось на месяцы и упиралось в пропускную способность архива.

Что было до переноса в конвейер

Ручной проход давал точный цвет на крупных планах, но плохо масштабировался: каждый кадр согласовывался отдельно, палитра «плыла» между соседними сценами, кожа уходила в зелень на тенях. На повторную доработку возвращалось около 18% кадров, и доля не падала — правки шли по кругу. Пропускная способность держалась на уровне 2–3 минут готового материала в день.

Что изменили

Первый проход — DeOldify: он даёт базовую палитру по кадру и снимает основную часть рутины. Дальше диффузионная модель дорисовывает текстуры и уточняет оттенки там, где исходник выцвел. Между этапами работает автоматический контроль: если оттенок уходит за порог относительно соседних кадров, сцена помечается и уходит оператору целиком, а не по одному кадру.

Палитра фиксируется одним профилем на сцену, поэтому склейки не «мигают». После переноса в конвейер доля кадров на доработку — 4%, время прохода минуты — около шести минут, пропускная способность архива выросла до 12–14 минут в день. Ручная работа осталась на отбраковке и сценах со смешанным освещением.

Чем диффузионный подход отличается от состязательного?

Состязательная сеть колоризации решает задачу в один проход: генератор предсказывает цвет по яркости, а дискриминатор на обучении требует неотличимости от настоящего цветного кадра. Модель выучивает наиболее вероятную палитру выборки — отсюда скорость и главный риск: оттенок берётся по статистике похожих сюжетов, а не по смыслу конкретной сцены.

Диффузионная модель колоризации идёт другим путём: изображение восстанавливается из шума за десятки шагов, и каждый шаг можно направить текстовой подсказкой. Это даёт управляемость — задаёте палитру сцены, получаете предсказуемый оттенок вместо усреднённого по обучающему массиву.

Устойчивость к дефектам плёнки у семейств разная. Состязательная сеть принимает царапину или засветку за объект и уверенно закрашивает её — на выходе цветная полоса там, где повреждена эмульсия. Диффузия опирается на статистику всего кадра и такие артефакты гасит, но сглаживает зерно: там, где зерно — часть исторической фактуры, силу воздействия приходится ограничивать.

На серии кадров одного сюжета состязательная сеть быстрее в разы, зато цвет плавает: кадры обрабатываются независимо, и кожа, небо, мундиры уезжают по оттенку от кадра к кадру. Диффузия при зафиксированном шуме и общей подсказке держит единую палитру по всей сцене — ценой времени пакетного прогона.

Поэтому выбор модели под архив — не спор о том, что лучше, а решение по состоянию материала. Ровный, но выцветший массив выгоднее прогонять состязательной сетью пакетом; фонды с ключевыми кадрами и требованием исторической достоверности — диффузионной моделью с подсказкой и выборочной ручной проверкой. Разница между семействами становится видна на масштабе — там и ясно, где скорость оборачивается переделкой.

AI-колоризация: технические сомнения и ответы

Перед стартом партии заказчики задают один и тот же набор вопросов: насколько цвет исторически достоверен, что делать со смешанным архивом, как убираются артефакты на лицах и кому принадлежат права на обработку. Коротко отвечаем по каждому пункту.

Что делать, если в архиве смешаны разные плёнки и качество сканов?

Снимки разной плотности, зернистости и контраста дают разную тональность, поэтому одна общая настройка на весь фонд не работает. Материал разбиваем на группы по этим признакам, для каждой — свой профиль обработки. В результате серия выглядит единообразно, без скачков цвета от кадра к кадру.

Почему на лицах появляются цветные пятна и как вы с ними боретесь?

Первый проход DeOldify даёт характерные сбои: синеватые тени на щеках, ореолы по контуру волос, потерянные губы и уши на мелких портретах. Такие зоны закрываем масками и обрабатываем отдельно, с повторным проходом и ручной доводкой спорных участков. Кожа приводится к естественному тону, а не к «пластиковому».

Кому принадлежат права на исходники и на обработанные изображения?

Обработка идёт в изолированном контуре на ваших данных: снимки не уходят во внешние сервисы и не используются для обучения чужих моделей. Права на исходники и на результат остаются у вас. Дообучение на вашем материале возможно — модель настраивается под конкретный фонд и не покидает ваш контур.

Как принимается партия целиком и можно ли поправить палитру после старта?

Приёмка идёт по выборке: контрольные кадры из каждой группы смотрим вместе с вами, фиксируем замечания по тону и деталям. Палитра — настраиваемый параметр, поэтому правки вносятся на любом этапе и пересчитываются по всей партии единообразно.

Обсудим вашу задачу и вернёмся с оценкой

Чтобы оценка проекта колоризации опиралась на данные, а не на предположения, достаточно нескольких входных материалов. Первый разговор — это обсуждение задачи напрямую с инженерами: они смотрят материал и сразу говорят, где автоматика справится, а где нужна ручная доводка.

Что помогает ускорить разбор:

• 5–10 характерных кадров: портрет, тень, смешанный свет, крупный план кожи — именно на них модели ошибаются чаще всего.
• объём архива: число файлов, форматы, длительность, структура папок — отсюда следует порядок работ и схема хранения промежуточных версий.
• состояние исходников: зерно, царапины, засветка, дрожание кадра — сильные дефекты требуют отдельного этапа подготовки.
• требования к архиву по цвету: референсы, брендовая палитра, историческая достоверность костюма или пейзажа.
• ограничения по доступу: закрытый контур, обработка без выгрузки за пределы вашей инфраструктуры, соглашения о неразглашении.
• критерии приёмки: кто утверждает результат и по какому признаку кадр считается готовым.
• порядок выдачи: разово или партиями по мере обработки, с какой периодичностью смотрите промежуточные результаты.

Дальше идёт пробный прогон на выборке: инженеры обрабатывают 10–20 кадров, показывают до и после, разбирают типовые сбои — уход оттенка кожи, ложный цвет на форме, артефакты на мелких деталях. По этому разбору фиксируем долю кадров под ручную доводку и состав этапов.

Опишите задачу и пришлите образцы — вернёмся с оценкой проекта колоризации и планом работ.