ИИ-реставрация архивного видео
Плёнка 1960-х оцифрована в 2K, но на результате — царапины, мерцание, зерно, размытые кадры и выцветшие цвета. Классическая реставрация в DaVinci Resolve: каждый дефект вручную, кадр за кадром. Нейросетевой пайплайн закрывает 80% механической работы автоматически.
Основные задачи реставрации
Удаление зерна и шума — плёночное зерно отличается от цифрового шума статистически, и нейросеть это знает. RealESRGAN, BSRGAN, NAFNet — специализированные архитектуры для деноизинга с сохранением текстур (не размывая их, как Gaussian filter).
Апскейлинг разрешения — ESRGAN, Real-ESRGAN, HAT (Hybrid Attention Transformer) поднимают 480p до 4K с восстановлением деталей. На архивном контенте HAT даёт PSNR на 1.8 dB выше Real-ESRGAN при сопоставимой скорости.
Интерполяция кадров (frame interpolation) — 24fps → 60fps или восстановление пропущенных кадров при повреждении плёнки. FILM (Frame Interpolation for Large Motion), RIFE — работают через optical flow estimation и синтез промежуточных кадров.
Колоризация чёрно-белого видео — DeOldify, BigColor, DDColor. Проблема: temporal consistency — между кадрами цвет объектов «прыгает». Решение: propagation через optical flow, как в video matting.
Удаление царапин и артефактов плёнки — видео inpainting: ProPainter, E2FGVI. Маска дефектов детектируется автоматически (специфическая текстура царапины vs содержимое кадра) и заполняется из соседних кадров и spatial context.
Пайплайн реставрации: правильный порядок этапов
Порядок операций критичен — неверная последовательность умножает артефакты:
1. Детектирование и удаление царапин (inpainting)
↓
2. Деноизинг / удаление зерна
↓
3. Дефликеринг (нормализация яркости между кадрами)
↓
4. Апскейлинг разрешения
↓
5. Frame interpolation (если нужно)
↓
6. Колоризация (если ЧБ оригинал)
↓
7. Финальный temporal smoothing
Если делать апскейлинг до удаления зерна — Real-ESRGAN усиливает зерно, принимая его за детали текстуры. Это самая частая ошибка в «быстрых» пайплайнах.
Кейс: документальный архив 1970-х
60 минут документального материала, оцифровка с 16мм плёнки. Проблемы: сильное зерно (ISO эквивалент ~3200), периодические вертикальные царапины на 15% кадров, прерывистые fade-out артефакты.
Пайплайн:
- Детекция царапин: обученный бинарный сегментатор (U-Net, обучен на синтетике) → маски
- Inpainting: ProPainter с temporal window 10 кадров
- Деноизинг: NAFNet с предобученными весами на DVD noise
- Апскейлинг 2K → 4K: HAT-L (Large)
- Колоризация не применялась (цветной оригинал)
Время обработки на A100 80GB: 4.2 часа на 60 минут видео при 1920×1080. Финальное качество: VMAF score 78 → 91 (по субъективной оценке экспертов реставрации).
Ограничения
Нейросеть не восстанавливает то, чего нет в кадре — если кадр полностью уничтожен, inpainting галлюцинирует контент из соседних кадров, что может быть исторически некорректно. Такие кадры помечаются флагом для ручной проверки.
Колоризация исторического материала требует дополнительного контроля историков — модель не знает реальный цвет форм, флагов, интерьеров конкретной эпохи.
Сроки
| Объём | Автоматический пайплайн | С QA и коррекцией |
|---|---|---|
| Короткометражка до 20 мин | 1–2 дня | 3–7 дней |
| Документальный фильм 60–90 мин | 3–5 дней | 2–3 недели |
| Архивная коллекция 10+ часов | 2–3 недели | 1–2 месяца |
Стоимость рассчитывается по объёму и сложности материала.