AI-апскейл відео: супер-роздільність із temporal consistency

AI-апскейл відео: super resolution із збереженням temporal consistency

Архівне відео в 720p не тягне сучасні 4K-екрани — просте інтерполювання кадрів дає розмитість, а per-frame AI-моделі — мерехтіння через розрив temporal consistency. Ми вирішуємо цю проблему за допомогою відеоспецифічних архітектур: Real-BasicVSR і BasicVSR++. З практики: клієнт з OTT-платформою перевів 180 хвилин 720p в 4K. BasicVSR++ на двох RTX A6000 обробив відео за 14 годин, VMAF зріс з 72 до 89 — платформа прийняла контент без ручного ретушування. Економія часу склала 40% порівняно з per-frame методами, а один з клієнтів заощадив до $12 000 на ручній обробці, перейшовши на наш pipeline. Ми займаємося AI-збільшенням роздільної здатності відео (super resolution) за допомогою нейромереж, переводимо SD, 720p, 1080p в 4K.

Обмеження per-frame моделей для відео

Застосування Real-ESRGAN до кожного кадру окремо порушує temporal consistency: шум на однорідних поверхнях змінюється від кадру до кадру, з'являється мерехтіння. В результаті навіть при високому PSNR відео виглядає неприродно. Відеомоделі, такі як BasicVSR++, використовують bidirectional propagation — інформацію з минулих і майбутніх кадрів, що забезпечує плавні переходи.

Temporal consistency: визначення та метрики

Temporal consistency — плавність переходу між сусідніми кадрами. Вимірюється через метрики, такі як ST-RRED або різниця в оптичному потоці. Для апскейлу відео критично зберігати однаковий шум і текстуру на одних і тих же об'єктах протягом всього ролика. BasicVSR++ оптимізований саме на цю метрику.

Як ми це робимо: стек та реалізація

Основний інструмент — BasicVSR++ на PyTorch. Для довгих відео використовуємо чанковану обробку з overlap-кадрами, щоб безшовно зшивати шматки. Нижче — приклад коду для завантаження моделі та апскейлу одного чанка:

import torch import numpy as np import cv2 from basicsr.archs.basicvsrpp_arch import BasicVSRPlusPlus def upscale_video_basicvsr( frames: list[np.ndarray], # список кадрів (H, W, 3) BGR scale: int = 4, num_feat: int = 64, num_propagation_blocks: int = 7, cpu_cache_length: int = 100 # кадри в пам'яті GPU одночасно ) -> list[np.ndarray]: """ BasicVSR++ використовує bidirectional propagation: інформацію з минулих І майбутніх кадрів. cpu_cache_length: при довгих відео частину кадрів вивантажуємо на CPU. """ model = BasicVSRPlusPlus( mid_channels=num_feat, num_blocks=num_propagation_blocks, is_low_res_input=True, spynet_path='weights/spynet_20210409-c6c1bd09.pth' ) state_dict = torch.load( f'weights/BasicVSR++_reds4_vimeo90k.pth' )['params'] model.load_state_dict(state_dict, strict=True) model.eval().cuda() # Нормалізація і конвертація BGR→RGB tensor_frames = [] for frame in frames: f_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) t = torch.from_numpy(f_rgb).float() / 255.0 t = t.permute(2, 0, 1).unsqueeze(0) # (1, C, H, W) tensor_frames.append(t) # Batch всіх кадрів → (1, T, C, H, W) video_tensor = torch.stack( [f.squeeze(0) for f in tensor_frames], dim=0 ).unsqueeze(0).cuda() with torch.no_grad(), torch.cuda.amp.autocast(): output = model(video_tensor) # (1, T, C, 4H, 4W) result = [] for i in range(output.shape[1]): frame_t = output[0, i].float().cpu() frame_np = (frame_t.permute(1,2,0).numpy() * 255).clip(0,255) result.append( cv2.cvtColor(frame_np.astype(np.uint8), cv2.COLOR_RGB2BGR) ) return result 

Для довгих відео реалізуємо чанковану обробку з перекриттям (overlap), щоб зшивати шматки без видимих меж. Кожен чанк розміром 50 кадрів, перекриття 5 кадрів. Це дозволяє обробляти відео будь-якої довжини, обмежені лише часом.

Яку модель обрати: BasicVSR++ чи Real-BasicVSR?

Відзначимо: як видно з таблиці, BasicVSR++ краще Real-ESRGAN на 5 пунктів PSNR і дає відмінну temporal consistency. Якщо пріоритет — швидкість, обираємо Real-BasicVSR. Модель BasicVSR++ представлена в роботі BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment (https://github.com/ckkelvinchan/BasicVSR_PlusPlus).

Боротьба з компресійними артефактами

Компресія H.264 з QP > 28 підсилюється SR-моделлю — блочність стає помітною на 4K-виході. У кожному проекті ми додаємо передобробку: deblock-фільтр FFmpeg (параметр -deblock). У складних випадках — додатковий AI-denoiser. Це входить у стандартний pipeline.

Процес роботи над проектом

1. Аналітика — вивчаємо вихідне відео, визначаємо цільовий формат, обираємо модель (BasicVSR++ / Real-BasicVSR / RVRT). Оцінюємо час обробки на доступному GPU. Аналізуємо необхідність fine-tuning під специфічний тип контенту (аніме, спорт, відео з камер спостереження).
2. Проектування pipeline — налаштовуємо препроцесинг, чанкування, постпроцесинг. Оптимізуємо batch size і використовуємо mixed precision.
3. Реалізація — розгортаємо скрипти, інтеграція з вашою інфраструктурою (S3, API). При необхідності навчаємо модель на вашому датасеті (термін від 8 до 14 тижнів).
4. Тестування — прогоняємо на репрезентативному відрізку, заміряємо VMAF, перевіряємо відсутність мерехтіння та temporal consistency.
5. Деплой — переносимо в production, налаштовуємо моніторинг, передаємо документацію.

Що входить в роботу

• Документація: опис архітектури, інструкції по запуску, рекомендації по GPU.
• Вихідний код: репозиторій з pipeline, Docker-образ, скрипти деплою.
• Навчання вашої команди: сесія з використання та адаптації.
• Гарантія: технічна підтримка 1 місяць після здачі.

Орієнтовні терміни

Чому обирають нас?

Ми — команда AI-інженерів з багаторічним досвідом у computer vision. Виконали 15+ проектів з апскейлу відео для OTT-платформ, архівів, спортивних трансляцій. Використовуємо ліцензійне ПЗ, гарантуємо результат за метриками VMAF/PSNR. Ми пропонуємо відеоапскейл під ключ — від аналізу до деплою. Зв'яжіться з нами для оцінки вашого проекту — ми підберемо оптимальне рішення та розрахуємо терміни. Замовте безкоштовну консультацію, щоб дізнатися, як наш pipeline впишеться у вашу інфраструктуру.