ECCV 2024｜盲视频去闪烁通用方法BlazeBVD来了，美图&国科大联合提出
内容提要
美图影像研究院（MT Lab）与中国科学院大学合作提出了基于STE的盲视频去闪烁新方法BlazeBVD，利用直方图辅助解决方案，提高视频的视觉稳定性。BlazeBVD包括全局闪烁去除模块和局部闪烁去除模块，以及轻量级的时序网络，实现了10倍的模型推理速度。
延伸解读
直方图先验：降低盲去闪烁学习复杂度的关键
BlazeBVD的核心创新在于利用STE滤波器从直方图序列中提取闪烁先验，包括奇异帧集、滤波光照图和曝光掩码图。直方图比像素值更紧凑，能有效描绘光亮和闪烁信息，从而简化学习复杂度。这一设计使模型无需依赖闪烁类型或参考视频等额外指导，更贴近实际盲处理场景，也为后续模块提供稳定条件。
三模块协同：全局与局部闪烁的针对性校正
方法包含全局闪烁去除模块（GFRM）、局部闪烁去除模块（LFRM）和轻量级时序网络（TCM）。GFRM以滤波光照图为提示进行颜色校正，LFRM基于光流恢复过曝或过暗区域，TCM则通过自适应掩模加权损失增强帧间一致性。这种分工使模型能同时处理全局光照波动和局部曝光问题，提升视觉稳定性。
10倍推理加速：效率与通用性的平衡
BlazeBVD在合成、真实和生成视频上均优于先前工作，并实现了10倍的模型推理速度。这得益于直方图先验降低了学习复杂度，以及轻量级时序网络的设计。对于低质量视频处理，这种效率提升意味着更实用的部署潜力，但文章未提及具体硬件或延迟数据，实际加速效果可能因环境而异。
Q&A
BlazeBVD是什么？
BlazeBVD是一种基于STE的盲视频去闪烁新方法，旨在处理低质量视频中的光照闪烁问题。
BlazeBVD如何提高视频的视觉稳定性？
BlazeBVD通过直方图辅助解决方案和闪烁先验，校正视频帧中的光照和曝光，从而提高视觉稳定性。
BlazeBVD的主要模块有哪些？
BlazeBVD包括全局闪烁去除模块（GFRM）、局部闪烁去除模块（LFRM）和轻量级的时序网络（TCM）。
BlazeBVD在模型推理速度上有什么优势？
BlazeBVD实现了10倍的模型推理速度，相较于以往的方法更为高效。
BlazeBVD适用于哪些视频处理场景？
BlazeBVD适用于老电影修复、高速相机拍摄和色彩失真处理等多种视频处理场景。
BlazeBVD的实验结果如何？
实验表明，BlazeBVD在合成数据集和真实数据集上优于先前的工作，验证了其设计模块的有效性。
