一种实用的多融合门控递归变换器网络用于视频去噪
内容提要
本文介绍了多种视频和图像去噪技术，包括基于递归全卷积网络、卷积神经网络和Transformer的方法。这些技术在低光条件下表现优异，能够有效降噪、色彩校正和增强图像质量，同时提出了新型网络架构和数据集，显著提高了去噪性能和计算效率。
延伸解读
技术演进脉络
从2019年的递归全卷积网络到2024年的混合维纳滤波器，视频去噪技术经历了从传统卷积到Transformer架构的转变。早期方法侧重端到端处理，如RFCN在极低光下的连拍增强；随后ViDeNN引入时空组合滤波，无需先验知识。2022年起，Transformer凭借时序建模优势成为主流，如基于Transformer的修复方法和单向循环网络，后者通过前向与前瞻模块减轻像素变形。2023年出现高效可变形Transformer和自监督方法RDRF，2024年则聚焦速度优化，体现从追求性能到兼顾效率的演进。
数据集与真实场景适配
文章强调真实世界去噪的挑战，多个研究构建了专门数据集：ReCRVD利用高-低感光度设置模拟真实噪声，MLBN数据集针对低光模糊噪声联合任务。这些数据集旨在缩小合成与真实差距，如RDRF针对自监督盲点网络的信息丢失问题，通过密集感受野利用参考帧。读者需注意，不同数据集覆盖的噪声类型和场景有限，模型在特定数据集上的表现未必能直接迁移到所有真实环境，评估时应关注其泛化能力。
计算效率与性能平衡
视频去噪网络常因高计算成本难以实用。2024年的研究通过混合维纳滤波器结合小型辅助网络，在保持性能的同时将速度提升至Transformer方法的十倍以上，且参数更少。此前Dual-branch Deformable Transformer通过可变形注意力减少计算，RViDeformer也强调低计算量。这表明当前趋势是在不牺牲去噪质量的前提下，追求实时或近实时处理，对实际部署（如移动设备、监控系统）具有重要意义。
Q&A
什么是递归全卷积网络（RFCN）？
递归全卷积网络（RFCN）是一种用于在极低光条件下进行图像降噪、色彩校正和增强的网络架构，效果优于现有方法。
ViDeNN网络的主要特点是什么？
ViDeNN是一种卷积神经网络，能够在没有先验知识的情况下去除视频噪声，并处理物体运动和亮度变化。
基于Transformer的视频修复方法有什么优势？
基于Transformer的视频修复方法利用时序信息进行跨帧高清图像恢复，表现优于现有方法。
RDRF方法如何改善自监督视频去噪中的信息丢失问题？
RDRF方法通过更密集的感受野充分利用参考帧和邻居帧的信息，改善了信息丢失和纹理破坏的问题。
新型Dual-branch Deformable Transformer的特点是什么？
Dual-branch Deformable Transformer通过可变形关注机制捕捉局部和全局交互，显著减少计算成本，取得最先进性能。
如何构建高分辨率视频去噪数据集（ReCRVD）？
ReCRVD数据集通过收集已有高分辨率视频数据并利用高-低感光度设置构建，支持高效的transformer网络训练。
