模糊感知时空稀疏变压器用于视频去模糊
内容提要
本文介绍了多种视频去模糊方法，包括Flow-Guided Sparse Transformer（FGST）和模糊插值变换器（BiT），它们在不同数据集上表现优异。研究强调了运动信息的重要性，并提出了基于极坐标的Radial Strip Transformer架构，显著提升了去模糊性能。此外，Swin Transformer为骨干的SUNet模型在低光条件下展现了卓越的适应性。
延伸解读
技术演进：从光流引导到极坐标建模
文章梳理了视频去模糊领域的技术发展脉络。早期方法如FGST依赖光流矫正模糊，而后续的BiT、STDANet等则引入Transformer架构，提升了对长时依赖和运动信息的建模能力。值得注意的是，Radial Strip Transformer创新性地采用极坐标系统，解决了传统笛卡尔坐标系难以建模旋转运动的问题，这标志着研究视角从平移运动向更复杂运动模式的拓展。
数据集与评估：合成与真实的差距
文章提及多个方法在DVD、GOPRO、Adobe240等数据集上取得优异结果，但这些多为合成数据集。ESTRNN工作专门构建了真实世界基准数据集BSD，并指出合成数据集上表现好的方法在真实场景中可能泛化能力不足。这提醒读者，评估视频去模糊方法时需关注其在真实模糊场景下的适应性，而非仅看合成数据上的指标。
应用场景拓展：低光与突发超分
除了常规视频去模糊，文章还涵盖了低光条件和突发超分辨率等挑战性场景。STA-SUNet在极低光条件下取得最高PSNR和SSIM，BurstSR则能从低分辨率RAW爆发中恢复高质量图像。这些工作表明，视频去模糊技术正逐步应用于更复杂的实际环境，如夜间拍摄或手机连拍，但同时也对模型的多帧对齐和噪声鲁棒性提出了更高要求。
Q&A
FGST框架的主要特点是什么？
FGST框架基于自注意力模块，使用光学流矫正模糊，并通过重复嵌入机制增强长时间依赖关系。
模糊插值变换器BiT在Adobe240数据集上的表现如何？
BiT在Adobe240数据集上展示了显著的优势和对真实模糊场景的泛化能力。
Radial Strip Transformer架构解决了什么问题？
Radial Strip Transformer架构解决了旋转运动建模问题，实验结果表明其在图像去模糊任务中的性能优于其他方法。
STDANet方法如何提高视频去模糊效果？
STDANet方法考虑了图像中的流动信息和像素点的清晰度，从而显著提高了视频去模糊效果。
Swin Transformer在低光条件下的表现如何？
Swin Transformer为骨干的时空对齐SUNet模型在低光条件下展现了卓越的适应性，获得最高的PSNR和SSIM值。
BurstSR体系结构的主要优势是什么？
BurstSR体系结构能够有效地从低分辨率RAW爆发中恢复高质量图像，并在NTIRE2022 Burst Super-Resolution Challenge中取得最佳效果。
