视频超分辨率中扩散模型的学习空间适应性和时间连贯性

本文提出了一种新颖的方法，即 Spatial Adaptation and Temporal Coherence (SATeCo)，用于视频超分辨率的空间适应和时间一致性，通过学习低分辨率视频的空间 - 时间指导，实现高分辨率视频去噪和像素级视频重建的校准。在预先训练的 UNet 和 VAE 中，通过两个经过精心设计的空间特征适应 (SFA) 和时间特征对齐 (TFA) 模块的优化，实现了 SFA 对帧特征进行调节，通过自适应估计每个像素的仿射参数，确保高分辨率帧合成的像素级指导；而 TFA 通过自注意力机制深入分析 3D 局部窗口 (小管) 内的特征交互，并在小管和低分辨率对应物之间执行交叉注意力，以指导时间特征对齐。在 REDS4 和 Vid4 数据集上进行的大量实验验证了我们方法的有效性。