运动感知视频帧插帧
内容提要
本文综述视频帧插值（VFI）进展，涵盖多项方法：循环一致性自适应策略提升两帧插值；WaveletVFI两阶段框架减少40%计算量；PNet解决大间隔问题；MISO-VFI建模遮挡与非线性运动；FTM数据增强提升不连续运动鲁棒性；Transformer跨尺度窗口、时空多流、XVFI-Net处理4K大运动；难度评估动态选模型。多项基准达最优。
延伸解读
技术演进：从两帧插值到极端运动处理
视频帧插值技术正从基础的两帧插值向更复杂的场景演进。早期方法如循环一致性自适应策略提升了两帧插值性能，而后续研究则针对大间隔、遮挡和非线性运动等挑战。例如，PNet框架通过传播网络解决大间隔问题，XVFI-Net则专为4K大运动视频设计。这些进展表明，VFI研究正逐步覆盖更极端的运动条件，提升实用性和鲁棒性。
效率优化：计算量减少与动态模型选择
在提升性能的同时，效率也成为VFI研究的重要方向。WaveletVFI通过两阶段框架和动态阈值控制，减少了高达40%的计算量，同时保持相似精度。此外，难度评估管道能动态选择插值模型，根据输入帧的难度级别调整计算资源。这些方法有助于在资源受限的设备上部署高质量插值，平衡准确性与效率。
鲁棒性增强：应对不连续运动与遮挡
现实视频中常存在不连续运动和遮挡，这对插值算法构成挑战。FTM数据增强策略使模型无需额外数据集即可学习不连续运动，并引入D-map区分运动区域。MISO-VFI则通过多输入单输出框架建模遮挡和非线性运动，并引入运动感知损失。这些技术显著提升了插值质量，即使在仅包含连续运动的基准数据集上也有改善。
Q&A
视频帧插值中如何解决大间隔问题？
基于传播网络（PNet）的框架将一侧的输入传播到可靠时间帧，然后使用标准方法进行插值，在长期VFI方面比现有最先进方法更有效。
WaveletVFI如何减少计算量？
WaveletVFI通过轻量级运动感知网络估计中间光流，使用流对齐的上下文特征和稀疏卷积预测多尺度小波系数，并嵌入分类器学习动态阈值控制计算，实现高达40%的计算减少，保持相似准确性。
MISO-VFI方法有什么特点？
MISO-VFI基于多输入单输出，不依赖运动矢量估计，能有效建模遮挡和非线性运动，并引入新的运动感知损失，提高视频帧的时空相关性，在Vimeo90K、Middlebury和UCF101等基准上取得最先进结果。
如何提升视频帧插值对不连续运动的鲁棒性？
提出三种技术：1) figure-text mixing (FTM)数据增强策略，无需额外数据集即可学习不连续运动；2) 预测discontinuity map (D-map)的模块，密集区分持续和不连续运动区域；3) 损失函数对不连续运动区域进行监督。应用于各种VFI网络，显著提高插帧质量。
XVFI-Net如何处理4K视频中的大运动？
XVFI-Net基于递归多尺度共享结构，由两个级联模块组成，学习两个输入帧之间的双向光流以及从目标到输入帧的双向光流，能成功捕获极端运动和复杂纹理的关键信息，展现极高VFI性能。
如何动态选择视频帧插值模型以提高准确度和效率？
整合难度评估和视频帧插值的管道，首先利用先前评估模型对输入帧的插值难度级别进行量化，然后动态选择适当的插值模型生成插值结果，极大提高准确度和效率。
