生成中间帧:适应图像到视频模型进行关键帧插值
原文中文,约200字,阅读约需1分钟。发表于: 。本研究解决了在两个输入关键帧之间生成视频序列的难题。通过轻量级微调技术,我们将预训练的大规模图像到视频扩散模型应用于关键帧插值,允许模型生成向后运动的视频。实验结果显示,我们的方法优于现有的扩散基础方法和传统的帧插值技术。
我们提出了一种训练无关的视频插值方法,通过转换视频模型为自级联视频扩散模型并结合隐藏状态校正模块,保持关键帧与插值帧的时间一致性。在多个视频模型上评估证明了该方法的有效性,尤其是与训练插值模型相媲美。