ExVideo：通过参数高效后调来扩展视频扩散模型
内容提要
本研究提出了一种扩展图像扩散结构的视频生成模型，能够高效生成高质量的时空连续视频。通过优化训练方案，结合低质量视频和高质量图像，提升了生成效果。此外，研究引入了新的视频插值方法和在线视频编辑任务，展示了在实时推理和长视频生成方面的优势。
延伸解读
低质量视频与高质量图像的联合训练策略
文章指出，现有视频模型常受限于低质量数据集（如WebVid-10M），导致生成质量不高。该研究通过分析视频模型空间和时域模块与低质量视频分布偏移的关联，发现全模块训练会增强耦合。基于此，他们用高质量图像微调空间模块，将分布向高质量转移而不引起运动退化，从而获得通用高质量视频模型。这一策略为在有限数据条件下提升视频生成质量提供了可行路径。
训练无关的视频插值方法
文章提出一种训练无关的视频插值方法，通过将视频扩散模型转换为自级联模型并引入隐藏状态校正模块，保持关键帧与插值帧的时间一致性。该方法无需额外训练，在多个流行视频模型上评估有效，甚至能与依赖大量计算资源和大规模数据集的训练插值模型相媲美。这降低了视频插值的应用门槛，为视频编辑和增强提供了高效工具。
在线视频编辑的实时性与长视频处理
研究提出在线视频编辑新任务，要求编辑流式帧的同时保持时间一致性。所提SVDiff模型结合紧凑的空间感知时间回归与现成稳定扩散，采用分段级方案训练。实验显示，模型在512x512分辨率下达到15.2 FPS的实时推理速度，并能处理长时间、高质量视频编辑。这表明该方法在实时性和长视频处理方面具有优势，为交互式视频编辑应用提供了可能。
Q&A
这项研究提出了什么样的视频生成模型？
研究提出了一种扩展图像扩散结构的视频生成模型，能够高效生成高质量的时空连续视频。
如何提高视频生成的质量？
通过优化训练方案，结合低质量视频和高质量图像，提升了生成效果。
该研究引入了哪些新技术？
研究引入了更好的有条件采样技术和一种新的视频插值方法。
模型在实时推理方面的表现如何？
模型在实时推理和长视频生成方面表现出色，能够以高帧率进行视频编辑。
研究中如何处理低质量视频数据？
研究探索了利用低质量视频和合成高质量图像来训练高质量视频模型的可行性。
Streaming Video Diffusion模型的主要功能是什么？
该模型旨在在保持时间一致性的同时编辑流式帧，表现出色的实时推理速度和长时间视频编辑能力。
