搜索先验使文本到视频的合成更好
内容提要
本文讨论了开源视频生成模型，包括文本到视频和图像到视频的扩散模型。这些模型能够生成高质量视频，并通过个性化运动和定制生成方法解决视频编辑中的偏见问题。研究表明，扩大训练集和引入新方法可以显著提升视频生成性能，推动视频编辑技术的发展。
延伸解读
开源视频生成模型的双路径
文章指出开源视频生成模型主要分为文本到视频和图像到视频两种扩散模型。前者能生成高分辨率、逼真且具有影片般质量的视频，后者则可将给定图像转化为视频片段并保留内容约束。这两种路径各有侧重，为不同场景下的视频生成需求提供了基础工具，也构成了后续技术改进的起点。
视频编辑中的偏见与运动个性化
针对现有视频编辑方法中的偏见问题，文章介绍了一种基于传统图像层面个性化方法的解决方案。该方法通过运动个性化从单一源视频中分离运动并修改主角，同时引入伪光流来调节运动词以适应运动相关区域，最终通过额外的伪词将运动与源视频外观分离，从而实现更多样化和广泛的视频编辑能力。
定制视频生成的时间一致性与忠实度
文章提出了一种以文本为上下文描述、以动作结构（如逐帧深度）为具体指导的定制视频生成方法。该方法利用预训练的潜在扩散模型并引入时间模块进行联合条件生成。实验结果表明，该方法在时间一致性和与用户指导的忠实度方面表现优异，相比现有基线模型具有更好的性能。
训练策略与模型扩展的进展
文章提到，通过使用无文本视频进行训练，并扩大训练集规模、重新引入部分文本标签，可以提升基于扩散的文本到视频生成性能。此外，通过扩展现有模型，还能学习并概括多样化的、与文本指定情景相关的输入动作模式，从而增加定制动作，超越原始训练数据中的动作。
Q&A
什么是文本到视频模型？
文本到视频模型能够生成高分辨率、逼真且影片般质量的视频。
图像到视频模型的主要功能是什么？
图像到视频模型可以将给定的图像转化为视频片段并保留内容约束。
如何解决视频编辑中的偏见问题？
通过运动个性化和伪光流调节，解决视频编辑中的偏见问题。
扩大训练集规模对视频生成性能有什么影响？
扩大训练集规模和引入文本标签可提升基于扩散的文本到视频生成性能。
什么是Make-A-Video方法？
Make-A-Video方法通过时空模块研究提高文本到视频生成的空间和时间分辨率。
VD-IT框架的主要特点是什么？
VD-IT框架结合预训练的文本到视频模型，确保时间上的语义一致性，生成详细的掩码。
