Still-Moving: 无需定制视频数据的定制视频生成
原文中文，约1300字，阅读约需3分钟。
📝
内容提要
本文介绍了一种基于低秩适应的时空注意力层的视频生成模型，该模型能够从单个参考视频中学习运动信息，适应新主题和场景。通过引入运动个性化和伪光流技术，提升了视频编辑能力，并提出了TI2V任务和MAGE生成器，验证了其在文本到视频生成中的有效性。
🔎
延伸解读
低秩适应在视频生成中的角色
文章提到通过低秩适应的时空注意力层，模型能够从单个参考视频中学习运动信息。这种设计可能降低了微调成本，使模型能快速适应新主题和场景，而无需大量定制视频数据。这为个性化视频生成提供了高效途径。
运动个性化与伪光流的技术结合
文章介绍了运动个性化和伪光流技术，用于从源视频中分离运动并调节运动词。这有助于在视频编辑中更精确地控制运动相关区域，同时将运动与外观分离，从而提升编辑的多样性和灵活性。
TI2V任务与MAGE生成器的创新点
文章提出了TI2V任务，即从静态图像和文本描述生成视频，并介绍了MAGE生成器，其包含运动锚结构以存储外观-运动对齐表示。通过三维轴向变压器与图像交互，支持可控性和多样性，两个新数据集验证了其有效性。
❓
Q&A
什么是TI2V任务？
TI2V任务是从静态图像和文本描述生成视频的一种新的视频生成任务。
MAGE生成器的主要特点是什么？
MAGE生成器包含创新的运动锚结构，支持可控性和多样性，并通过三维轴向变压器与给定图像交互。
该模型如何提升视频编辑能力？
通过引入运动个性化和伪光流技术，该模型能够从单一源视频中分离运动并修改主角，从而实现更广泛的视频编辑能力。
低秩适应的时空注意力层有什么作用？
低秩适应的时空注意力层使模型能够从单个参考视频中学习运动信息，以适应新的主题和场景。
该研究如何解决视频生成中的偏见问题？
研究通过传统的图像层面个性化方法和运动个性化技术，解决了现有视频编辑方法中的偏见问题。
该模型的应用场景有哪些？
该模型可扩展到多个下游任务，包括文本到视频生成和个性化视频编辑等创意应用。
🏷️
