傀儡大师：将互动视频生成扩展为部件级动态的运动先验
内容提要
本文介绍了一种新方法，通过局部操纵学习物体的全局关节，利用视频训练物体动力学生成模型，实现对变形的局部交互控制。该方法在视频生成和人体动作生成领域表现出色，能够生成连贯的动画视频，提升视频质量和动作精度。
延伸解读
局部操控学习全局关节：思路与优势
该方法通过局部操控来学习物体的全局关节，训练时仅需移动物体的视频，无需了解物理场景底层的操纵。其核心是学习物体动力学的生成模型，响应用户互动并理解相互关联的不同物体部位，从而预测静态图像和像素局部操纵后物体弯曲的时间变化，实现变形的局部交互控制，并可针对不同类型物体进行转移。
与视频预测的差异：交互控制而非逼真合成
与现有的视频预测相比，该模型不合成任意逼真的视频，而是提供对变形的局部交互控制。这意味着其目标并非生成视觉上高度真实的视频，而是让用户能够通过局部操控来影响物体的变形过程，从而在交互性和可控性上具有优势。
技术脉络：从MDM到X-Portrait的演进
文章提及了多个相关模型：Motion Diffusion Model（MDM）在人体运动领域实现最先进结果；X-Portrait用于生成富有表现力且时间连贯的肖像动画；大运动模型（LMM）统一多模态运动生成任务；以及循环扩散模型解决动作序列不连贯和计算开销大的问题。这些工作共同推动了视频生成和人体动作生成的发展。
Q&A
这篇文章介绍了什么新方法？
文章介绍了一种通过局部操纵学习全局关节的方法，利用视频训练物体动力学生成模型，实现对变形的局部交互控制。
Motion Diffusion Model（MDM）在文章中有什么应用？
MDM是一种无分类器的扩散生成模型，专门用于人体运动领域，并在文本转运动和动作转运动的基准测试中取得了领先结果。
X-Portrait模型的主要特点是什么？
X-Portrait是一种条件扩散模型，旨在生成富有表现力且时间连贯的肖像动画。
文章中提到的循环扩散模型解决了什么问题？
循环扩散模型通过对时间维度建模，解决了现有方法生成的动作序列不连贯、时长短以及计算开销大的问题。
如何实现对运动方向和速度的精确控制？
通过基于运动先验和视频扩散模型的方法，能够在保持内容和场景一致性的同时，实现对可移动区域的运动方向和速度的精确控制。
大运动模型（LMM）有什么特点？
LMM是一个以运动为中心的多模态框架，将多种运动生成任务统一为一个通用模型，能够实现广泛泛化。
