基于连续分段仿射的图像动画运动模型
内容提要
该文综述图像与视频运动转移的多项研究：端到端无监督框架利用薄板样条估计运动并结合辅助损失提升生成质量；基于自监督将源图像按驱动视频动画化；无监督分离物体部件并追踪运动；用稀疏关键点合成三维人体长序列动作；深度学习框架包含关键点检测、密集运动预测与转移模块；无监督人脸动画同时学习粗糙与细致运动；基于关键帧约束的潜在运动流形生成中间帧；扩散模型结合姿势指导器实现角色动画；利用过去条件扩散模型生成可控长时三维人体动作。
延伸解读
运动表示从稀疏到稠密的演进
文章梳理的多项研究显示，图像动画的运动表示经历了从稀疏关键点（2018年框架、2023年三维人体动作合成）到密集光流（2022年薄板样条框架），再到局部仿射与潜在流形（2023年人脸动画、关键帧约束方法）的演变。这种演进的核心矛盾在于：稀疏表示易于控制但细节不足，稠密表示细节丰富但计算复杂且易受噪声干扰。读者可据此理解不同方法在控制精度与生成质量之间的权衡。
无监督学习成为主流范式
文中多数工作强调无监督或自监督学习，例如2020年基于自监督的源图像动画化、2021年无监督物体部件分离、2023年无监督人脸动画。这些方法不依赖标注数据或特定对象先验，试图从视频集合中自动学习运动规律。其优势在于泛化到未见对象，但文章也暗示，无监督方法在复杂场景下的稳定性仍需实验验证，且辅助损失函数的设计对最终质量有显著影响。
扩散模型推动长时与可控生成
2023年的两项工作将扩散模型引入角色动画和三维人体动作生成，分别通过姿势指导器和过去条件扩散模型实现可控、长时的运动合成。这标志着生成范式从早期的关键点检测与运动转移，转向以扩散模型为核心、强调时间连贯性和用户控制的方向。文章提到这些方法在时尚视频和舞蹈合成基准上取得最优结果，但未涉及推理效率或实际部署成本，读者需注意其应用边界。
Q&A
有哪些方法可以实现无监督的人脸动画？
一种无监督人脸动画方法能够同时学习粗糙和细致的面部运动：利用局部仿射运动模型学习全局粗糙面部运动，并设计运动细化模块补偿粗糙模型，通过源图像与驱动图像的密集相关性学习局部细致运动，在低分辨率与高分辨率之间迭代生成微小运动，最终结合粗糙与细化运动生成新图像，在基准测试中取得最佳结果。
如何从单张图像生成由驱动视频控制的动画？
基于自监督学习的框架可以将源图像中的对象根据驱动视频的运动进行动画处理，无需任何注释或特定对象的先验信息。该方法在训练视频集合上学习后，可应用于同类对象的任意实例。
图像动画中如何实现更灵活的运动估计？
一种端到端无监督运动转移框架使用薄板样条运动估计使光流更灵活，提高源图像的特征融合，并设计额外的辅助损失函数来生成高质量图像。实验表明该方法在多数基准测试中表现更好，姿态相关指标明显改进。
如何生成可控的长时三维人体动作？
利用过去条件扩散模型和两种可选的相干采样方法（过去修复采样和组合过渡采样），可以实现由用户指导的长文本流控制的组合且连贯的长期三维人体动作生成。
角色动画中如何保持细节特征的一致性？
一种针对角色动画的新型框架使用扩散模型保持细节特征的一致性，通过空间注意力合并细节特征，引入高效的姿势指导器控制角色运动，并采用有效的时间建模方法实现视频帧间的流畅过渡，在时尚视频和人类舞蹈合成基准上取得最先进结果。
如何自动分离物体部件并追踪其运动以用于动画？
一种基于完全无监督学习的运动表示方法能够自动分离物体中的不同部分并追踪它们的运动，提取出有意义且一致的区域表示物体的位置、形状和姿态，适用于各种物体，性能超过现有方法。
