潜空间中的生成人体动作风格化
内容提要
该文综述了基于深度学习的动作生成与编辑研究，涵盖利用预训练GAN分解视频动作、人到机器人动作重定向、自监督自编码器LIA潜空间线性导航生成图像、扩散模型合成数字人运动、MoStAtt机制增强视频动态、无监督局部潜子空间保持图像真实感、骨架动作生成、数据驱动运动风格转移、概率框架生成角色动画以及自监督生成多样自然人体动作等方法。
延伸解读
潜空间解缠：动作编辑与转移的基础
文章多次强调在潜空间中分解动作的语义因子，例如利用预训练GAN发现深层潜空间中的运动因子，实现运动解缠。这种思路使得选择性运动转移（如仅转移面部表情）成为可能，也为后续的人到机器人动作重定向、图像运动生成等任务提供了可解释、可操控的表示基础。读者可关注潜空间线性导航与正交运动方向学习如何提升生成质量与编辑灵活性。
生成模型演进：从自编码器到扩散模型
文章涵盖了自监督自编码器LIA、扩散模型、变分自动编码器等多种生成模型。LIA通过线性导航潜空间生成视频，扩散模型结合多任务架构合成数字人运动，而概率框架则利用层次循环模型保留运动随机性。这些方法在生成质量、多样性和物理合理性上各有侧重，反映了动作生成领域从确定性到概率性、从单一到多任务的技术趋势。
无监督与自监督：降低数据依赖的实用路径
文章介绍了多种无监督或自监督方法，如无监督局部潜子空间保持图像真实感、自监督生成多样自然人体动作、数据驱动的运动风格转移无需成对数据。这些方法减少了对昂贵标注或对齐数据的依赖，提升了在真实场景中的适用性。例如，运动风格转移框架能从视频直接提取风格并应用于3D动画，而无需3D重建，这为实际部署提供了便利。
应用前景：从数字人到机器人控制
文章不仅关注数字人运动合成，还涉及人到机器人动作重定向，通过共享潜空间和线性插值生成中间动作，增强自然人机沟通与信任。同时，基于骨架的动作生成、角色动画生成等方法可应用于游戏、影视和虚拟现实。这些应用展示了潜空间动作风格化技术在跨模态、跨平台场景中的潜力，但实际落地仍需考虑计算成本与实时性。
Q&A
如何利用预训练GAN分解视频中的动作？
通过发现神经网络深层潜在空间中语义上有意义的因子，实现运动解缠，从而分解视频中的动作。
LIA模型在潜在空间中进行线性导航有什么作用？
LIA是一种自监督自编码器模型，可以在潜在空间中进行线性导航以运动图像，避免使用结构表示，通过同时学习正交运动方向和其线性组合来生成视频。
数字人运动合成中使用了什么模型和方法？
使用Denoising Diffusion Probabilistic Model中的扩散模型和多任务架构来表示不同类别的动作内容和不同内部类别行为的样式，并使用对抗性和物理规则来实现全局引导。
MoStAtt机制在视频生成中有什么作用？
MoStAtt机制用于基于运动风格的视频生成模型，以增强帧的生动动态效果，并在四个条件下进行了使用大量跨帧的256×256合成视频，表现出了最先进的性能。
如何实现数据驱动的运动风格转移？
提出了一种数据驱动的运动风格转移框架，学习来自带样式标签的不成对运动集合，能够从视频直接提取运动风格进行转移，绕过3D重建并应用于3D输入运动，其中运动的内容和风格经过编码，分别在解码合成过程中起不同的作用。
如何生成多样且自然的人体动作？
提出了一种自我监督的方法，通过分解生成任务并使用记忆库检索动作引用作为短程片段生成的源材料，并通过参数化的双向插值方案保证生成运动的物理合理性和视觉自然性。
