基于文本的 3D 人体动作生成的多轨道时间线控制
内容提要
该文综述文本驱动人体动作生成研究，涵盖：利用大型语言模型从长文本提取轨迹与动作以解决位置约束和不稳定问题；结合语言结构与上下文推理生成细粒度动作；通过量化码本与多模态令牌预测实现统一生成；采用两级流模型分别建模上下半身以生成复合动作；TEACH基于Transformer生成时间组合动作；扩散模型结合过去条件与相干采样实现长时连贯动作；Make-An-Animation利用大规模伪姿势数据提升性能；DiffKFC以关键帧与扩散协作控制粗细粒度生成；并支持自然语言迭代编辑动画。
延伸解读
长文本控制：从位置约束到无限轨迹
文章指出，利用大型语言模型从长文本中提取控制信号和无限长的运动轨迹，可解决文本生成动作时的位置约束与不稳定问题。这意味着系统能处理更长的描述，并保持轨迹连贯，在轨迹跟随、时间动作组合和动作混合等子任务上优于现有方法。读者可关注其如何将长文本拆解为可执行的轨迹与动作指令。
细粒度生成：语言结构与上下文推理
另一项工作结合语言结构辅助模块和上下文感知渐进推理模块，实现支持精确文本描述的高质量动作序列。实验在 HumanML3D 和 KIT 测试集上胜过基于文本驱动的动作生成方法，并能生成视觉确认更好的动作。这表明对文本结构的显式建模有助于提升动作与描述的细粒度对齐。
统一令牌框架与复合动作建模
文章提到通过量化身体部位运动为定制码本，将多模态信号转换为共享潜在空间，再逐步预测令牌并重构连续运动，使多模态动作生成可扩展。同时，两级流模型分别建模上下半身，能生成短句和复合句描述的3D姿态序列，客观评价进步超50%。这展示了统一表示与分部位建模两条技术路径。
扩散模型与关键帧协作的粗细控制
DiffKFC结合关键帧与条件扩散模型，通过Dilated Mask Attention实现身体姿势的微观描述，达到粗细粒度协同生成，在HumanML3D和KIT等数据集上表现先进。此外，Make-An-Animation利用大规模伪姿势数据提升性能，而基于过去条件的扩散模型支持长时连贯动作生成。这些方法共同指向对生成过程更精细的控制。
Q&A
如何从长文本生成无限长的3D人体运动轨迹？
使用大型语言模型作为驱动，从长文本中提取控制信号、无限长的运动轨迹和动作，从而解决位置约束和不稳定性的问题。
有哪些方法可以生成细粒度的文本驱动人体动作？
通过结合语言结构辅助模块和上下文感知渐进推理模块，生成支持精确文本描述的高质量、有条件的人体动作序列。
如何将多模态信号统一转换为运动令牌？
通过量化多种身体部位的运动为其各自领域定制的码本，利用预训练模型将多模态信号转换为共享的潜在空间，并通过逐步预测后续令牌形成完整序列，最后从令牌序列中重构连续的实际运动。
两级流模型如何生成复合动作？
利用两个流分别表示上下半身的动作，能够有效地生成短句和复合句中描述的3D姿态序列，实验表明在客观评价方面进步了50%以上。
TEACH方法如何根据自然语言生成时间组合动作？
TEACH是一种基于Transformer的方法，利用BABEL动作文本集合，能够根据自然语言描述生成符合语义的3D人体动作，实现由多个动作组成的时间动作构成。
如何生成长期连贯的3D人体动作？
利用过去条件扩散模型和两种可选的相干采样方法：过去修复采样和组合过渡采样，实现由用户指导的长文本流控制的组合和连贯的长期三维人体动作生成。
Make-An-Animation模型有什么特点？
Make-An-Animation是一个基于文本的人体运动生成模型，训练包括使用从大规模图像文本数据集中提取得到的（文本，静态伪姿势）对的精选大规模数据集以及微调运动捕捉数据，并使用U-Net架构，达到了text-to-motion生成中最先进的性能水平。
DiffKFC如何实现粗细粒度的运动生成控制？
DiffKFC建立了一个条件扩散模型，结合了关键帧来协作控制运动，通过Dilated Mask Attention模块来实现对身体姿势的微观描述，以实现高效、协同、粗细粒度的生成运动。
如何用自然语言对现有动画进行迭代编辑？
使用自然语言来迭代地指定对现有字符动画进行本地编辑的方法。通过使用一组有确定语义的运动编辑操作符来表示运动编辑空间，然后使用扩散基的关键帧插值生成最终动画。
