统一多模态运动生成的大型运动模型
内容提要
本文介绍了一种新颖的多模态运动生成方法，利用预训练模型将身体部位的运动转换为离散运动令牌。该方法通过逐步预测生成完整序列，具备高保真度和可编辑性，能够在多个数据集上生成高质量动画，并显著提高生成速度。同时，研究探讨了大型语言模型在动作预测和城市移动中的应用，展示了多模态模型的潜力和效率提升。
延伸解读
离散运动令牌：多模态生成的核心机制
文章提出通过为不同身体部位定制码本，将多模态信号转换为共享潜在空间中的离散运动令牌。这种方法将动作生成视为令牌预测任务，利用预训练模型逐步预测后续令牌，最终重构连续运动。其优势在于可扩展性，能轻松整合新模态，为多模态运动生成提供了统一框架。
MMM模型：平衡实时性、保真度与可编辑性
基于掩码动作模型的MMM范例，通过将3D人体动作转换为离散标记序列，并利用条件掩码动画变换器预测掩码标记，实现了并行和迭代解码。在HumanML3D和KIT-ML数据集上，FID得分分别为0.08和0.429，超越当前领先方法，且速度比可编辑动作扩散模型快两个数量级，同时支持身体部位修改、动作插值和长序列合成等编辑功能。
LLM在动作预测与城市移动中的成本效益策略
研究利用大型语言模型增强全局交通语境理解，以提高动作预测准确性。考虑到LLM成本，提出仅使用0.7%的LLM增强数据集来扩大任务准确性。此外，探索了将LLM与城市移动数据对接的三个研究问题，展示了多模态模型在个性化移动生成中的潜力与效率提升。
Q&A
多模态运动生成方法的核心原理是什么？
该方法利用预训练模型将身体部位的运动转换为离散运动令牌，通过逐步预测生成完整序列。
这种运动生成方法在生成速度上有什么优势？
该方法在生成速度上显著提高，能够在多个数据集上生成高质量动画，超过当前领先的方法。
大型语言模型在动作预测中如何应用？
大型语言模型被用于增强全局交通语境理解，提高动作预测任务的准确性。
该研究提出了什么样的成本效益策略？
研究提出通过拥有0.7%的LLM增强数据集来扩大动作预测任务的准确性，降低成本。
多模态运动生成方法的可编辑性如何实现？
该方法具有固有的动作可编辑性，只需在需要编辑的位置放置掩码标记，即可自动填充空白部分。
MMM方法在生成高质量动画方面的表现如何？
MMM在生成高质量动画方面超过了当前领先的方法，FID得分分别为0.08和0.429。
