RoHM: 应用扩散方法实现稳健的人体动作重建
内容提要
该文综述扩散模型在人体动作生成与预测中的应用：ReMoDiffuse结合检索机制改进文本驱动动作生成；GazeMoDiff利用注视引导生成逼真运动；R2-Diff基于图像检索预测运动；DiffMotion实现随机运动预测；MotionDiff将运动学视为粒子扩散；BoDiffusion模拟全身运动；HuMoR从模糊观测中鲁棒估计姿态与形状。
延伸解读
扩散模型在动作任务中的多样角色
文章列举的多个工作显示，扩散模型并非只用于动作生成，而是覆盖了预测、重建、超分辨率等不同任务。例如，ReMoDiffuse和GazeMoDiff侧重生成逼真运动，R2-Diff和DiffMotion聚焦未来运动预测，HuMoR则从模糊观测中估计姿态与形状。这种任务分布的广泛性说明扩散框架可作为统一工具，但各方法针对的问题和输入模态差异较大，读者需注意区分其适用场景。
检索与外部引导如何增强生成
ReMoDiffuse和R2-Diff都引入了检索机制：前者在去噪过程中检索以改进文本驱动动作生成，后者从数据集中检索运动数据并基于图像特征寻找最近邻居。GazeMoDiff则利用眼球注视作为引导信号。这些方法表明，单纯依赖扩散模型本身可能不足，引入外部信息（检索库或生理信号）能提升生成或预测的逼真度与多样性。但这也意味着系统性能可能受检索数据质量和引导信号可靠性的影响。
鲁棒性提升的多种技术路径
文章提到多个工作致力于提升鲁棒性：HuMoR通过条件变分自编码器学习运动先验，从模糊观测中稳健估计姿态；RGB-D-Fusion引入深度噪声增强技术提升超分辨率模型鲁棒性；DiffMotion通过多阶段图卷积网络和方差调度器增强预测的准确与一致。这些方法从不同角度应对噪声、遮挡或分布偏移，但文章未提供统一的鲁棒性评估标准，读者在比较时需留意各自实验设定和数据集差异。
Q&A
ReMoDiffuse 是如何改进文本驱动的人体动作生成的？
ReMoDiffuse 是一种基于扩散模型的动作生成框架，它集成了一种检索机制来改善去噪过程，从而提高了文本驱动动作生成的通用性和多样性，并在更多样化的动作生成方面优于现有最先进方法。
GazeMoDiff 如何利用注视信息生成人体运动？
GazeMoDiff 是一种注视引导的去噪扩散模型，它学习眼球注视和人体运动之间的时空相关性，从而生成逼真的人体运动，实验证明其在平均位移误差上超过了现有方法。
R2-Diff 在机器人操作中是如何进行运动预测的？
R2-Diff 是一种基于图像的运动预测方法，它从数据集中检索运动数据，通过调整模型超参数进行细化，并基于图像特征检索最近邻居运动，从而精确预测适当运动并在机器人操作中取得高任务成功率。
DiffMotion 如何实现随机人体运动预测？
DiffMotion 是一个基于扩散的随机人体运动预测框架，它使用多阶段图卷积网络和方差调度器来预测未来的姿势序列，使预测结果准确、逼真、一致，并在准确度和保真度上明显优于先前方法。
MotionDiff 模型如何将人体运动视为粒子扩散？
MotionDiff 是一种扩散概率模型，它将人体运动的运动学视为受热的粒子，从原始状态扩散到噪声分布，通过一种自然的方式获取“白化”的潜在变量而无需可训练参数，并在两个数据集上表现出有竞争力的准确性和多样性。
HuMoR 如何从模糊观测中鲁棒估计人体姿态和形状？
HuMoR 是一个用于鲁棒估计时间姿态和形状的 3D 人体运动模型，它是一个表达能力强的条件变分自编码器生成模型，学习运动序列每一步姿态变化的分布，通过灵活的优化方法利用运动先验知识从模糊观测中估计合理姿态和形状，并能从多种输入模态（包括 3D 关键点和 RGB(-D) 视频）重建运动。
