InterHandGen: 基于级联逆向扩散的双手交互生成
内容提要
本文提出了HandDiffuse12.5M数据集，旨在生成高质量的双手互动动作。通过扩散模型和InterGen方法，用户可以用文本指导自定义动作。同时，研究介绍了姿势条件的人体图像生成技术，提升了手部细节和图像质量。此外，利用HOIDiffusion方法生成三维手物体交互数据，改进了图像生成的准确性和多样性。
延伸解读
数据集与基准方法的关系
HandDiffuse12.5M 数据集专注于强烈的双手互动时间序列，为可控手势生成提供数据基础。基于此，研究者提出了 HandDiffuse 作为强基准方法，它利用扩散模型和两种运动表示方法设计不同控制器。实验表明，该方法在运动生成上优于现有技术，并且能用于其他数据集的数据增强，显示了其泛化能力。
文本指导交互生成的发展
InterGen 方法将人与人之间的交互融入运动扩散过程，使普通用户仅用文本指导即可自定义高质量的两人互动动作。类似地，DiffH2O 从文本提示和物体几何形状合成手物交互，并通过手抓阶段和基于文本的交互阶段以及两种引导方案实现更多控制。这些工作共同推动了文本驱动交互生成的发展。
手部图像生成的阶段化策略
姿势条件的人体图像生成方法将过程分为两个阶段：首先生成手部，然后在手周围绘制身体。手生成器在多任务设置中训练，同时产生手图像和分割掩模；第二阶段使用改进的 ControlNet 模型绘制身体，并采用混合技术保留手部细节。实验证明该方法在姿势准确性和图像质量上优于现有技术。
手物交互数据生成与重建
HOIDiffusion 方法生成逼真且多样化的三维手物体交互数据，用于学习 6D 物体位姿估计，提高感知系统效果。此外，通过短视频重建手物交互的方法将 3D 推断视为每个视频的优化，恢复物体形状的神经 3D 表示以及时间变化的动作和手关节，并利用扩散网络作为先验指导重建，在多个物体类别上优于先前方法。
Q&A
HandDiffuse12.5M数据集的主要用途是什么？
HandDiffuse12.5M数据集用于生成高质量的双手互动动作。
InterGen方法如何帮助用户生成双手互动动作？
InterGen方法允许用户通过文本指导自定义高质量的两人互动动作。
姿势条件的人体图像生成技术是如何分阶段进行的？
该技术分为手的生成和在手周围绘制身体两个阶段。
HOIDiffusion方法在生成三维手物体交互数据方面有什么优势？
HOIDiffusion方法提高了图像生成的准确性和多样性。
如何通过扩散模型改进手物互动图像生成？
通过使用高质量的标注数据和微调稳定的扩散模型来改进生成效果。
该研究如何评估生成图像的质量？
通过定性和定量指标如CLIPScore、ImageReward等进行评估。
