BriefGPT - AI 论文速递
·
COLLAGE：基于分层潜在扩散与语言模型的人机协作交互生成
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
我们研究了通过文本指令生成逼真的三维人-物互动。采用模块化设计，将任务分解为简单子任务。开发了双分支扩散模型（HOI-DM）用于生成人物动作，和互动预测扩散模型（APDM）用于预测接触区域。APDM可以独立于HOI-DM工作，纠正错误并增加动作多样性。通过BEHAVE数据集进行训练和评估，结果显示该方法能生成多样化的人-物互动。
🎯
关键要点
- 研究通过文本指令生成逼真的三维人-物互动。
- 采用模块化设计，将复杂任务分解为简单子任务。
- 开发双分支扩散模型（HOI-DM）用于生成人和物体的动作。
- 通过交叉注意力通信模块促进一致的动作。
- 开发互动预测扩散模型（APDM）用于预测接触区域。
- APDM独立于HOI-DM工作，能够纠正潜在错误并增加动作多样性。
- 随机生成接触点以多样化生成的动作。
- 通过BEHAVE数据集的文本描述进行训练和评估。
- 实验结果表明方法能够产生多样化的逼真互动。
➡️
