InterDreamer: 零激活文本向三维动态人物 - 物体交互
内容提要
本研究提出了一种新方法，通过文本生成高质量的三维人物-物体交互场景。该方法利用双分支扩散模型和互动预测扩散模型，增强了人和物体之间的动作一致性。实验结果表明，该方法在生成逼真互动方面优于现有技术，能够有效处理复杂的空间关系和多样的物体形状。
延伸解读
技术核心：双分支扩散与接触预测
InterDreamer 采用双分支扩散模型（HOI-DM）分别生成人体和物体动作，并通过交叉注意力模块确保动作一致。互动预测扩散模型（APDM）独立预测接触区域，可纠正 HOI-DM 的潜在错误，并随机生成接触点以增加动作多样性。最终将接触点融入分类器引导，实现准确的人-物接触。这种模块化设计将复杂任务分解为子任务，提升了生成质量。
数据基础：Text-BEHAVE 数据集
研究通过为 BEHAVE 数据集添加文本描述，构建了 Text-BEHAVE 数据集，将文本与目前最大的 3D HOI 数据集无缝集成。该数据集用于训练和评估模型，支持生成具有各种互动和不同类型物体的逼真场景。数据集的构建为文本驱动的人-物交互生成提供了重要基准，推动了该领域的发展。
性能优势：超越现有方法
实验结果表明，InterDreamer 在生成逼真互动方面显著优于现有的最先进方法，能够有效处理复杂的空间关系和多样的物体形状。与 CG-HOI、THOR 等方法相比，InterDreamer 通过双分支扩散和接触预测机制，在动作一致性和物理合理性上表现更佳。这验证了其模块化设计和接触引导策略的有效性。
Q&A
InterDreamer 的主要创新点是什么？
InterDreamer 通过双分支扩散模型和互动预测扩散模型，增强了人和物体之间的动作一致性，生成高质量的三维人物-物体交互场景。
CG-HOI 方法是如何提高三维交互生成的真实性的？
CG-HOI 方法通过显式建模人体表面与物体几何之间的接触，生成更真实的交互序列。
GenZI 方法的优势是什么？
GenZI 是第一个零样本方法，利用视觉-语言模型生成 3D 人与场景的交互，避免了对捕获的 3D 数据的需求。
THOR 模型如何增强人和物体之间的时空关系？
THOR 模型通过关系干预机制引导人体和物体运动，增强了它们之间的时空关系。
D3D-HOI 数据集的用途是什么？
D3D-HOI 数据集用于评估人-物交互的质量，包含多种现实场景和摄像机视角。
KI2HOI 框架的主要功能是什么？
KI2HOI 框架整合视觉语言模型的知识，改进零样本人物-物体交互检测。
