PhyScene: 用于实体智能的可供物理交互的 3D 场景合成
内容提要
本文介绍了一种结合对抗性模仿学习和强化学习的系统，用于训练物理模拟角色在复杂场景中的交互。该系统无需手动注释数据，能够处理未见物体和场景。研究提出了I-PHYRE框架，强调代理人的物理推理能力，并介绍了COINS生成模型，实现自然的人-场景互动。此外，构建了PHASE数据集和Physion++基准，以评估多智能体的社会互动和视觉物理预测能力。
延伸解读
无需标注数据的训练策略
文章提出的系统结合对抗性模仿学习和强化学习，无需手动注释大型非结构化运动数据。训练时随机化物体属性和放置位置，使模型能够泛化到未见的物体和场景，并以自然的方式表现角色与场景的交互。这一方法降低了数据标注成本，提升了模型在复杂环境中的适应性。
物理推理与多步规划框架
I-PHYRE框架强调代理人的交互式物理推理能力，要求同时展示直觉物理推理、多步规划和原位干预。通过代表性场景的互动促进学习，该框架旨在缩小现有学习算法与人类表现之间的差距，推动物理模拟角色在复杂任务中的表现。
人-场景交互生成模型COINS
COINS生成模型能在高级语义规格控制下合成3D场景内虚拟人的自然互动。它通过编码统一的潜在空间和位置编码来嵌入互动语义，并能合成多个对象之间的组合互动。实验表明，该模型可以生成具有语义控制的真实人-场景交互，为场景合成提供了新工具。
评估基准与现有模型局限
PHASE数据集设计社会认知和社会预测任务，引入贝叶斯逆向规划方法验证多智能体复杂社会互动行为的识别。Physion++数据集和评测基准则严格评估视觉物理预测，发现所有现有先进模型都未能像人类一样进行物理预测。这些基准揭示了当前模型在物理推理方面的不足。
Q&A
I-PHYRE框架的主要功能是什么？
I-PHYRE框架强调代理人的物理推理能力，要求其展示直觉的物理推理和多步规划。
COINS生成模型如何实现人-场景互动？
COINS生成模型通过编码统一的潜在空间和位置编码，合成自然的人-场景互动，并在高级语义规格控制下进行。
PHASE数据集的目的是什么？
PHASE数据集旨在设计社会认知任务和社会预测任务，以验证多智能体的复杂社会互动行为。
Physion++数据集的评测基准有什么重要性？
Physion++数据集的评测基准用于严格评估视觉物理预测在人工系统中的表现，发现现有模型未能如人类般进行物理预测。
该系统如何处理未见物体和场景？
该系统通过随机对象属性和放置位置的训练，能够推广到未见物体和场景，无需手动注释数据。
文章中提到的物理建模新方法有哪些？
文章提出了三种新方法来解决通过物理建模推断外观和几何的挑战，为3D场景重建奠定框架。
