InstructScene: 指令驱动的具有语义图先验的三维室内场景合成
内容提要
本文综述三维场景理解与生成研究，涵盖基于场景图的方法（用PointNet和GCN回归场景图并发布3DSSG数据集）、利用合成数据降低采集成本、全生成模型CommonScenes及语言引导风格转移、COINS合成人-场景交互、InstructSeq统一多模态任务、多模态扩散模型按文本生成点云、构建跨环境3D场景图，以及从单图推断分层3D表示。
延伸解读
从场景图到全生成：三维场景合成的技术演进
文章梳理了三维场景合成领域从理解到生成的发展脉络。早期工作如基于PointNet和GCN的场景图回归，侧重于对已有场景的结构化理解；随后CommonScenes等全生成模型则尝试直接生成可控的三维场景。这一演进反映了研究重心从“分析”向“创造”的转移，而场景图作为中间表示，在连接理解与生成任务中扮演了关键角色。
合成数据与多模态指令：降低数据依赖的两条路径
针对三维数据采集成本高的问题，文章提到了两种思路：一是利用计算机图形学生成合成3D场景，以替代昂贵的手动采集；二是通过自然语言指令驱动模型，如InstructSeq和文本生成点云的工作，减少对预构建CAD模型库的依赖。这两种路径分别从数据来源和交互方式上降低了三维内容创作的门槛。
跨环境场景图构建：应对概念层次与数据稀缺
在任意环境（室内和室外）中构建3D场景图面临概念层次复杂和训练数据不足的挑战。文章介绍的方法通过大型语言模型构建空间本体以减少人工，并利用逻辑张量网络引入逻辑规则作为额外监督，从而在稀疏标注下提升场景图生成质量。这为跨领域三维场景理解提供了可扩展的方案。
Q&A
3DSSG数据集是什么？它有什么作用？
3DSSG是一个新的数据集，用于支持基于场景图的三维场景理解方法的应用和评估。该方法将场景中的实体组织成图形式，运用基于PointNet和GCN的学习方法实现场景图的回归。
CommonScenes模型是如何生成可控三维场景的？
CommonScenes是一个基于场景图的全生成模型，通过抽象场景上下文，利用两个分支的预测和生成来捕捉全局场景-对象及局部对象-对象关系，同时保留形态多样性，从而在生成一致性、品质和多样性方面具有优势。
COINS模型能实现什么功能？
COINS是一个生成模型，可以在高级语义规格的控制下合成3D场景内与虚拟人之间的自然互动。它通过编码统一的潜在空间和位置编码来嵌入互动语义，并能自然地合成多个对象之间的组合互动，实验表明可以合成具有语义控制的真实人-场景交互。
InstructSeq框架有什么特点？
InstructSeq是一种多模态建模框架，通过灵活的自然语言控制和处理视觉和文本数据，将多样化的视觉任务统一起来。使用LLM生成的自然语言指令进行训练，在指定视觉任务的自由形式指令理解方面具有强大能力，并在语义分割、引用表达分割/理解和图像字幕等任务上取得令人信服的性能。
如何根据文本指令生成点云对象？
通过第一个端到端的多模态深度神经网络，可以根据文本指令生成与周围环境一致的点云对象，从而能够创建涉及以前未见过的物体布局的新场景，而无需预先构建的CAD模型数据库。
在任意环境中构建3D场景图面临哪些挑战？如何解决？
挑战包括室内和室外环境的概念层次复杂性和训练数据不足。解决方法包括构建空间本体和使用逻辑张量网络构建3D场景图。使用大型语言模型构建空间本体以减少手动工作量；利用逻辑张量网络添加逻辑规则或公理，提供附加监督信号，减少标记数据需求，并允许预测未见过的概念。
