Transcrib3D：通过大型语言模型解决 3D 指示表达
内容提要
本文提出了一种结合Transformer架构和DistilBert语言嵌入的空间语言模型，应用于3D视觉定位和对象预测。研究在ReferIt3D数据集上展示了竞争性表现，并探讨了多模态参考解析任务及其挑战，旨在提升机器人与人类的互动能力。此外，介绍了Chat-3D系统，能够理解3D场景指令并进行复杂推理，表现优于现有模型。
延伸解读
技术路线：从专用模型到统一框架
文章梳理了3D视觉定位领域的技术演进。早期工作如2021年的空间语言模型，采用Transformer结合DistilBert嵌入，在ReferIt3D数据集上取得竞争性表现。随后，研究转向统一框架，如3DRefTR整合了3D指代理解和分割任务，在ScanRefer数据集上表现优越。Uni3DL则进一步统一了多种3D任务，性能超过特定任务模型。这一趋势表明，领域正从解决单一任务转向构建通用模型。
大语言模型驱动3D场景理解
文章重点介绍了大语言模型（LLM）在3D场景理解中的应用。LLM-TPC框架利用LLM解决3D环境中基于自我观察的问答挑战，在SQA3D基准上表现出有效性、可解释性和鲁棒性。Chat-3D系统将预训练3D表示与LLM的推理能力结合，实现了首个3D场景通用对话系统，能理解指令并进行复杂空间推理，在指令数据集上相对GPT-4获得75.6%的相对得分。这显示LLM正成为提升3D交互能力的关键。
多模态参考解析的挑战与数据集构建
文章指出，理解物理世界的表达对人机协作至关重要。为此，研究者构建了日本对话数据集J-CRe3，包含主助机器人对话的主观视角视频和音频，通过跨模态标签连接短语与物体边界框，并涵盖间接参考、桥接引用等复杂关系。同时，另一项工作提出了包含自然语言描述复杂机器人任务的数据集，测试显示现有视觉语言导航和指涉表达模型均未取得理想结果，凸显了该任务的难度。
性能现状与改进空间
尽管模型在特定数据集上表现出竞争性，但文章也揭示了当前局限。例如，针对复杂机器人任务提出的交互式导航-指针模型在未见测试集上表现最佳，但与人类表现相比仍有很大改进空间。此外，基于图像的CLIP模型对对象的三维性质了解不足，添加视图估计可提高准确性。这些发现表明，3D视觉定位和场景理解仍面临挑战，需进一步探索。
Q&A
Transcrib3D的主要功能是什么？
Transcrib3D结合Transformer架构和DistilBert语言嵌入，用于3D视觉定位和对象预测。
Chat-3D系统如何提升人机互动能力？
Chat-3D系统能够理解3D场景指令并进行复杂推理，从而提升机器人与人类的互动能力。
在ReferIt3D数据集上的表现如何？
该模型在ReferIt3D数据集上表现出竞争性，适用于机器人等领域的视觉任务。
研究中提到的多模态参考解析任务有哪些挑战？
多模态参考解析任务面临建立可靠的对象-标识符对应关系和融入复杂空间关系的挑战。
Uni3DL模型的优势是什么？
Uni3DL是一个统一的3D和语言理解模型，支持多种3D任务，性能超过最先进的特定任务模型。
研究中使用了哪些数据集？
研究中使用了ReferIt3D数据集和日本对话数据集（J-CRe3）。
