具备 3D 理解的语言 - 图像模型
内容提要
本文介绍了一种新型3D大型语言模型（3D-LLMs），该模型通过处理3D点云来执行多种3D任务，表现优于现有方法。研究涵盖3D场景理解、医学图像分析及交互式智能体的开发，展示了在3D视觉理解和推理方面的显著进展。
延伸解读
3D-LLMs 的技术路径与数据基础
3D-LLMs 的核心是将 3D 点云引入大型语言模型，通过设计的提示机制收集超过 300k 的 3D 语言数据。这一数据规模为模型理解 3D 世界提供了基础，使其在 ScanQA 等任务上超越现有基准，并在 3D 字幕、任务组合和 3D 辅助对话方面优于 2D 视觉语言模型。这标志着 3D 视觉理解从专用模型向通用语言模型融合的趋势。
医学 3D 图像分析的进展与评估
在医学领域，研究利用大规模三维多模态医学数据集 M3D-Data 和多模态大型语言模型 M3D-LaMed，实现了先进的医学图像分析，并提出了自动评估基准 M3D-Bench。Med3DInsight 框架通过结合 3D 图像编码器和 2D MLLMs，以及 Plane-Slice-Aware Transformer 模块，在 CT 和 MRI 的多个公共数据集上取得最先进性能，且能轻松集成到现有网络中。
交互式智能体与 3D 场景对话系统
Scene-LLM 和 Chat-3D 等模型推动了 3D 场景中的交互能力。Scene-LLM 整合场景级和自我中心的 3D 信息，支持交互式规划；Chat-3D 则实现了首个 3D 场景通用对话系统，能理解指令、进行空间推理并融入外部知识，在指令数据集上相对于 GPT-4 获得 75.6% 的相对得分。这些进展为具身智能体在室内环境中的复杂交互提供了新可能。
Q&A
什么是3D大型语言模型（3D-LLMs）？
3D大型语言模型（3D-LLMs）是一种通过处理3D点云来执行多种3D任务的新型模型，表现优于现有方法。
3D-LLMs在ScanQA上的表现如何？
3D-LLMs在ScanQA上的表现超过了最先进的基准方法。
Med3DInsight框架的主要功能是什么？
Med3DInsight框架用于增强对3D医学图像的理解，并在医学图像分析中取得了最先进的性能。
Scene-LLM如何增强3D室内环境中的智能体能力？
Scene-LLM通过整合大型语言模型的推理能力和密集的3D视觉特征，增强了智能体在3D室内环境中的交互能力。
LL3DA系统的主要优势是什么？
LL3DA能够直接接收点云输入，并对文本指令和视觉提示进行回应，帮助消除3D场景中的歧义。
Chat-3D系统的创新之处在哪里？
Chat-3D结合了预训练的3D表示与大型语言模型的推理和对话能力，实现了首个用于3D场景的通用对话系统。
