FM-Fusion: 基于视觉 - 语言基础模型的实例感知语义映射增强
内容提要
该文综述多项3D场景理解研究：利用语义实例识别构建物体级语义地图；提出低成本伪标签标注方法；Open-Fusion实现开放词汇3D建图；MaskFusion实现对象感知语义SLAM；SaFT提升小样本检测；Bridge3D借助基础模型预训练3D表示，在ScanNet上超越PiMAE 5.3%。
延伸解读
技术演进脉络
文章梳理了从2018年MaskFusion到2023年Open-Fusion等多项研究，呈现了3D场景理解从对象感知SLAM向开放词汇建图、基础模型融合的演进趋势。早期工作侧重实例级语义分割与动态SLAM，后期则借助视觉-语言模型和预训练基础模型，提升开放词汇与零样本能力，反映了领域对泛化性和实时性的持续追求。
低成本标注与数据效率
针对3D语义标注成本高的问题，文章提到一种利用多视图融合生成伪标签的标注方法，以及SaFT在小样本目标检测中的改进。这些工作共同指向降低对人工标注的依赖，通过多视图一致性校验和注意力融合机制，在有限数据下训练轻量级模型，为下游任务如目标导航提供支持。
基础模型驱动的3D表示学习
Bridge3D通过利用基础模型的特征、语义掩码和说明来预训练3D模型，在ScanNet数据集上超越PiMAE 5.3%。该方法展示了将2D和文本知识迁移到3D场景表示的有效性，为3D对象检测和语义分割提供了新思路，也体现了多模态预训练在3D理解中的潜力。
Q&A
FM-Fusion 是什么？它主要解决什么问题？
FM-Fusion 是一种用于机器人地图实时构建的方法，在实时扫描的同时，使用语义实例识别和多帧数据关联技术来构建基于物体的语义地图。评估结果表明，该方法能有效识别和跟踪预测的物体实例，并与最先进的方法竞争。
Open-Fusion 如何实现开放词汇的 3D 地图创建？
Open-Fusion 是一种实时的、开放词汇的 3D 地图创建方法，利用 RGB-D 数据进行场景重建，并结合预训练的视觉-语言模型（VLFM）和 Truncated Signed Distance Function (TSDF) 技术，实现无需额外训练的开放词汇 3D 分割，同时提供实时的场景理解和目标语义。
MaskFusion 系统有哪些特点？
MaskFusion 是一种实时、对象感知、语义和动态的 RGB-D SLAM 系统，利用图像实例级语义分割创建语义对象掩码，对物体进行识别和重建，不需要已知的物体模型，发展到实现实例感知、语义和动态等增强现实应用。
SaFT 是什么？它用于解决什么问题？
SaFT 全称 Semantic-aligned Fusion Transformer，是一个基于注意力机制的框架，用于解决数据稀缺情况下的单次目标检测问题。它采用竖直和水平融合模块实现跨尺度和跨样本特征的融合，通过语义对齐的注意力机制大幅提高性能，使得基于现有数据训练的一阶段检测基线的性能得到显著提升。
Bridge3D 如何提升 3D 场景表示学习？
Bridge3D 通过预训练使用基础模型的特征、语义掩码和说明来预训练 3D 模型，从而增强 3D 场景表示学习，包括使用基础模型的语义掩码来指导掩码和重建过程。此外，它使用基础模型生成高精度的物体级掩码和语义文本信息，促进基础 2D 和文本表示向 3D 模型的知识转移。该方法在 3D 对象检测和语义分割任务中优于现有的最先进方法，在 ScanNet 数据集上的最佳结果超过之前的最优方法 PiMAE 5.3%。
有哪些方法可以低成本地获取语义分割和目标检测的伪标签？
文章提出了一种在室内环境中获取语义分割和目标实例检测伪标签的成本效益标注方法，旨在为各种下游任务训练轻量级模型提供便利。该方法通过多视图标注融合阶段，识别和纠正单视图不一致现象，并通过与人工注释的比较和目标导航等下游任务的效果评估，证明了其有效性。
