3D-GRES: 通用三维指代表达分割
内容提要
本文提出了群组式指称表达分割（GRES）任务及其数据集（GRD），并介绍了基线方法GRSer，旨在捕获语言与视觉的交互。研究还提出了多层次指代表达式分割任务（MRES）及其评估基准，展示了新模型在多个数据集上的优越性能。此外，探讨了3D场景中的指称表达理解与分割，提出了统一框架3DRefTR，以提升模型的泛化能力和性能。
延伸解读
GRES任务的实际意义
群组式指称表达分割（GRES）允许一个表达式指代任意数量的目标物体，更贴近实际应用场景。相比传统指称表达分割（RES）通常只处理单个目标，GRES要求模型理解群组概念和物体间关系，这增加了任务难度，但也提升了实用性。文章提出的GRD数据集为这类任务提供了完整的群组式注释，有助于推动多模态理解在复杂场景下的发展。
技术挑战与解决方案
GRES面临空间关系复杂性和多指代目标理解模糊性的挑战。为此，文章引入了HDC框架，通过层次化语义解码和计数辅助来增强对象感知。此外，基于区域的基线方法ReLA通过建模区域-区域和区域-语言依赖关系，在GRES和经典RES任务上达到最新性能。这些方法表明，显式建模关系是提升GRES性能的关键。
3D场景中的统一框架
在3D点云视觉定位中，3D指称表达理解（3DREC）和分割（3DRES）通常被分开处理。文章提出的3DRefTR框架将两者统一，在ScanRefer数据集上取得了优越性能。这种统一框架有助于提升模型的泛化能力，减少任务间的冗余，为3D场景下的多模态理解提供了新思路。
Q&A
什么是群组式指称表达分割（GRES）任务？
群组式指称表达分割（GRES）任务是一种多模态任务，旨在通过语言描述对目标物体进行分割，并引入了包含完整群组式注释的数据集（GRD）。
GRSer方法的主要功能是什么？
GRSer方法旨在捕获语言与视觉的交互，实现群组式指称表达分割（GRES）及相关任务的最先进结果。
多层次指代表达式分割任务（MRES）有什么特点？
多层次指代表达式分割任务（MRES）构建了一个评估基准，并设计了UniRES模型，以完成统一的对象级和部分级视觉对齐任务。
3DRefTR框架的目的是什么？
3DRefTR框架旨在提升3D场景中指称表达理解与分割的性能，整合3D指称表达理解和分割任务。
HDC框架如何解决GRES中的问题？
HDC框架通过引入层次语义解码和计数辅助，解决了GRES中的空间关系复杂性和多指代情景中的目标理解模糊性问题。
MABP模型的创新之处在哪里？
MABP模型通过自适应绑定原型，将查询绑定到相应区域的物体特征上，显著提高了解码器的灵活性，并减轻了编码器的压力。
