RESMatch: 半监督方式下的指代表达式分割
内容提要
本文综述指代表达分割（RES）的多项进展：提出群组式GRES任务、GRD数据集与GRSer基线；全监督Omni-RES利用未标记和弱标记数据；多层次MRES任务及UniRES模型；广义GRES基准gRefCOCO与ReLA方法；元学习MCRES提升组合泛化；多任务协作网络MCN联合REC与RES；GSVA用多模态大模型刷新记录；弱监督零样本框架；TV-Net增强视觉提示；3D-STMN实现高效三维RES。
延伸解读
从单目标到多目标：GRES 任务与数据集
文章指出，传统指代表达分割通常假设表达式指向单一目标，而群组式指称表达分割（GRES）允许表达式引用任意数量的目标物体，更贴近实际场景。为此，作者构建了首个大规模数据集 gRefCOCO，并提出了基于区域的基线方法 ReLA。实验发现，GRES 的核心挑战在于复杂的关系建模，而 ReLA 在 GRES 和经典 RES 任务上均达到了先进水平。
监督信号的高效利用：Omni-RES 与弱监督框架
针对 RES 训练中标注成本高的问题，文章介绍了全监督引用表达分割（Omni-RES）任务，旨在同时利用未标记、完全标记和弱标记数据。基于师生学习的方法，Omni-RES 在性能上明显优于全监督和半监督方案，并使得 Visual Genome 等大规模视觉语言数据能够低成本用于 RES 训练。此外，另一项工作通过零样本弱监督框架，在弱监督下达到了与全监督方法相近的性能。
多任务与多模态融合：MCN 与 GSVA
文章提到，多任务协作网络（MCN）通过联合学习指代表达理解（REC）和分割（RES），并设计机制解决预测冲突，在 RefCOCO 等基准上显著提升，REC 和 RES 准确率分别提高 7.13% 和 11.50%。另一项工作 GSVA 利用多模态大语言模型解决广义引用表达分割问题，在 gRefCOCO 数据集上刷新了记录，展示了多模态大模型在 RES 领域的潜力。
三维与视觉提示增强：3D-STMN 与 TV-Net
在三维指代表达分割中，3D-STMN 通过超点-文本匹配机制和依赖驱动交互模块，在 ScanRefer 基准上 mIoU 提升 11.7 个百分点，速度提升超过传统方法 95.7 倍。针对二维场景中视觉线索不足的问题，TV-Net 采用两阶段视觉提示增强网络，有效增强参考物体的视觉信息，在四个基准数据集上验证了其有效性并超越了现有技术。
Q&A
什么是群组式指代表达分割（GRES）？
群组式指代表达分割（GRES）是一种更实际、更通用的多模态任务，旨在根据给定的表达式分割出目标物体的完整群组。该任务由本文提出，并引入了群组式指称数据集（GRD）以及基线方法GRSer。
Omni-RES 如何利用未标记和弱标记数据？
Omni-RES 是一种全监督引用表达分割任务，旨在充分利用未标记、完全标记和弱标记数据进行高效训练。它基于师生学习方法，解决了监督信号不直接依赖于弱标签的问题，实验证明其性能优于全监督和半监督方案。
UniRES 模型解决了什么任务？
UniRES 模型用于完成多层次指代表达式分割任务（MRES），该任务需要统一的对象级和部分级视觉对齐。UniRES 在 RefCOCOm、RefCOCO (+/g) 等数据集上表现出优越性。
ReLA 方法在广义指代表达分割中有什么作用？
ReLA 是一种基于区域的 GRES 基线方法，它适应性地将图像划分为具有子实例线索的区域，并显式建模区域-区域和区域-语言之间的依赖关系。实验表明，ReLA 在 GRES 和经典 RES 任务上达到了最新性能水平。
MCRES 框架如何提升组合泛化性能？
MCRES 框架通过元学习角度，驱使模型更好地捕捉单个概念的语义和视觉表示，从而在处理新的组合时获得稳健的泛化性能。在三个基准数据集上的实验证明了其有效性。
3D-STMN 在 3D 指代表达分割中取得了什么成果？
3D-STMN 是一种端到端的 Superpoint-Text Matching Network，用于 3D 指代表达分割。它通过超点文本匹配机制和依赖驱动交互模块，在 ScanRefer 基准上 mIoU 提升了 11.7 个百分点，速度提升超过传统方法 95.7 倍。
