协作式位置推理网络用于指代图像分割
内容提要
本文综述指代图像分割与理解研究，涵盖逐步学习多模态特征、InstanceRefer三维定位、ReCo无监督分割、跨模态渐进推理、CLEVR-Ref+数据集、RmLR人物交互检测、CRIS框架、MCN多任务协作网络及级联交互理解等方法，在RefCOCO等数据集上均取得优异性能。
延伸解读
多模态特征逐步学习与分割优化
文章提到一种基于逐步学习区分性多模态特征的方法，通过不断更新查询作为目标对象的表示，强化相关多模态特征，逐渐从定位中心转为分割中心，实现逐步修复缺失对象部分或去除多余部分。该方法在RefCOCO、RefCOCO+和G-Ref数据集上优于现有方法，表明这种渐进式策略能有效提升指代图像分割的精度。
无监督分割与预训练模型结合
ReCo方法将语言-图像预训练模型（如CLIP）的检索能力与无监督图像分割结合，无需像素级标注即可构建语义分割模型，并具备零样本转移能力，能生成少见对象的专用分割模型。这降低了标注成本，为开放词汇分割提供了新思路。
多任务协作网络提升REC和RES性能
MCN模型通过联合学习指代表达理解（REC）和分割（RES）两个相关任务，并设计创新机制解决预测冲突。在RefCOCO、RefCOCO+和RefCOCOg数据集上，REC和RES准确率分别提升7.13%和11.50%，证实了多任务协作能显著提升模型表现。
跨模态渐进推理与数据集构建
文章介绍了跨模态渐进理解方案，利用实体、属性和关系词汇进行空间与时间图形推理，解决语言表达的主语并输出像素级掩码。同时，CLEVR-Ref+合成数据集和IEP-Ref模块化网络被用于评估和提升指代表达理解，量化证明了模块行为的准确性。
Q&A
指代图像分割中，如何逐步学习区分性多模态特征来提升分割效果？
通过不断更新查询作为目标对象的表示，强化与之相关的多模态特征，逐渐从定位中心转为分割中心，实现逐步修复缺失对象部分和/或去除多余部分，在RefCOCO、RefCOCO+和G-Ref数据集上优于现有方法。
InstanceRefer模型是如何实现3D视觉定位的？
InstanceRefer利用语言描述实现目标类别预测，从3D点云的广义实例分割中筛选出少量实例候选项，利用多级语境推理和多层次特征匹配来实现最相关候选项的选择和定位，从而实现了优越的3D视觉定位结果。
ReCo方法如何实现无监督图像分割？
ReCo将语言-图像预训练模型（如CLIP）的检索能力与无监督图像分割方法结合，构建语义分割模型，无需像素级别标注，具有词汇表中概念名称的预测方便性和零样本转移能力，并能生成少见对象的专用分割模型。
跨模态渐进推理在指代图像分割中是如何应用的？
跨模态渐进理解方案分别应用于图像和视频的参考分割中，通过使用实体、属性和关系词汇进行空间图形推理和时间图形推理来解决语言表达的主语并输出像素级掩码。
CLEVR-Ref+数据集在指代表达理解任务中有什么作用？
CLEVR-Ref+合成数据集用于评估当前流行模型在指代表达理解任务中的表现，并提出了IEP-Ref模块化网络的方法来更好地理解中间推理过程，其中模块的行为得到了量化证明并展现了惊人的准确性。
CRIS框架如何实现指代图像分割？
CRIS是一种基于CLIP的端到端指代图像分割框架，采用视觉语言解码器和对比学习实现文本到像素级特征的对齐，在三个基准数据集上的实验结果表明其性能显著优于现有方法。
MCN多任务协作网络在指代表达理解和分割任务中取得了什么效果？
MCN通过联合学习REC和RES两个高度相关任务，并创新设计解决预测冲突，在RefCOCO、RefCOCO+和RefCOCOg数据集上，REC和RES的准确率分别提高了7.13%和11.50%，显著优于现有方法。
级联交互理解方法如何用于人体-目标交互理解？
该方法基于级联架构，包括实例定位和交互识别两个阶段，并引入关系排名和三元流分类器等组件，在边缘像素级别完成交互关系细分，实现了极佳的关系建模表现。
