上下文感知交互网络用于 RGB-T 语义分割
内容提要
该文综述多种上下文感知网络：ICANet融合多模态与跨尺度特征以提升检测；图交互单元引入语言知识增强语义；CGNet以轻量结构捕获上下文，在Cityscapes和CamVid上优于同类；CaGNet实现零样本语义分割；CCNet利用交叉注意力高效捕获全局依赖，Cityscapes mIoU达81.9%；GCA-Net将图像取证AUC提升4.7%；此外还有兼顾精度与效率的RGB-D与RGB-T分割网络。
延伸解读
上下文感知网络的多路线演进
文章梳理了上下文感知网络的多种技术路线：ICANet侧重多模态与跨尺度融合，图交互单元引入语言知识，CGNet追求轻量高效，CaGNet面向零样本分割，CCNet利用交叉注意力捕获全局依赖。这些方法分别针对不同任务需求，如实时应用、移动机器人、图像取证等，体现了上下文建模在语义分割中的灵活性和多样性。
效率与精度的权衡设计
CGNet通过精心设计的轻量结构减少参数和内存占用，在Cityscapes和CamVid上以等效参数量优于现有网络；CCNet的循环交叉注意力相比非局部块显著降低计算量，FLOPs减少约85%，并在Cityscapes达到81.9% mIoU。这些案例表明，上下文感知网络并非一味追求精度，而是根据部署场景在效率与性能之间寻求平衡。
跨模态与零样本的扩展能力
ICANet混合两种模态特征实现跨模态信息融合，提升关键目标检测准确性；CaGNet通过上下文模块捕获像素级上下文，从语义词嵌入生成上下文感知特征，实现零样本语义分割的最先进结果。此外，RGB-T和RGB-D分割网络也展示了跨模态相关性在移动机器人和城市场景中的应用潜力，说明上下文感知机制可扩展至多模态和未见类别场景。
Q&A
ICANet 是如何提升关键目标检测准确性的？
ICANet 通过混合两种模态的特征实现跨模态信息融合，并利用 Multi-Scale Attention Reinforcement（MSAR）和 Upper Fusion（UF）模块进行跨尺度融合，从而提升关键目标的检测准确性。
CGNet 在语义分割任务中有什么优势？
CGNet 是一种轻量高效的语义分割网络，基于 CG 块学习局部特征和周围上下文的联合特征，并通过全局上下文进一步改善。它在所有网络阶段捕获上下文信息，设计上减少参数数量和内存占用，在等效参数数量下，在 Cityscapes 和 CamVid 数据集上显著优于现有分割网络。
CCNet 如何高效捕获全局上下文信息？
CCNet 使用 Criss-Cross attention 模块收集交叉路径上所有像素的上下文信息，并通过循环操作使每个像素最终捕获整个图像的依赖关系。该模块 GPU 内存友好（比非本地块少 11 倍），计算效率高（FLOPs 减少约 85%），在 Cityscapes 测试集上达到 81.9% mIoU。
CaGNet 如何实现零样本语义分割？
CaGNet 通过引入上下文模块来捕获像素级别的上下文信息，并从语义词嵌入中生成更丰富和上下文感知的特征，从而在零样本语义分割任务中取得最先进结果。
GCA-Net 在图像取证中的效果如何？
GCA-Net 使用非局部注意机制和门控机制捕捉图像不一致特征，以更好地识别伪造区域。在标准图像取证测试中，该方法相对于最先进的网络平均值提高了 4.7% 的 AUC，并且对归因具有鲁棒性，对误报具有抗性。
有哪些方法将语言知识引入视觉上下文推断？
图交互单元和语义上下文损失的方法将语言学知识引入视觉图，增强上下文推断和刻画高层语义，在场景解析等任务上取得了优越表现。
