学习自适应融合模型以进行多模态显著目标检测
内容提要
本文提出了一种自适应融合方案，通过卷积神经网络提取特征，结合显著性地图，实现RGB和深度模态的显著性预测。设计了全监督训练的损失函数，方法在多个公开数据集上优于现有技术。此外，研究还提出了模态自适应Transformer和多模态特征聚合模块，以提升显著目标检测性能。
延伸解读
自适应融合的核心机制
文章提出的自适应融合方案，通过两个卷积神经网络分别提取RGB和深度特征，并预测各自的显著性地图。关键创新在于学习一个开关映射，动态决定如何融合两种模态的预测结果。这种设计使模型能根据输入内容自适应调整融合权重，而非固定组合，从而提升显著目标检测的鲁棒性。
全监督训练与损失设计
为了实现端到端训练，作者设计了包含显著性监督、开关映射监督和边缘保留约束的损失函数。显著性监督确保预测准确，开关映射监督引导融合开关学习，边缘保留约束则促使显著性边界更清晰。这种多任务监督策略共同优化网络，是性能提升的重要保障。
AM SOD任务与数据集贡献
文章将显著目标检测扩展到任意模态（AM SOD），即处理RGB、RGB-D、RGB-D-T等多种模态输入。为此构建了AM-XD数据集，并设计了调制切换网络（MSN），包含调制切换特征提取器和动态融合模块，能有效应对模态类型和数量的变化，推动该方向的研究。
模态自适应Transformer的改进
针对AM SOD中模态差异大和模态数量不确定的挑战，文章提出模态自适应Transformer（MAT）。它通过模态适应特征提取器（MAFE）为每种模态引入模态提示，并采用模态转换收缩损失增强区分性。融合阶段使用通道级和空间级动态融合模块，精确对齐不同层级的单模态特征，有效利用互补信息。
Q&A
自适应融合方案的主要功能是什么？
自适应融合方案通过卷积神经网络提取特征，结合显著性地图，实现RGB和深度模态的显著性预测。
文章中提到的损失函数设计包含哪些监督方式？
损失函数设计利用显著性监督、开关映射监督和边缘保留约束。
该方法在公开数据集上的表现如何？
该方法在多个公开数据集上优于现有技术，显示出自适应融合策略和边缘保留约束的优势。
模态自适应Transformer的作用是什么？
模态自适应Transformer旨在处理不同模态类型引起的模态差异，并优化多模态融合策略。
AM-XD数据集的目的是什么？
AM-XD数据集的构建旨在促进对任意模态显著目标检测的研究。
文章提出了哪些新模块以提升显著目标检测性能？
文章提出了模态自适应Transformer和多模态特征聚合模块，以提升显著目标检测性能。
