ShareCMP: 极化感知的 RGB-P 语义分割
原文中文,约400字,阅读约需1分钟。发表于: 。通过构建一个带有 12 个典型水下语义类别的 UPLight RGB-P 分割基准,并采用共享双分支架构的 ShareCMP,使用 Polarization Generate Attention(PGA)模块和 Class Polarization-Aware Loss(CPALoss)方法,该研究论文在 RGB-P 数据集上取得了最先进的性能。
本研究提出了一种基于Transformer的跨模态融合架构,用于弥合多模态融合与全景场景感知之间的差距,并使用失真感知模块来处理极端对象变形和全景失真。通过跨模态交互实现特征矫正和信息交换,最终将特征合并以传达双模态和三模态特征流的长程上下文。在三个室内全景数据集中进行测试,达到了较高的性能。