BriefGPT - AI 论文速递
·
DMM: 遥感倾斜目标检测的视差引导多光谱 Mamba
💡
原文中文，约500字，阅读约需2分钟。
📝
内容提要
本研究提出了一种名为DMM的检测框架，通过利用多模态之间的视差信息来自适应地融合RGB图像和IR图像的特征，减轻模态间冲突。实验证明该方法在多光谱定向目标检测中有效且计算效率高。
🎯
关键要点
- 本研究提出了一种名为DMM的检测框架，旨在解决多光谱定向目标检测中的模态间和模态内差异挑战。
- DMM框架包括三个模块：Disparity-guided Cross-modal Fusion Mamba（DCFM）、Multi-scale Target-aware Attention（MTA）和Target-Prior Aware（TPA）辅助任务。
- 通过利用多模态之间的视差信息，自适应地融合RGB图像和IR图像的特征，减轻模态间冲突。
- MTA模块通过聚焦RGB模态内的相关目标区域来增强特征表达，解决模态内变化问题。
- TPA辅助任务利用单模态标签指导MTA模块的优化，确保其专注于目标及其局部上下文。
- 在DroneVehicle和VEDAI数据集上的广泛实验证明了该方法的有效性，并在保持计算效率的同时优于现有方法。
➡️
