大型遥感影像密集预测的 RS-Mamba
内容提要
RSMamba 是一种新型遥感图像分类架构，利用状态空间模型和动态多路径激活机制，提升了对非因果数据的建模能力。研究还提出了 RS3Mamba 和 Samba 框架，分别用于语义分割和高分辨率图像处理，展现出卓越性能。此外，RSAM-Seg 通过适应性修改 SAM 模型，改善了遥感图像分割效果，尤其在少样本情况下表现突出。
延伸解读
状态空间模型在遥感领域的兴起
文章显示，状态空间模型（SSM）和Mamba正被广泛应用于遥感图像处理。从RSMamba用于分类，到RS3Mamba和Samba用于语义分割，再到VmambaIR用于图像恢复，SSM展现出处理长距离依赖和非因果数据的能力。这些工作表明，SSM有望成为遥感视觉任务的新骨干，但多数研究仍处于实验阶段，实际部署效果需进一步验证。
语义分割的多样化解决方案
针对遥感图像语义分割，文章介绍了RS3Mamba和Samba两种框架。RS3Mamba采用双分支网络，在ISPRS Vaihingen和LoveDA Urban数据集上验证了有效性；Samba则使用编码器-解码器架构，在LoveDA数据集上取得了前所未有的性能。两者都基于Mamba技术，但设计思路不同，为不同场景提供了选择。
RSAM-Seg对SAM的适应性改进
RSAM-Seg在SAM基础上进行修改，通过Adapter-Scale和Adapter-Feature模块融入高频信息和图像嵌入特征，消除了手动提示的需求。在云检测、场地监测、建筑物检测和道路制图四个任务上，RSAM-Seg不仅改善了原始SAM和U-Net的效果，还在少样本情况下表现突出，并具有辅助注释的潜力。
遥感视觉语言模型的数据集进展
文章提到构建了包含1.4百万图像-字幕对的大规模高质量细节遥感图像数据集HqDC-1.4M，以及RSSA数据集，后者通过纳入无法回答的问题来改善模型输出的真实性和幻觉现象。基于这些数据集提出的H2RSVLM模型在多个公共遥感数据集上取得出色性能，并能识别和拒绝无法回答的问题，增强了遥感视觉语言模型的诚实度。
Q&A
RSMamba 是什么？
RSMamba 是一种新型遥感图像分类架构，基于状态空间模型和动态多路径激活机制，提升了对非因果数据的建模能力。
RS3Mamba 的主要应用是什么？
RS3Mamba 是一种双分支网络，专用于遥感图像的语义分割任务，已在多个数据集上验证其有效性。
Samba 框架的特点是什么？
Samba 框架采用编码器-解码器架构，专注于高分辨率遥感图像的语义分割，表现出色。
RSAM-Seg 如何改善遥感图像分割效果？
RSAM-Seg 通过适应性修改 SAM 模型，消除了对手动干预的需求，特别在少样本情况下表现突出。
VmambaIR 方法的优势是什么？
VmambaIR 结合状态空间模型，提升了图像恢复任务的性能，克服了单向建模限制。
这些遥感技术的研究对未来有什么影响？
这些技术的研究提升了遥感图像处理的性能，可能成为未来视觉基础模型的骨干。
