跨尺度 MAE: 遥感中多尺度利用的故事
内容提要
掩码自编码器（MAE）是一种可扩展的自监督视觉学习框架，通过编码器与轻量解码器重建图像，支持大型模型训练。该技术已扩展至遥感领域，用于SAR与多光谱数据融合、跨传感器图像检索、高光谱与激光雷达联合分类及3D点云预训练，并提升下游任务性能。
延伸解读
MAE在遥感中的多尺度应用
文章展示了MAE在遥感领域的多种应用，包括SAR与多光谱数据融合、跨传感器图像检索、高光谱与激光雷达联合分类以及3D点云预训练。这些应用表明MAE能够处理不同尺度和模态的遥感数据，为多源数据融合提供了自监督学习方案。
跨传感器检索的挑战与进展
传统遥感图像检索假设单一传感器，而CSMAE模型首次探讨了MAE在跨传感器检索中的有效性。通过掩码图像建模，CSMAE为单模态和跨模态检索提供了指导方针，解决了多传感器图像库的检索问题，推动了跨传感器检索的实际应用。
性能提升与可扩展性
SatMAE结合时间嵌入和多光谱数据分组打包，在基准数据集上监督学习性能最高提升7%，迁移学习能力提升14%。FG-MAE在SAR图像上表现特殊增强，并发布了首批中分辨率SAR和多光谱预训练视觉转换器，展示了MAE在遥感中的可扩展性。
Q&A
MAE 在遥感领域有哪些主要应用？
MAE 在遥感领域的主要应用包括：SAR 与多光谱数据融合、跨传感器图像检索、高光谱与激光雷达联合分类、3D 点云预训练，以及提升下游任务性能。
MAE 的核心设计是什么？
MAE 的核心设计包括：一种不对遮罩令牌进行编码的编码器，以及一种从潜在表示和遮罩令牌中重建原始图像的轻量级解码器。同时使用高比例的遮罩令牌，保持训练图片完整性，提高训练精度并加速计算。
SatMAE 如何提升遥感分类性能？
SatMAE 通过结合时间嵌入和分组打包多光谱数据来提高预训练能力，从而在基准数据集上提升监督学习性能最高达 7%，并在后续遥感分类任务中表现出强大的转移学习能力，最高提升 14%。
CSMAE 解决了什么问题？
CSMAE 首次探讨了 MAE 在遥感领域跨传感器基于内容的图像检索（CBIR）中的有效性，针对多传感器遥感图像库提出了不同的掩码图像建模模型，解决了单模态和跨模态 CBIR 问题。
SS-MAE 用于什么任务？
SS-MAE 是一种空间-光谱掩码自编码器，用于高光谱成像和激光雷达/合成孔径雷达数据的联合分类，实现空间和光谱表示的充分利用，并通过添加轻量级卷积神经网络补充局部特征，在三个公开数据集上验证了其优越性。
Point-M2AE 是什么？
Point-M2AE 是一种新的多层次自监督学习框架，用于使用掩码自编码器预训练 3D 点云的分层表示学习，具有优越的性能并超过了其他完全训练的方法。
