遥感图像通用知识增强的预训练
内容提要
该文综述遥感图像自监督表示学习研究，提出地理知识驱动方法以减少标注需求，利用增强自监督解决对比学习假阳性与重构缺失上下文问题，介绍基于Transformer的Presto模型，探索域自适应知识迁移，系统回顾160余篇深度学习场景分类文献，设计光谱—空间自监督框架，验证大规模无标签预训练优于ImageNet，提出半监督FixMatch改进，构建SeCo管道，并比较单层与深度卷积网络性能。
延伸解读
地理知识驱动：减少标注依赖的新思路
文章指出，基于地理知识驱动的表示学习方法能提升网络性能并减少对注释数据的需求，被视为神经网络预训练的新典范。这提示读者，遥感领域的自监督学习正从通用视觉预训练转向融入地理先验知识，从而在标注成本高昂的场景下更具实用性。
自监督学习的两类改进：对比与重构
针对对比学习中的假阳性匹配和重构学习中的上下文缺失问题，文章介绍了一种增强型自监督方法，通过语义一致性约束提供上下文信息。实验显示，该方法在土地覆盖分类、语义分割、目标检测和实例分割等下游任务上优于全监督模型和现有自监督方法，说明其学到的表示具有较好的泛化性和可迁移性。
大规模无标签预训练优于ImageNet
文章提到，利用未标记的大规模遥感图像进行自监督预训练，在场景分类任务上表现优于以ImageNet为代表的传统预训练方法。同时，研究还考察了影响自监督学习的多个因素。这表明，遥感领域专用预训练可能比通用自然图像预训练更贴合任务需求，但具体效果仍受预训练数据规模、任务类型等因素影响。
半监督与域自适应的实践进展
文章介绍了半监督FixMatch改进方法，仅使用30%标注数据即在遥感数据集上比基准监督学习提升7.1%准确度，比CDS提升2.1%。此外，域自适应范式通过源数据集自监督预训练和目标数据集下游任务的循环交替，实现了知识转移。这些进展说明，在标注有限或跨域场景下，结合自监督与半监督策略具有实际潜力。
Q&A
遥感图像自监督学习如何减少对标注数据的依赖？
通过利用大规模无标签遥感数据进行预训练，学习可迁移的表示，从而减少下游任务对标注数据的需求。例如，基于地理知识驱动的方法提高了网络性能并减少了对注释数据的需求，可作为神经网络预训练的新典范。
Presto模型是什么？它在遥感领域有什么作用？
Presto是基于Transformer的预训练遥感模型（Pretrained Remote Sensing Transformer），用于遥感数据分析和处理，具有较高的性能和效率。
增强型自监督学习方法解决了哪些问题？
该方法通过简单高效的预训练流程，解决了对比学习中的假阳性匹配问题以及重构学习中缺失上下文信息的问题，并通过语义一致性约束提供上下文信息。
遥感图像自监督预训练与ImageNet预训练相比效果如何？
研究表明，利用未标记的大规模遥感图像进行自监督预训练，在场景分类任务上表现优于传统的ImageNet预训练方法。SeCo管道训练的模型在多个下游任务中也优于ImageNet预训练模型和最先进的自监督学习方法。
半监督FixMatch在遥感数据上如何改进？
通过适应FixMatch框架并消除训练数据中的偏差，使用30%的已标记数据，在遥感数据集上比基准监督学习提高了7.1%的准确度，比监督学习最新方法CDS提高了2.1%的准确度。
SeCo管道是什么？它有什么优势？
SeCo（Seasonal Contrast）管道是一种利用未标记数据进行领域内预训练遥感表示的方法。使用该管道训练的模型在多个下游任务中实现了比ImageNet预训练模型和最先进的自监督学习方法更好的性能。
深度卷积网络与单层网络在遥感分类中哪个更好？
深度架构比单层架构的分类性能更好。研究使用贪婪层次无监督预训练和高效的无监督特征学习算法提取稀疏特征，结果表明深度卷积网络优于单层网络。
