CromSS:面向遥感图像分割的带有噪声标签的跨模态预训练

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

本文研究了在多模态学习框架中,利用噪声标签对语义分割模型进行预训练的潜力。通过交叉模态样本选择方法,确定噪声标签采样,并验证了该方法在遥感图像分割中的有效性。

🎯

关键要点

  • 研究了在多模态学习框架中利用噪声标签对语义分割模型进行预训练的潜力。
  • 提出了一种新颖的交叉模态样本选择方法(CromSS),用于地理空间应用。
  • 该方法利用多个传感器/模态模拟的像素和类别之间的类别分布进行噪声标签采样。
  • 通过熵来评估传感器上的预测结果一致性。
  • 使用SSL4EO-S12数据集中的Sentinel-1和Sentinel-2卫星图像进行预训练,验证了方法的性能。
  • 在DFC2020数据集上的迁移学习评估证实了该方法在遥感图像分割中的有效性。
➡️

继续阅读