ReCon1M: 一个大规模用于远程感知图像关系理解的基准数据集
内容提要
本文基于深度卷积神经网络构建了遥感图像分类基准测试集，包含256×256和128×128像素的子数据集。研究了遥感图像中的密集物体计数，构建了大规模计数数据集，并设计了新型神经网络生成密度图。此外，通过与OpenStreetMap连接，创建了包含260万个图像-文本对的视觉-语言数据集SkyScript，提升了模型在多模态任务中的表现。
延伸解读
数据集构建与基准测试
文章基于众包数据构建了遥感图像分类基准测试集，包含256×256和128×128像素两个子数据集，用于比较手工特征和经典深度卷积神经网络模型的表现。这为遥感图像分类提供了标准化的评估平台，有助于推动模型性能的客观对比。
密集物体计数与密度图生成
针对遥感图像中密集物体计数的难题，文章构建了大规模计数数据集，并设计了一种新型神经网络生成输入图像的密度图。实验证明了该方法的卓越性和有效性，为遥感图像中的密集物体计数提供了新的解决方案。
视觉-语言数据集SkyScript
通过地理坐标将无标签遥感图像与OpenStreetMap语义连接，文章构建了包含260万个图像-文本对的视觉-语言数据集SkyScript，覆盖29K个语义标签。在此数据集上持续预训练获得的视觉-语言模型，在七个基准数据集上平均准确率提升6.2%，并展示了零样本迁移能力。
多模态任务的应用前景
SkyScript数据集有望支持遥感领域中各种多模态任务的视觉-语言模型进展，如开放词汇分类、检索、字幕生成和文本到图像合成。这为遥感图像理解提供了新的数据资源和研究方向。
Q&A
ReCon1M数据集的主要用途是什么？
ReCon1M数据集主要用于遥感图像分类和密集物体计数的基准测试。
ReCon1M数据集包含哪些子数据集？
ReCon1M数据集包含256×256和128×128像素的两个子数据集。
SkyScript数据集的特点是什么？
SkyScript数据集包含260万个图像-文本对，覆盖29K个不同的语义标签，旨在提升多模态任务的表现。
如何提高遥感影像的超分辨率？
通过利用预训练的生成模型结合结构和语义线索，可以提高遥感影像的超分辨率。
ReCon1M数据集如何支持多模态任务？
ReCon1M数据集通过与OpenStreetMap连接，提供丰富的视觉-语言数据，支持多模态任务的进展。
新型神经网络在ReCon1M中有什么作用？
新型神经网络用于生成输入图像的密度图，以实现密集物体计数。
