SkyEyeGPT: 大型语言模型中通过指令调整实现遥感视觉 - 语言任务的统一
内容提要
遥感领域正发展大规模视觉语言模型，但缺乏高质量图文数据集。相关进展包括：RSICap人工标注字幕数据集与RSIEval评测基准、GeoChat多任务对话模型、SkyScript百万级图文对，以及无文本注释训练方法，共同推动遥感多模态任务发展。
延伸解读
数据瓶颈：高质量图文对是遥感大模型的关键
文章指出，遥感领域虽对大规模视觉语言模型兴趣浓厚，但现有研究多集中于视觉识别，缺乏对齐且适用于训练的大规模图像-文本数据集。RSICap提供2,585个人工注释字幕，包含场景与对象细节；SkyScript则利用地理坐标与OpenStreetMap语义构建260万图文对。两者分别代表“小而精”与“大而广”的数据构建思路，说明数据质量与规模仍是制约遥感多模态模型发展的核心因素。
评测与模型进展：从RSIEval到GeoChat
为评估视觉语言模型在遥感场景的表现，文章介绍了RSIEval基准，包含人工注释的字幕和视觉问答对，可全面评测模型能力。同时，GeoChat作为首个多功能遥感视觉语言模型，具备多任务对话能力，并能将对象与空间坐标关联，在多个遥感任务上展示零样本性能。这表明遥感领域正从单一识别任务转向对话式、多任务的统一建模，评测基准的完善与模型能力的提升相辅相成。
无文本注释训练：用互联网图像作中介
文章提到一种无需文本注释的训练方法：利用地面互联网图像作为遥感图像与语言之间的中介，通过大量配对的互联网和卫星图像，将遥感图像编码器与CLIP图像编码器对齐。该方法在零样本开放词汇分类、检索、分割和视觉问答任务上优于现有有监督VLM，分类最高提升20%，分割提升80%。这提示在标注成本高昂的遥感领域，借助跨域数据对齐可能是一条有效路径，但其泛化边界仍需进一步验证。
Q&A
RSICap数据集有什么特点？
RSICap是一个高质量遥感图像字幕数据集，包含2,585个人工注释的字幕，每个图像提供详细描述，包括场景描述（如居住区、机场或农田）和对象信息（如颜色、形状、数量、绝对位置等）。与以往模型生成或简短描述的数据集不同，它信息丰富且质量高。
RSIEval基准是用来做什么的？
RSIEval是一个用于评估遥感领域视觉语言模型的基准数据集，包含人工注释的字幕和视觉问答对，可以全面评估视觉语言模型在遥感背景下的性能。
GeoChat模型有哪些功能？
GeoChat是第一个多功能的遥感视觉语言模型，具备高分辨率遥感图像的多任务对话能力，能将对象视觉上与其空间坐标相关联，并通过扩展现有遥感数据集中的图像-文本对生成了领域特定的多模态指令跟随数据集，在多个遥感任务上展示了强大的零样本性能。
SkyScript数据集是如何构建的？包含多少数据？
SkyScript数据集通过地理坐标将无标签的遥感图像与OpenStreetMap中的丰富语义相连接构建而成，包含260万个图像-文本对，覆盖29K个不同的语义标签。
无文本注释训练遥感视觉语言模型的方法是什么？效果如何？
该方法使用地面上的互联网图像作为遥感图像和语言之间的中介，通过大量配对互联网和卫星图像，训练遥感图像编码器与CLIP图像编码器对齐，无需任何文本注释。这种无监督方法训练的VLM在零样本开放词汇分类、检索、分割和视觉问答任务上优于现有有监督训练的VLM，分类任务最高提升20%，分割任务提升80%。
领域基础模型（DFM）框架解决了什么问题？
DFM框架缩小了通用基础模型（GFM）和特定领域下游任务之间的差距，通过预训练的VLM将筛选后的遥感图像与英文描述配对，构成了第一个大规模遥感图像-文本匹配数据集。实验表明，使用该数据集和DFM方法在零样本分类和视觉语言检索任务上性能较好，并成功训练了RS Stable Diffusion模型。
