ViGEO：地球观测中视觉图神经网络评估
内容提要
本文综述视觉图神经网络（ViG）及其在遥感图像处理中的应用。ViG将图像建模为图结构，结合Grapher与FFN模块，在图像识别和目标检测中表现优异。后续研究提出GeoViT、SC-ViG、MobileViG、ViG-UNet、MetaSegNet等模型，用于卫星图像分割、分类、温室气体监测等任务，并探讨视觉语言模型在遥感领域的进展与挑战。
延伸解读
ViG 的核心设计思路
ViG 将图像视为图结构，通过 Grapher 模块进行图形聚合与更新，FFN 模块完成节点特征变换。这种设计突破了传统卷积和 Transformer 的固定网格或全连接注意力模式，在图像识别和目标检测任务中表现出优异性能，为视觉任务提供了图级特征提取的新范式。
遥感领域的多样化模型演进
基于 ViG 思想，研究者提出了多个面向遥感的模型：GeoViT 用于多模态分割、分类和回归，可估计发电率、燃料类型及 CO2/NO2 排放；SC-ViG 引入对比学习和信息瓶颈提升分割精度；MobileViG 结合稀疏注意力与 CNN-GNN 混合架构，在移动端实现高效推理；ViG-UNet 和 MetaSegNet 则分别针对分割任务和视觉-语言多模态分割。这些工作展示了图神经网络在遥感中的广泛适应性。
视觉语言模型与未来挑战
文章还综述了视觉语言模型在遥感图像与文本任务中的最新进展，并指出未来发展方向。同时，相关综述全面评述了用于地球观测影像语义分割的神经网络设计因素，包括 CNN、RNN、GAN 和 Transformer 等模式及数据预处理技术。这些内容为研究人员和实践者提供了设计有效模型的参考，也暗示了多模态融合与模型轻量化是重要趋势。
Q&A
ViG是什么？它的基本结构是怎样的？
ViG是Vision GNN的缩写，是一种将图像表示为图结构并用于提取视觉任务图级特征的神经网络架构。它由Grapher模块和FFN模块组成，Grapher模块用于图形聚合和更新图形信息，FFN模块用于节点特征变换。
ViG在哪些视觉任务上表现优异？
ViG在图像识别和目标检测任务上表现出优异性能。
GeoViT模型有什么用途和优势？
GeoViT是一种紧凑的视觉转换模型，用于处理卫星图像进行多模式分割、分类和回归任务，目标是CO2和NO2排放。它在估计发电率、燃料类型、CO2尾气覆盖率和高分辨率NO2浓度地图方面获得了卓越准确性，超过了先前最先进模型，同时显著减小了模型尺寸。
SC-ViG是如何改进遥感图像分割的？
SC-ViG是一种用于遥感图像分割的简单对比视觉图神经网络架构，它将图像视为图结构，通过构建节点屏蔽和边屏蔽图视图来获得最佳图结构表示，并引入信息瓶颈理论最大化任务相关信息、最小化任务无关冗余信息，从而取得了优于当前最先进遥感图像分割方法的实验结果。
MobileViG是什么？它有什么特点？
MobileViG是一种基于图的稀疏注意力机制Sparse Vision Graph Attention（SVGA）设计的混合CNN-GNN体系结构。实验证明，它在移动设备上进行图像分类、物体检测和实例分割任务上的精度和/或速度明显优于现有的ViG模型和现有移动CNN和ViT架构。
MetaSegNet在遥感图像语义分割中有什么表现？
MetaSegNet是一种基于视觉-语言表示学习的元数据协作多模态分割网络，用于遥感图像的语义分割，展示了卓越的泛化性能和与现有方法相竞争的准确性。
