顶会论文深度解析｜基于飞桨实现的多模态城市基础模型
内容提要
飞桨社区开发者肖淙曦和周景博在KDD2024上发表了论文《ReFound: Crafting a Foundation Model for Urban Region Understanding upon Language and Visual Foundations》，该研究构建了一个通用城市区域理解任务的基础模型，能够应用于多种下游任务。通过自监督预训练和知识蒸馏，该模型能够从多模态城市数据中学习领域知识，并提升泛化能力。实验证明该模型在不同下游任务中表现出色。相关代码已在PaddleSpatial平台上开源。
延伸解读
为何需要城市区域基础模型
城市区域理解对规划治理至关重要，但传统方法针对特定任务设计，依赖大量标注数据，且难以泛化到其他任务。预训练基础模型通过自监督学习从无标注数据中获取通用知识，为城市计算提供了新思路。ReFound正是基于这一范式，旨在构建一个能适应多种下游任务的通用模型，减少对标注数据的依赖。
多模态融合与知识蒸馏的设计思路
ReFound同时利用语言、视觉和视觉-语言基础模型的能力，通过知识蒸馏将它们的泛化知识迁移到学生模型中。模型架构专门处理POI和卫星图数据，采用混合地理专家Transformer分别建模两种模态，再通过自监督任务（掩码建模和跨模态对齐）学习领域知识。这种设计既保留了城市数据的特性，又借助通用基础模型提升了泛化性。
实验验证与开源意义
在深圳和北京两个城市的三个下游任务上，ReFound在微调和基于特征的预测两种方式下均优于通用领域和地理领域的基础模型及城市区域嵌入模型。这表明多模态基础模型在城市计算中具有适用性和可扩展性。相关代码已在PaddleSpatial平台开源，为后续研究提供了可复现的基准和工具，有助于推动城市计算领域的发展。
Q&A
ReFound模型的主要功能是什么？
ReFound模型用于通用城市区域理解任务，能够应用于多种下游任务。
ReFound模型是如何提升泛化能力的？
通过自监督预训练和知识蒸馏，ReFound模型从多模态城市数据中学习领域知识，提升泛化能力。
ReFound模型的架构设计包含哪些关键模块？
模型架构设计包括POI数据和卫星图数据的嵌入模块，以及混合地理专家Transformer。
ReFound模型在实验中表现如何？
实验验证了ReFound模型在不同下游任务中的有效性，表现优于其他基础模型。
ReFound模型的代码在哪里可以找到？
相关代码已在PaddleSpatial平台上开源。
为什么城市区域理解对城市规划重要？
量化理解城市区域有助于深入洞察城市结构，制定科学的规划和治理政策。
