港大黄超团队推出AnyGraph, 首次揭秘图大模型的Scaling Law
原文中文，约5600字，阅读约需14分钟。
📝
内容提要
介绍了AnyGraph图模型解决图数据异质性和快速适应性问题，采用GraphMoE架构处理异质性，使用轻量级图专家路由机制适应新数据集和领域。实验结果显示AnyGraph在零样本预测和扩展性能方面表现出色。
🔎
延伸解读
图基础模型的泛化挑战与AnyGraph的应对
当前图模型在跨领域泛化上表现不足，主要受限于结构异质性和特征异质性。AnyGraph通过GraphMoE架构，使用多个专家模型分别处理不同图数据模式，并设计轻量级路由机制实现快速适配。这种松散耦合的设计避免了单一模型容纳多种分布的困难，为图基础模型的泛化提供了新思路。
零样本预测与扩展定律的实证发现
AnyGraph在38个多样化图数据集上验证了零样本预测能力，并首次揭示图大模型的扩展定律：随着参数和数据量增加，零样本性能持续提升，而全样本预测出现饱和。此外，模型表现出涌现能力，性能在增长停滞后突变式提升。这些发现为图基础模型的规模化训练提供了重要参考。
训练数据不足带来的偏差与鲁棒性启示
实验显示，当训练数据不足且新引入数据与测试集分布偏离较大时，模型性能会出现断崖式下跌，表明数据偏差对泛化有显著影响。扩大训练数据量不仅能提升性能，还能增强鲁棒性。这提示在实际应用中，需关注训练数据的覆盖范围和多样性，以避免因数据不足导致的性能退化。
❓
Q&A
AnyGraph模型的主要目标是什么？
AnyGraph模型旨在解决图数据的异质性和快速适应性问题。
AnyGraph是如何处理图数据的异质性问题的？
AnyGraph采用GraphMoE架构和轻量级图专家路由机制来处理图数据的结构和特征异质性。
AnyGraph在零样本预测方面的表现如何？
实验结果显示AnyGraph在零样本预测方面表现出色，具有良好的泛化能力。
AnyGraph的扩展定律是什么？
AnyGraph的零样本能力遵循扩展定律，随着模型参数和数据量的增加而提升。
AnyGraph的研究团队来自哪个机构？
AnyGraph的研究团队来自香港大学的数据智能实验室。
AnyGraph在多样化图数据集上的验证结果如何？
AnyGraph在38个多样化图数据集上经过严格验证，展现出卓越的泛化能力和模型扩展性。
🏷️
