LLaGA：大型语言和图形助手
内容提要
大型语言模型与图数据结合是新兴方向。综述按LLM角色分为增强器、预测器和对齐组件三类，梳理其在纯图、文本丰富图等任务中的方法、优缺点及开源资源。研究表明，LLM可辅助图学习与推理，但理解图结构仍有局限，任务复杂时性能下降，未来需深化融合。
延伸解读
LLM在图任务中的三种角色
综述提出将现有方法按LLM在图相关任务中的角色分为增强器、预测器和对齐组件三类。增强器利用LLM增强图算法或特征；预测器直接以LLM进行图预测；对齐组件则通过对比学习等策略对齐LLM与图神经网络。这种分类有助于理解不同方法的定位和适用场景。
LLM理解图结构的局限性
多项研究表明，当前LLM在理解图结构和执行相关推理任务时仍存在局限。例如，在十个不同任务上的评估发现模型难以有效处理图数据；在异步计划推理中，即使结合图提示（如PLaG），任务复杂性增加时性能仍会严重退化。这提示LLM作为图学习基础模型仍需进一步研究。
从GNN到LLM的迁移与融合
一些工作尝试用生成式语言模型替代GNN，如InstructGLM通过自然语言描述图结构和节点特征，以指导调优方式执行图学习，在基准数据集上超越竞争GNN。LinguGKD则让LLM作为教师、GNN作为学生，通过节点分类提示和层自适应对比学习提升GNN性能。这些探索显示了LLM与GNN融合的潜力。
Q&A
LLaGA是什么？它有什么主要功能？
LLaGA是一种基于多模态大型语言模型的生成助手，利用大型语言模型内在的知识和理解能力，帮助用户进行图像生成和编辑，通过精确控制生成提示实现对稳定扩散的控制，以提供更精细、准确的内容和更直观的网络解释性。
大型语言模型在图相关任务中扮演哪些角色？
根据LLM在图相关任务中所扮演的角色，现有方法可分为三类：增强器、预测器和对齐组件。
目前大型语言模型在理解图数据方面存在哪些局限性？
目前模型仍存在理解图结构和执行相关推理任务的局限性，需要进一步的研究以加强其图形处理能力。
InstructGLM是什么？它有什么特点？
InstructGLM是一种指导调整的图语言模型，基于自然语言说明系统地设计高度可扩展的提示，使用自然语言描述图的几何结构和节点特征，通过指导调优语言模型以一种生成方式在图上执行学习和推理，超过了所有竞争的GNN基准数据集。
Plan Like a Graph (PLaG) 技术是什么？它解决了什么问题？
PLaG是一种将图形与自然语言提示相结合的新颖技术，用于异步计划推理任务。它解决了大型语言模型在缺乏任务解决过程说明时表现不佳的问题，取得了最先进的结果。
LinguGKD框架是如何工作的？它有什么优势？
LinguGKD框架将大型语言模型作为教师模型，图神经网络作为学生模型，通过设计的节点分类提示来调过教师LLM的层次学习到的节点特征和学生GNN在潜在空间的对齐，并采用层自适应对比学习策略，提高了学生GNN的预测准确性和收敛速度，同时提供了更快的推理速度和更少的计算和存储需求。
