GraphGPT：使用生成式预训练 Transformer 进行图学习
内容提要
本文汇总多项生成式预训练研究：GPT-GNN通过自监督预训练图神经网络提升下游任务表现；面向图结构知识的大语言模型增强零样本泛化能力；BioGPT与BiomedGPT推动生物医学自然语言处理及多模态任务；KPGT与TokenGT改进分子建模和大规模图学习；VL-GPT统一视觉语言预训练；ProcessGPT优化流程决策；图到文本生成研究显示模型文本流畅，但对语义关系理解不足，易产生幻觉。
延伸解读
图预训练的两条技术路线
文章呈现了图预训练的两种思路：GPT-GNN通过自监督预训练GNN本身，学习结构和语义属性后迁移到下游任务；TokenGT则用Transformer直接处理节点和边的独立表示，在大规模图数据集上优于消息传递GNN基线。前者延续GNN范式，后者探索Transformer替代方案，读者可据此理解图学习领域的方法分化。
领域专用模型的表现与边界
BioGPT在PubMedQA上达到81.0%准确率，并提升多个关系提取任务的F1；BiomedGPT在20个公共数据集、15种生物医学模式上优于多数先前最优模型。这些结果说明领域预训练能带来可量化的收益，但文章未讨论数据偏差、部署成本或临床验证，实际应用时需注意这些未覆盖的维度。
图到文本生成的流畅性与语义短板
图到文本生成研究中，GPT-3和ChatGPT在AGENDA和WebNLG上BLEU分别为10.57和11.08，文本流畅连贯，但错误分析发现模型难以理解实体间语义关系，易生成幻觉或无关信息。这说明评估生成质量不能只看流畅度指标，还需关注语义准确性，BERT检测机器生成文本的高F1也提示了鉴别可能性。
Q&A
GPT-GNN 是如何提升图神经网络下游任务性能的？
GPT-GNN 通过自监督预训练一个能够学习图结构和语义属性的 GNN 模型，然后将预训练模型迁移到下游任务中，从而显著提高性能。
面向图结构知识的大语言模型在零样本学习上有什么优势？
该模型通过图指示调整范式与图结构知识建立联系，利用自监督图结构信号和任务特定图指示，引导 LLM 理解复杂图结构，从而在监督和零样本图学习任务上展现出优越的泛化能力，并超过最先进基准。
BioGPT 在生物医学 NLP 任务上的表现如何？
BioGPT-Large 在 PubMedQA 任务上达到 81.0% 的准确率，并提高了 BC5CDR、KD-DTI 和 DDI 关系提取任务的 F1 得分。
TokenGT 相比传统图神经网络有什么优势？
TokenGT 通过节点和边的独立表示进行转换，理论上至少与 2-IGN 一样有潜力；实践中在大规模图数据集 PCQM4Mv2 上优于基于消息传递的 GNN 基线，并与具有复杂图特定归纳偏差的 Transformer 变体相比具有竞争力。
BiomedGPT 能处理哪些类型的任务和模态？
BiomedGPT 可接受多模式输入并执行多种下游任务，在 20 个公共数据集上表现优于先前绝大多数最先进模型，涵盖 15 种独特的生物医学模式，展示了多模式和多任务预训练方法的知识转移有效性。
生成模型从图数据生成文本时存在哪些局限性？
生成模型能生成流畅连贯的文本（AGENDA 和 WebNLG 数据集 BLEU 分别达 10.57 和 11.08），但仍难以理解实体间的语义关系，倾向于生成存在幻觉或无关信息的文本。
