该论文提出了一种图形遮盖的预训练策略，显著提升了图到文本生成任务中的模型效果，尤其在零样本学习场景中表现优越。

本文汇总多项生成式预训练研究：GPT-GNN通过自监督预训练图神经网络提升下游任务表现；面向图结构知识的大语言模型增强零样本泛化能力；BioGPT与BiomedGPT推动生物医学自然语言处理及多模态任务；KPGT与TokenGT改进分子建模和大规模图学习；VL-GPT统一视觉语言预训练；ProcessGPT优化流程决策；图到文本生成研究显示模型文本流畅，但对语义关系理解不足，易产生幻觉。