GraSAME：通过图导引的自注意机制向预训练语言模型注入标记级结构信息
原文中文，约1300字，阅读约需3分钟。
📝
内容提要
该论文提出了一种图形遮盖的预训练策略，显著提升了图到文本生成任务中的模型效果，尤其在零样本学习场景中表现优越。
🔎
延伸解读
图结构信息注入PLMs的动机
预训练语言模型（PLMs）主要处理线性文本，对图结构（如AMR图）的建模能力有限。本文通过图形遮盖的自监督预训练策略，向PLMs注入标记级结构信息，旨在提升图到文本生成任务的效果。这种方法缩小了预训练与微调任务之间的差距，尤其在低资源场景下表现出有效性。
在基准数据集上的表现
该方法在WebNLG+2020和EventNarrative数据集上取得了最新最好成果，并在低资源设置中表现出非常有效的结果。实验还表明，PLMs如BART和T5通过任务自适应预训练策略实现了新的最先进结果，进一步提高了性能。
零样本泛化能力的提升
研究旨在提高图模型在零样本学习场景中的泛化能力，通过发展面向图结构知识的大型语言模型（LLMs），并利用图指示调整范式来与图结构知识建立联系。框架在监督和零样本图学习任务上评估，展示了优越的泛化能力，超过了最先进的基准模型。
❓
Q&A
GraSAME方法的主要创新点是什么？
GraSAME方法提出了一种图形遮盖的预训练策略，显著提升了图到文本生成任务中的模型效果。
该研究在低资源设置下的表现如何？
在低资源设置中，该方法表现出非常有效的结果。
GraSAME在哪些数据集上取得了最好成果？
该方法在WebNLG+2020和EventNarrative数据集上取得了最新最好成果。
该研究如何提高PLMs模型的结构意识？
研究利用图形自监督训练来提高PLMs模型在AMR图结构上的结构意识。
GraSAME方法的实验结果如何？
实验结果表明该方法在AMR分析和AMR-to-text生成方面表现优越。
该研究的目标是什么？
研究旨在提高图模型在零样本学习场景中的泛化能力，发展面向图结构知识的大型语言模型。
🏷️
