预训练的结构化生成变换器：规模化的无监督句法语言模型
内容提要
本文研究了如何通过结构性解析提升Transformer语言模型的句法推理能力，提出了Tree-Planted Transformers（TPT）和结构化语言生成模型（SLGM），展示了在无监督条件下有效学习句法结构的潜力，实验结果表明这些模型在多个任务中具有优越的泛化能力。
延伸解读
无监督句法学习的突破
Tree-Planted Transformers（TPT）在无显式句法监督下，通过树状结构反映自然语言句法，并在句法评估中表现优异。这为无监督句法语言模型奠定了基础，表明结构导向的辅助训练能提升Transformer的句法泛化能力，减少对大量预训练的依赖。
结构化生成模型的创新
结构化语言生成模型（SLGM）结合新的损失函数和推理方法，通过串联可逆神经网络与结构化生成先验，在无监督下联合学习离散句法结构和连续词表示，实现高效精确推断和边缘似然计算，提升了结构化输出的泛化能力。
图结构知识的零样本泛化
研究利用图指示调整范式，将图结构知识融入大型语言模型，探索自我监督的图结构信号和任务特定图指示，以增强零样本图学习场景的泛化能力。实验表明，该框架在监督和零样本任务上均优于最先进基准。
句法指导的翻译加速
SynST模型基于句法指导，在预测分块解析树后并行生成目标语言所有标记，相比自回归Transformer，在En-De和En-Fr数据集上实现更高BLEU分数，且速度快约5倍，展示了句法结构在提升翻译效率方面的潜力。
Q&A
Tree-Planted Transformers（TPT）模型的主要特点是什么？
TPT模型能够在没有显式句法监督的情况下，通过树状结构反映自然语言的句法结构，并在句法评估中表现出色。
结构化语言生成模型（SLGM）是如何提高结构化输出的泛化能力的？
SLGM结合新的损失函数和推理方法，以更好地泛化结构化输出。
这项研究如何提升Transformer模型在零样本学习中的表现？
研究通过发展面向图结构知识的大型语言模型，并利用图指示调整范式，探索自我监督的图结构信号，从而提高零样本学习的泛化能力。
基于句法指导的Transformer模型（SynST）有什么优势？
SynST模型在预测分块解析树后，可以自动并行生成目标语言的所有标记，提高了翻译速度和BLEU分数。
韵律感知生成口语语言模型的主要贡献是什么？
该模型利用韵律为生成式预训练提供了更好的理解和生成能力，显著提高了韵律和内容建模能力。
如何通过图形遮盖的预训练策略提高图到文本生成任务的效果？
该策略通过图形遮盖来增强预训练模型的效果，取得了最新的最好成果，尤其在低资源设置中表现有效。
