本论文研究了结构性解析对Transformer语言模型的影响，发现辅助训练能提升模型的句法推理能力。提出了一种基于语法规则的无监督句法树生成方法，结合强化学习和自编码器技术，在多个基准数据集上取得了优异结果，表明结构性监督显著改善模型表现。

本文研究了预训练模型在语言中的层次化句法功能，发现模型的深度和训练规模对层次化泛化有显著影响。中等深度模型在学习层次结构方面表现优于浅层和深层模型。此外，结构性偏置和合适的语料库能够提升模型的句法推理能力。

本文研究了如何通过结构性解析提升Transformer语言模型的句法推理能力，提出了Tree-Planted Transformers（TPT）和结构化语言生成模型（SLGM），展示了在无监督条件下有效学习句法结构的潜力，实验结果表明这些模型在多个任务中具有优越的泛化能力。