本论文研究了结构性解析对Transformer语言模型的影响，发现辅助训练能提升模型的句法推理能力。提出了一种基于语法规则的无监督句法树生成方法，结合强化学习和自编码器技术，在多个基准数据集上取得了优异结果，表明结构性监督显著改善模型表现。