无需种植树木的语法学习：理解变换器何时以及何种方式实现分层普遍化
原文中文，约1300字，阅读约需3分钟。
📝
内容提要
本文研究了预训练模型在语言中的层次化句法功能，发现模型的深度和训练规模对层次化泛化有显著影响。中等深度模型在学习层次结构方面表现优于浅层和深层模型。此外，结构性偏置和合适的语料库能够提升模型的句法推理能力。
🔎
延伸解读
模型深度与层次化泛化的非单调关系
文章指出，模型深度对层次化泛化有显著影响，但并非越深越好。中等深度模型在学习层次结构方面表现优于浅层和深层模型。这可能是因为浅层模型容量不足，而深层模型可能过度拟合或难以优化。这一发现提示研究者和实践者在选择模型深度时需权衡，并非一味增加深度就能提升句法泛化能力。
预训练语料与结构性偏置的作用
文章强调，使用适当的语料库进行预训练可以提高模型的效率和句法推理能力。此外，结构性偏置能够提升句法推理能力，尤其是在复杂的令牌交互情况下。这意味着，除了模型规模，训练数据的质量和引入结构先验（如递归、层次处理）同样关键。这为设计更高效的预训练策略提供了方向。
从诊断任务看归纳偏差
文章通过诊断语法转换任务来探究预训练参数的归纳偏差，发现模型能够学习到层次结构的一般性。这证实了Transformer等模型能够发现和使用自然语言中的层次结构，但需要足够的训练数据和合适的架构。这一结论支持了神经语言模型在句法泛化上的潜力，同时也指出了数据规模的重要性。
❓
Q&A
预训练模型的深度如何影响层次化句法功能？
模型的深度对层次化泛化有显著影响，中等深度模型在学习层次结构方面表现优于浅层和深层模型。
使用什么样的语料库可以提高预训练模型的效率？
使用适当的语料库进行预训练可以提高模型的效率和句法推理能力。
结构性偏置在模型句法推理中起什么作用？
结构性偏置能够提升模型的句法推理能力，尤其是在复杂的令牌交互情况下。
中等深度模型相比于浅层和深层模型有什么优势？
中等深度模型在学习层次结构方面表现更优秀，能够更好地进行层次化泛化。
如何通过训练提高模型的句法推理能力？
通过长时间训练和使用具有语法结构的树状模型，可以提高模型的句法推理能力。
复杂的令牌交互如何影响模型的学习？
复杂的令牌-令牌交互形成了最好的感性偏向，并在非上下文自由情况下最强。
🏷️
