本文研究了预训练模型在语言中的层次化句法功能，发现模型的深度和训练规模对层次化泛化有显著影响。中等深度模型在学习层次结构方面表现优于浅层和深层模型。此外，结构性偏置和合适的语料库能够提升模型的句法推理能力。