本文研究了预先训练语言模型在下游任务中表现卓越的特定特质，实验证明，在预先训练数据的明确依赖关系中加入后，模型的下游性能显著提高。同时，即使语言模型没有预先在自然语言上进行训练，只要其能够模拟序列中的令牌依赖关系，仍然可以在某些语言任务中获得迁移能力。