本文研究了大型语言模型的预训练是否会赋予其非语言推理的归纳偏差，并通过试验发现预先训练的模型明显优于非预先训练的神经模型，即使在更少参数的情况下进行训练。同时，即使在预训练多语言文本或计算机代码并生成合成语言的情况下，也可以持续预训练的积极效应。这些发现暗示了预先培训与模型的归纳学习能力之间的深层联系。