本文介绍了合成自举预训练（SBP），一种新的语言模型预训练方法。SBP通过学习文档间的关系，合成大量新语料进行联合训练，从而有效建模文档相关性，提升模型性能。实验结果显示，SBP在3B和6B参数模型上显著提高性能，达到潜在上限的60%。此外，SBP通过抽象核心概念并重新叙述，展现出强大的实证性能和自然的贝叶斯解释。