本文探讨了自回归语言模型如何通过简单的数据转换进行文本填充，研究表明这种填充方法不会损害模型的生成能力。建议未来的自回归语言模型默认采用填充训练，并提供了关键超参数的最佳设置和实践。此外，我们发布了最佳填充模型和基准，以支持未来研究。