本文探讨了大型语言模型（LLMs）在下游任务性能上的缩放特性，提出了一种框架来根据训练预算预测基准性能。研究发现，在固定的令牌与参数比率下，简单的幂律可以准确描述多个下游任务的准确率缩放行为。该方法优于传统的两阶段程序，并提供了预测准确率的功能形式。研究团队还发布了完整的预训练损失和下游评估结果，以支持可重复性。