Apple Machine Learning Research
·
重新审视大型语言模型训练中下游指标的缩放特性
💡
原文英文，约400词，阅读约需2分钟。
📝
内容提要
本文探讨了大型语言模型（LLMs）在下游任务性能上的缩放特性，提出了一种框架来根据训练预算预测基准性能。研究发现，在固定的令牌与参数比率下，简单的幂律可以准确描述多个下游任务的准确率缩放行为。该方法优于传统的两阶段程序，并提供了预测准确率的功能形式。研究团队还发布了完整的预训练损失和下游评估结果，以支持可重复性。
🎯
关键要点
-
本文提出了一种直接框架来建模基准性能的缩放，挑战了传统对下游任务性能预测不可靠的看法。
-
研究发现，在固定的令牌与参数比率下，简单的幂律可以准确描述多个下游任务的准确率缩放行为。
-
该方法优于传统的两阶段程序，能够更好地进行外推，减少复合误差。
-
研究团队引入了预测准确率的功能形式，并考虑了在重复采样下的推理计算。
-
为了支持可重复性，研究团队发布了完整的预训练损失和下游评估结果。
❓
延伸问答
大型语言模型的下游任务性能如何预测？
本文提出了一种直接框架，通过训练预算建模基准性能的缩放，挑战了传统的预测不可靠的看法。
研究中发现的准确率缩放行为是什么？
研究发现，在固定的令牌与参数比率下，简单的幂律可以准确描述多个下游任务的准确率缩放行为。
该研究方法与传统方法相比有什么优势？
该方法优于传统的两阶段程序，能够更好地进行外推，减少复合误差。
研究团队如何支持结果的可重复性？
研究团队发布了完整的预训练损失和下游评估结果，以支持可重复性。
如何预测不同令牌与参数比率下的准确率？
研究引入了预测准确率的功能形式，并考虑了在重复采样下的推理计算。
该研究的模型训练使用了多少参数和令牌？
模型训练使用了最多17亿个参数和最多350亿个令牌。
➡️
