AI的扩展法则描述了在训练数据、模型参数和计算资源增加时，AI系统性能的提升。主要包括三种法则：预训练扩展（通过增加数据和计算资源提升模型智能）、后训练扩展（在预训练模型基础上进行特定任务优化）和测试时扩展（在推理阶段增加计算以解决复杂问题）。这些法则推动了AI模型的进步与应用。
本周，OpenAI暂停芯片制造计划，与Broadcom合作设计新芯片，以减少对Nvidia的依赖。同时，Orion模型未能显著提升性能，引发对“扩展法则”的质疑。
卡普兰和霍夫曼开发了影响深远的扩展法则，用于优化预算模型，但他们的预测有所不同。通过在两个数据集上重现卡普兰的法则，并识别与计算成本、预热时间和规模优化相关的三个因素，我们解释了这些差异。在纠正这些因素后，我们与霍夫曼的法则达成了良好的一致性。与霍夫曼的假设相反，我们发现学习率衰减对其法则的有效性并不重要。作为次要结果，我们推导出最佳学习率和批量大小的扩展法则，并发现调整AdamW的β2参数在较小批量大小时至关重要。
完成下面两步后，将自动完成登录并继续当前操作。
