临界批量大小在预训练中的扩展性研究

Kaplan和Hoffmann的预算优化模型存在预测差异。通过分析计算成本、预热时间和优化器调整等因素，修正后与Hoffmann的定律一致。学习率衰减对模型有效性影响不大，并推导出最优学习率和批次大小的扩展定律。