《缩放规律估计指南》

BriefGPT - AI 论文速递 · 2024-10-15T00:00:00Z

Kaplan和Hoffmann等人提出了不同的预算优化模型。通过分析两个数据集，研究者发现最终层计算成本、预热时间和优化器调整是关键因素。修正后，结果与Hoffmann的“Chinchilla”定律一致。研究还表明，学习率衰减对定律影响不大，并推导出最优学习率和批次大小的定律，强调在小批次下调整AdamW的β2参数的重要性。