本研究提出了一种通过Maximal Update参数化（muP）优化大规模语言模型训练的方法，旨在提升学习速率和泛化性能。研究表明，学习率衰减对模型有效性影响有限，并推导出最佳学习率与批次大小的关系。此外，神经比例定律在模型开发和调试中得到了验证，证明了缩放定律在大模型中的有效性。