u-$μ$P: Unit Scaling of Maximal Update Parametrization
内容提要
本研究提出了一种通过最大更新参数化（muP）解决大规模语言模型超参数调整的新方法。研究表明，muP在不同模型间实现了有效的超参数迁移，特别是在Transformer和ResNet上表现优异。通过优化学习率和超参数，显著提升了模型的泛化能力。
延伸解读
muP 的核心价值：超参数迁移
muP 的核心价值在于实现超参数在不同规模模型间的迁移。文章指出，muP 能使超参数的缩放定律精确拟合，并允许在训练开始前通过损失预测比较模型。这意味着研究人员可以先用小模型确定最优超参数，再零调整迁移到大模型，从而大幅降低大规模语言模型的调参成本。
实证验证：Transformer 与 ResNet 上的表现
文章提到，muP 在 Transformer 和 ResNet 上均实现了有效的超参数迁移，特别是在模型大小变化时，多种最优超参数保持稳定。这为 muP 的实用性提供了有力证据，表明其不仅适用于主流架构，还能在宽度和深度变化时维持性能，减少重复调参的需要。
理论进展与尺度规律
理论分析表明，对于均场初始化的 ReLU 网络，最大更新学习率与宽度 n 无关，但与深度 L 的 -3/2 次方成正比。这一尺度规律为理解 muP 在不同深度网络中的行为提供了理论基础，也提示在实际应用中需注意深度对学习率的影响。
优化器元学习的突破
使用 muP 元训练的学习优化器在元泛化方面表现显著，尤其在大宽度模型上。文章指出，经过 103 GPU 小时训练的优化器能达到或超过 VeLO 在 4000 TPU 月计算中的性能，并且在更深网络和更长训练周期中泛化更好。这展示了 muP 在优化器设计中的潜力。
Q&A
什么是最大更新参数化（muP）？
最大更新参数化（muP）是一种用于优化大规模语言模型超参数的新方法，能够精确拟合超参数的缩放定律。
muP在不同模型间的超参数迁移效果如何？
研究表明，muP在Transformer和ResNet模型中实现了有效的超参数迁移，尤其在模型大小变化时保持多种最优超参数稳定。
使用muP优化学习率有什么好处？
通过优化学习率和超参数，muP显著提升了模型的泛化能力，尤其是在深度神经网络中表现优异。
muP如何实现零调整迁移？
muP通过保持多种最优超参数稳定，允许将来自小模型的超参数零次传输到完整模型中，成本非常低。
muP在元训练中的表现如何？
使用最大更新参数化元训练的学习优化器在元泛化方面有显著改进，尤其是在大宽度模型中表现突出。
muP与标准参数化相比有什么优势？
相较于标准参数化，使用muP训练的优化器在更深的网络和更长的训练周期中表现出更好的泛化能力。
