为何学习率能够传递？调和深度学习的优化与扩展限制
内容提要
最新研究发现，神经网络的宽度和深度对于特征学习的极限缩放具有转移学习现象，从而降低了超参数调整的成本。实验证据显示，学习率的转移与网络的宽度和深度基本上是独立的。
延伸解读
超参数迁移的实际意义
文章指出，在μP及其深度扩展下，学习率等超参数可以从较小模型迁移到极大模型，这直接降低了超参数调整的成本。对于实践者而言，这意味着在资源有限时，可以先在小规模网络上确定合适的学习率，再将其应用于大规模训练，而无需重新进行昂贵的超参数搜索。
Hessian最大特征值的独立性
实验证据表明，在持续训练时间内，训练损失Hessian的最大特征值（即锋度）与网络的宽度和深度基本无关。这一发现为学习率迁移提供了理论支持：由于损失曲面的局部几何特性不随规模剧烈变化，因此基于小模型调优的学习率能够在大模型上保持有效。
研究背景与关联工作
该研究建立在μP参数化及深度扩展的已有工作之上，这些工作已表明宽度和深度缩放时存在超参数迁移现象。文章进一步通过实证聚焦于学习率，并关联了残差网络中的深度超参数迁移、大学习率阶段的弹射机制等研究，共同揭示了尺度限制下优化动态的规律。
Q&A
什么是学习率传递现象？
学习率传递是指当神经网络的宽度和深度按比例缩放至丰富特征学习极限（μP及其深度扩展）时，学习率等超参数可以从较小模型直接迁移到极大模型，从而降低超参数调整成本。
学习率传递与网络宽度和深度有什么关系？
研究表明，学习率的传递与网络的宽度和深度基本上是独立的，即学习率的最优值不随宽度和深度的变化而改变。
为什么学习率传递能降低超参数调整成本？
因为学习率可以从一个小模型直接迁移到非常大的模型，无需为每个模型重新调整学习率，从而显著减少超参数搜索的开销。
训练损失Hessian的最大特征值与网络宽度和深度有何关联？
在μP及其深度扩展下，训练损失Hessian的最大特征值（即锋度）与网络的宽度和深度在持续训练时间内基本上是独立的。
这项研究提供了哪些实验证据？
研究通过实证找到了学习率传递的实验证据，并显示在持续训练时间内，训练损失Hessian的最大特征值与网络的宽度和深度无关。
μP及其深度扩展在超参数传递中起什么作用？
μP及其深度扩展是丰富特征学习极限的参数化方法，当网络按此缩放时，学习率等超参数表现出从中小模型到极大模型的传递性。
