懒人（NTK）和富人（μP）的领域：温和教程
内容提要
本文研究了神经网络训练动态，特别是初始化规模对多层模型中“惰性”与“丰富”区域转换的影响。结果表明，初始尺度在训练中起主导作用，影响泛化能力。稀疏初始化和网络宽度的增加显著提高样本效率，惰性训练现象不仅限于过度参数化网络。
延伸解读
初始化尺度：训练动态的关键调节器
文章指出，初始尺度在神经网络训练中起主导作用，控制着模型在“惰性”与“丰富”区域之间的转换。当输出函数的初始尺度超过一定阈值时，梯度下降会快速将网络驱动至零训练误差，这一区域被称为 theta-lazy 区域，与神经切线核（NTK）范式相似但条件更宽松。这意味着，调整初始化尺度可能比调整其他超参数更能影响训练行为和泛化能力。
稀疏初始化与宽度：提升样本效率的途径
研究表明，稀疏初始化和增加网络宽度可以显著提高样本效率。在离线稀疏奇偶学习任务中，这种改进尤为明显，并且该任务可作为需要轴对齐特征学习的真实问题的代理。这提示我们，在数据有限或需要高效学习的场景下，通过调整初始化和网络结构来提升样本效率是一种可行策略。
惰性训练的普适性与局限
惰性训练现象不仅限于过度参数化的神经网络，也适用于其他优化问题。然而，在计算机视觉中，惰性训练并不适用于深度卷积神经网络的训练，这表明惰性训练可能不是神经网络在高维任务中成功的原因之一。因此，在应用惰性训练理论时，需注意其适用范围，尤其是在卷积网络主导的视觉任务中。
Q&A
初始化规模如何影响神经网络的训练行为？
初始化规模在神经网络训练中起主导作用，控制惰性区域与丰富区域的转换，进而影响泛化能力。
惰性训练现象适用于哪些类型的网络？
惰性训练现象不仅限于过度参数化的神经网络，也适用于其他优化问题，但在深度卷积神经网络中不适用。
稀疏初始化对样本效率有什么影响？
稀疏初始化和网络宽度的增加显著提高了样本效率。
神经网络的宽度和深度如何影响特征学习？
神经网络的宽度和深度对丰富特征学习的极限存在转移学习现象，降低了超参数调整的成本。
惰性训练是否是神经网络成功的原因之一？
惰性训练可能不是神经网络在高维任务中成功的原因之一，尤其在计算机视觉中。
如何通过初始化改善神经网络的泛化能力？
通过控制初始尺度，可以影响多层模型的惰性与丰富区域，从而改善泛化能力。
