神经正切核背后的数学原理
内容提要
神经正切核（NTK）由Jacot等人提出，用于解释神经网络经梯度下降训练时的演化。其核心结论是：当网络宽度趋于无穷时，NTK在初始化时收敛为确定性核，并在训练中保持不变，使无限宽网络等价于线性模型，从而保证收敛到全局最优。文章还介绍了NTK与高斯过程、惰性训练的联系。
延伸解读
NTK 的直观理解：参数更新如何影响预测
NTK 的核心是衡量参数更新对预测的影响。具体来说，它定义为网络输出对参数的梯度之间的内积，即 K(x, x') = ∇θ f(x)ᵀ ∇θ f(x')。这表示当在一个样本上更新参数时，另一个样本的预测会如何变化。如果两个样本的梯度方向相似，NTK 值就大，意味着它们的预测会同步变化；反之则影响小。因此，NTK 可以看作一种相似性度量，决定了训练过程中样本之间的相互影响。
无限宽网络：NTK 的确定性与训练中的不变性
当网络宽度趋于无穷时，NTK 在初始化时收敛到一个确定性核，仅由网络架构（如层数、激活函数）决定，而与具体的随机初始化无关。更重要的是，在训练过程中，NTK 保持不变。这使得无限宽网络的训练动态等价于一个线性模型，其输出函数遵循线性微分方程，从而保证收敛到全局最优。这一结论解释了为什么过参数化网络能够稳定训练并取得良好泛化。
NTK 与高斯过程及惰性训练的联系
NTK 与高斯过程有深刻联系：无限宽网络在初始化时的输出函数服从高斯过程，其协方差由 NTK 给出。此外，NTK 理论揭示了惰性训练现象：在过参数化网络中，训练损失迅速下降，但网络参数变化很小，网络输出近似于初始输出的线性化。这种线性化模型使得训练动态可以用核方法分析，为理解深度学习提供了理论工具。
Q&A
神经正切核（NTK）是什么？它有什么作用？
神经正切核（NTK）是由Jacot等人于2018年提出的一种核函数，用于解释神经网络在梯度下降训练过程中的演化。其核心作用是：当网络宽度趋于无穷时，NTK在初始化时收敛为确定性核，并在训练中保持不变，从而使无限宽网络等价于线性模型，保证收敛到全局最优。
为什么无限宽的神经网络训练时NTK保持不变？
当网络宽度趋于无穷时，根据中心极限定理和大数定律，NTK在初始化时收敛为一个确定性核，该核仅由网络架构决定，与参数初始化无关。并且在训练过程中，由于网络宽度极大，参数变化对NTK的影响可以忽略不计，因此NTK在训练中保持常数。
NTK与高斯过程有什么联系？
NTK与高斯过程有深刻联系。对于无限宽神经网络，其输出函数服从高斯过程，称为神经网络高斯过程（NNGP），其协方差函数可递归定义。而NTK在初始化时等于NNGP的协方差函数，因此NTK可以视为高斯过程核的一种。
什么是惰性训练（lazy training）？它与NTK有什么关系？
惰性训练是指当神经网络严重过参数化时，训练损失迅速下降但网络参数变化很小的现象。此时网络输出近似为其初始输出的线性化，且雅可比矩阵变化极小。NTK理论表明，在无限宽极限下，网络训练动态由常数NTK主导，这正对应于惰性训练区域。
无限宽神经网络在梯度下降下的学习动态是怎样的？
对于无限宽神经网络，其输出函数在梯度下降下的演化遵循线性微分方程：df/dt = -η K∞ ∇f L，其中K∞是常数NTK，η是学习率，L是损失函数。当损失为均方误差时，该方程有闭式解，网络输出以指数方式收敛到目标值。
NTK理论如何证明无限宽网络能收敛到全局最优？
NTK理论证明，当网络宽度趋于无穷时，NTK在初始化时收敛为确定性核并在训练中保持不变，因此网络训练动态等价于一个线性模型。对于凸损失函数（如均方误差），线性模型的梯度下降保证收敛到全局最优，从而说明无限宽网络能收敛到全局最优。
