分析谱算法在幂律衰减下的泛化误差曲线
内容提要
该文综述核回归与无限宽神经网络的学习曲线研究：在温和假设下分析正则化、源条件和噪声对学习曲线的影响，发现小噪声时“良性过拟合”仅见于极宽网络；提出随训练集增大，核机逐渐适应目标函数更高频谱模式的谱原理，并用合成数据和MNIST验证；还刻画幂律条件下学习曲线的渐近行为，探讨噪声与正则化交互导致的异常泛化误差，并从大偏差与概率测度微分角度解释插值器的平滑性与泛化。
延伸解读
谱原理：数据增多时核机如何学习更高频模式
文章提出一个谱原理：随着训练集增大，核机和神经网络会逐渐适应目标函数更高频谱的模式。这一解释基于将泛化误差按核的不同谱成分分解，并在高维超球面均匀采样下观察到点积核（包括NTK）出现分阶段学习不同频率模式的现象。该原理有助于理解模型容量与数据量匹配时性能提升的机制，但文章也指出其成立依赖于特定数据分布假设。
良性过拟合的边界：小噪声下仅限极宽网络
文章在温和假设下分析正则化、源条件和噪声对学习曲线的影响，发现当噪声水平较小时，“良性过拟合”现象只存在于非常宽的神经网络中。这意味着过参数化带来的测试误差下降并非普遍成立，而是与网络宽度和噪声强度密切相关。读者应注意，这一结论来自理论分析及合成数据、MNIST验证，实际应用中的网络架构与数据特性可能影响其适用性。
噪声与正则化交互可导致异常泛化误差
文章探讨了噪声和正则化之间的相互作用对异常泛化误差的影响，并在高斯设计下的核岭回归中表征了多种交叉设置，展示了随着样本复杂性增加，从无噪声指数到噪声值之间存在过渡。这种交叉行为在现实数据集上也可观测。这提示读者，在评估模型泛化时需同时考虑噪声水平与正则化强度，二者不匹配可能产生非单调的学习曲线。
插值器为何能泛化：平滑性视角的统一解释
文章从大偏差理论与概率测度空间微分角度解释插值器的平滑性与泛化。基于大偏差的平滑性描述为某些插值器为何表现良好提供了统一理论，并说明随机梯度下降、L2正则化、数据增强、不变性结构和过参数化等方法都能使优化器偏向更平滑的插值器，从而获得更好的泛化误差。另一框架针对KL正则化经验风险最小化，建立了泛化误差收敛速率为O(1/n)的通用条件。
Q&A
核回归和无限宽神经网络的学习曲线受哪些因素影响？
学习曲线受正则化参数、源条件和噪声水平的选择及其相互作用的影响。在温和假设下，这些因素共同决定了泛化误差随训练样本数量的变化。
什么是“良性过拟合”？它在什么条件下出现？
“良性过拟合”指模型过参数化时测试误差先升后降的现象。研究表明，在噪声水平较小时，这种现象只存在于非常宽的神经网络中。
核机和神经网络如何随训练集增大而适应目标函数的不同频率模式？
随着训练集大小的增长，核机和神经网络会逐渐适应目标函数的更高频谱模式。这一谱原理通过分解核的不同谱成分对泛化误差的贡献而确定，并在合成数据和MNIST上得到验证。
在幂律条件下，高斯过程回归的学习曲线有什么渐近行为？
当先验特征值谱和目标函数特征展开系数遵循幂律时，高斯过程回归的学习曲线表现出幂律渐近行为。利用高斯过程回归与核岭回归的等价性，可以展示核岭回归的泛化误差，并通过玩具实验验证。
噪声和正则化的交互如何导致异常的泛化误差？
在高斯设计下的核岭回归中，噪声与正则化的相互作用会导致异常泛化误差。研究表征了各种交叉设置，并展示了随着样本复杂性增加，从无噪声指数到噪声值之间存在过渡，这种交叉行为在现实数据集上也可观测。
为什么某些插值器能表现出良好的泛化能力？
基于大偏差理论的模型平滑性描述表明，插值器的平滑性是其良好泛化能力的原因。随机梯度下降、L2正则化、数据增强、不变性结构和过参数化等方法都能使优化器偏向更平滑的插值器，从而获得更好的泛化误差。
