高维条件下核岭回归的最优速率
内容提要
该文综述大维数据下的核回归研究：利用Mendelson复杂度和度量熵上下界刻画核岭回归的极小极大误差率，发现误差曲线随参数呈多次下降与周期平台，并适用于神经切线核和宽神经网络；还涉及Sobolev核岭回归最优性、偏差—方差分解、核梯度流、随机矩阵近似及向量值岭回归最优率等。
延伸解读
误差曲线的非单调行为
文章指出，核岭回归的极小极大误差率随参数变化并非单调下降，而是呈现多次下降和周期平台。这意味着在实际调参时，不能假设误差会随某个参数（如正则化强度或样本量）增加而持续改善，平台期可能对应模型性能的停滞。读者应关注参数区间内误差的波动模式，而非仅看单一最优值。
核函数结构的影响超出特征值
文章提到，常用核函数（如RBF核、内积核和全连接NTK核）的旋转不变性在高维下对低次多项式存在偏差，这给出了核岭回归普遍性误差的下限。这表明仅靠特征值衰减分析不足以解释核回归的表现，核函数的结构本身需要更精细的分析。读者在评估核方法时，应留意核函数选择带来的结构性偏差，而非只关注谱性质。
偏差—方差分解揭示风险曲线形状
文章通过偏差—方差分解方法，研究了高维核岭回归在欠参数和过参数情况下的泛化性能，揭示了在特定正则化方案下，偏差和方差与训练样本数n和特征维度d的组合方式如何影响风险曲线形状。这为理解过参数化模型的泛化行为提供了分析框架，读者可借此判断不同数据规模与维度比例下模型风险的主要来源。
理论最优性与实际近似
文章涵盖多项理论结果：Sobolev核岭回归被证明是极小化最优的；基于随机矩阵的近似方法仅需与统计维度成比例的投影维度即可保持极小极大性；向量值岭回归在L2与假设空间插值范数上达到与实值情形相同的最优率，且不要求目标函数有界。这些结果说明，在满足相应假设时，核岭回归及其近似可实现理论最优速率，但实际应用需注意假设条件是否成立。
Q&A
高维核岭回归的误差率随参数变化有什么规律？
误差曲线沿着参数变化时呈现多次下降行为和周期平台行为。
Sobolev核岭回归是否达到最优？
当H是一个Sobolev RKHS时，对于任何0 < s < 1，KRR都是极小化最优的，解决了长期存在的问题。
高维核岭回归在欠参数和过参数情况下的泛化性能如何分析？
通过建立偏差-方差分解方法，研究了高维核岭回归在欠参数和过参数情况下的泛化性能特征，揭示了特定正则化方案下偏差和方差与训练数据数量n和特征维度d的组合方式对核回归风险曲线形状的影响。
Kernel Gradient Flow方法相比核岭回归有什么改进？
针对Kernel ridge regression方法的不足，提出了一种新的优化方法Kernel Gradient Flow，通过引入不同于ridge惩罚的惩罚项，以及在训练过程中减小核函数的带宽，该方法得到了更好的结果。
基于随机矩阵的核岭回归近似方法如何实现快速估计？
证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值，从而实现了快速和极小极值的非参数回归估计。
向量值岭回归问题的最优率有什么特点？
提出了连续标准的无限维向量值岭回归问题的第一个最优率，在L2和假设空间之间插值的范数上，这些率允许处理真实回归函数不包含在假设空间中的不正确情况，上界达到与实值核岭回归相同的速率，并消除了目标回归函数有界的假设，下界通过投影论证简化为标量情况，速率在大多数情况下是最优的，且与输出空间的维度无关。
高维核岭回归中核函数的旋转不变性会导致什么偏差问题？
分析了常用核函数（如RBF核、内积核和全连接NTK核）的旋转不变性属性在高维情况下对低次多项式存在偏差，从而阐明了核岭回归普遍性一般性误差的下限，表明核函数的结构超出了其特征值衰减，需要更精细的分析。
高斯设计下核岭回归的异常泛化误差与噪声和正则化有何关系？
研究了噪声和正则化之间的相互作用对异常泛化误差的影响，表征了各种交叉设置，并展示了在样本复杂性增加时从无噪声指数到噪声值之间存在过渡，最后证明了这种交叉行为在现实数据集上也是可观测的。
