早停梯度下降的交叉验证的成功和失败
内容提要
该文综述交叉验证在机器学习中的应用，涵盖参数学习、收缩估计、LASSO、岭回归、高斯图模型、逻辑回归及贝叶斯模型，探讨其理论性质、计算效率与模型选择性能。
延伸解读
交叉验证的适用边界
文章指出，交叉验证并非在所有模型中都表现良好。例如，在高斯图模型中，交叉验证的泛化能力有限，与信息准则相比存在不一致性。这提醒读者，在需要超参数选择的图模型结构学习中，不能盲目依赖交叉验证，而应结合其他准则进行评估。
计算效率的改进方向
针对交叉验证运行时间长的问题，文章介绍了多种加速策略，如基于参数学习的ALOOCV、单个牛顿推的启动程序以及比LOOCV更快的岭回归调参方法。这些工作表明，在保持模型选择性能的同时，可以通过近似或优化算法显著降低计算成本。
理论保证与实际性能
文章涵盖了交叉验证的中心极限定理和渐近方差估计，为k折测试误差提供了渐近精确的置信区间和假设检验框架。同时，在最小二乘回归中，梯度下降的风险被证明不低于岭回归的1.69倍。这些理论结果增强了交叉验证在实践中的可靠性，但也提示其风险边界。
Q&A
交叉验证在机器学习中主要应用于哪些方面？
交叉验证在机器学习中主要用于参数学习、收缩估计、LASSO、岭回归、高斯图模型、逻辑回归及贝叶斯模型等，涉及理论性质、计算效率和模型选择性能。
有哪些方法可以加速交叉验证的计算？
ALOOCV是一种快速准确的基于参数学习的交叉验证策略；通过单个牛顿推的启动程序可近似大量训练数据集的CV；调整岭回归超参数的新方法比LOOCV更快速。
交叉验证在高斯图模型中的表现如何？
交叉验证在高斯图模型中泛化有限，与其他常用信息准则对比存在不一致性，这对需要超参数选择的图模型结构学习算法具有重要意义。
逻辑回归中梯度下降的隐式偏置会导致什么现象？
在高斯特征情况下，基于梯度下降的隐式偏置揭示了相变现象，对最大似然解和最大边际解的分类误差进行了锐利表征，得到分类误差曲线，并揭示了双峰现象。
贝叶斯交叉验证在高斯潜在变量模型中如何应用？
通过Laplace方法或期望传播方法进行估计与推断，评估快速方法的准确性和可靠性。实证表明，基于LOO边缘分布的高斯近似法可获得最准确可靠结果。
交叉验证的渐近理论有哪些进展？
研究了交叉验证的中心极限定理和渐近方差一致估计，为k折测试错误的可实现渐近精确置信区间和有效假设测试提供了理论框架，并在真实数据实验中表现优异。
梯度下降迭代在最小二乘回归中的统计特性与岭回归相比如何？
在梯度下降的整个路径上，其风险不低于岭回归的1.69倍，并在平均信号下保持相对风险边界，同时考虑了极限风险表达式和支撑数值实验。
