ROTI-GCV：适用于右旋转不变数据的广义交叉验证
内容提要
本文分析了高维最小二乘回归中的广义交叉验证（GCV）和留一交叉验证（LOOCV），证明了GCV的不一致性和LOOCV的一致收敛性。研究了线性收缩估计器的参数选择，提出了一种数据驱动的交叉验证方法以最小化估计误差。同时探讨了核岭回归的偏差问题及其在高维情况下的应用，提出了基于参数学习的交叉验证策略ALOOCV。
延伸解读
GCV与LOOCV在高维回归中的表现差异
文章指出，在高维最小二乘回归中，广义交叉验证（GCV）作为早期停止梯度下降的预测风险估计量普遍不一致，而留一交叉验证（LOOCV）则能沿梯度下降轨迹一致收敛于预测风险。这意味着在类似场景下，依赖GCV进行模型选择或早停可能产生误导，而LOOCV虽然计算成本更高，但能提供更可靠的预测风险估计。
数据驱动收缩系数选择方法的适用性
针对线性收缩估计器，文章提出了一种数据驱动的交叉验证方法，可自动选择收缩系数以最小化估计误差的弗罗贝尼乌斯范数。该方法不仅适用于样本协方差矩阵和典型收缩目标，还能扩展到一般收缩目标、多目标以及基于最小二乘的协方差矩阵估计器，并在阵列信号处理问题中展示了应用潜力。
核岭回归在高维下的偏差与旋转不变性
文章分析了核岭回归在高维情况下的偏差问题，指出常用核函数（如RBF核、内积核和全连接NTK核）的旋转不变性属性对低次多项式存在偏差，从而给出了核岭回归普遍性误差的下限。这表明核函数的结构影响超出了特征值衰减，需要更精细的分析来理解其在高维下的行为。
ALOOCV：基于参数学习的交叉验证策略
文章提出了一种快速且准确的基于参数学习的交叉验证策略ALOOCV，并利用其开发了基于经验风险最小化框架的正则化优化算法。该策略旨在提升交叉验证的效率，同时保持准确性，为高维回归中的参数选择提供了一种新的数据驱动途径。
Q&A
广义交叉验证（GCV）和留一交叉验证（LOOCV）有什么区别？
GCV在预测风险估计上普遍不一致，而LOOCV则一致收敛于预测风险。
如何选择线性收缩估计器的参数？
可以使用一种数据驱动的交叉验证方法来自动选择收缩系数，以最小化估计误差的弗罗贝尼乌斯范数。
核岭回归在高维情况下存在哪些偏差问题？
核岭回归在高维情况下存在低次多项式的偏差，常用核函数的旋转不变性属性影响其表现。
什么是ALOOCV交叉验证策略？
ALOOCV是一种基于参数学习的交叉验证策略，旨在提高交叉验证的效率和准确性。
如何减弱高虚假相关性的无关变量影响？
可以通过数据拆分技术构建二阶段修复过程来减弱无关变量的影响，从而实现准确的方差估计和变量选择。
广义交叉验证如何用于估计核岭回归的测试误差？
广义交叉验证可以用于估计核岭回归的测试误差和最优正则化参数，通过分析数据中的特征分解来实现。
