该研究探讨了高维核岭回归的泛化性能,分析了正则化方案下偏差和方差与训练数据及特征维度的关系。研究表明,噪声与正则化的相互作用影响泛化误差,并提出了一种新方法来调整岭回归的正则化超参数,以提高回归参数估计的效率。通过随机对偶理论,研究了多种经典估计方法的性能,揭示了预测风险的非单调行为。
本文研究了高维线性回归模型中的经典估计方法,如最小范数插值器和岭回归,揭示了预测风险与特征数目和样本大小比的非单调关系,表现出双峰现象。同时探讨了过度参数化模型在插值噪声数据时的行为及其对模型性能的影响。
本文探讨了因子回归模型(FRM)与经典岭回归的性能,利用随机对偶理论对优化问题进行了精确表征。研究发现,过度参数化会导致预测风险的双下降现象,而岭正则化可以缓解这一问题。结果表明,当超参数化比例大于5时,岭平滑效果有限,超过10时几乎无效,强调了“零训练广义良好泛化”的适用性。
完成下面两步后,将自动完成登录并继续当前操作。