该研究探讨了高维核岭回归的泛化性能,分析了正则化方案下偏差和方差与训练数据及特征维度的关系。研究表明,噪声与正则化的相互作用影响泛化误差,并提出了一种新方法来调整岭回归的正则化超参数,以提高回归参数估计的效率。通过随机对偶理论,研究了多种经典估计方法的性能,揭示了预测风险的非单调行为。
该文综述神经网络表达能力与记忆容量研究:基于随机对偶理论分析树状委员会机器容量,发现双隐藏神经元时最大;证明ReLU双曲网络可嵌入加权树且复杂度与失真率无关;给出宽度d+3的ReLU网络逼近连续函数的深度估计;确定双层网络记忆容量下界为md/2。
完成下面两步后,将自动完成登录并继续当前操作。