本文探讨了深度神经网络中的隐式正则化,利用随机矩阵理论分析权重矩阵,发现训练过程隐式实现自我正则化。研究表明大批次训练会影响模型的正则化效果,并提出了改进的正则化方法,如“Heavy-Tailed Regularization”,以提升网络的泛化能力。此外,文章还探讨了梯度优化算法与隐式正则化之间的关系,建议采用更广泛的框架来理解非线性预测中的隐性正则化。
本文使用随机矩阵理论和自由概率的工具推导了高维岭回归模型的训练和泛化性能,通过S变换特性得到了训练和泛化误差的解析公式,研究了广义类随机特征模型的泛化误差,讨论了偏差-方差分解和异向权重结构对性能的限制。这些结果扩展了对神经缩放定律模型的理解。
该研究使用随机矩阵理论研究了非齐次分组伪威格纳模型中的结构噪声,并找到了最优的频谱方法。研究发现在最佳阈值处会出现异常值和正重叠现象,使得该方法在非齐次威格纳问题的迭代方法中是最优的。
本文研究了计算阈值附近的尖峰张量模型中对低秩信号的估计。通过使用随机矩阵理论,我们展示了信噪比对信号主要方向可检测性的影响。这些结果对于预测截断多线性奇异值分解在非平凡区域中的重构性能很重要。同时,我们给出了HOOI收敛的充分条件,并表明在大维极限中收敛之前的迭代次数趋于1。
该文介绍了一个用于分析高维情况下基于低密度分离假设的半监督分类的理论框架。作者提出了QLDS,一个具有显式解和丰富理论性质的线性分类模型,并利用随机矩阵理论推导了分类误差的理论评估和超参数选择策略。实验结果表明,QLDS在计算效率更高的同时,在超参数选择上优于交叉验证。
研究发现非线性主成分分析在某些模型情况下本质上是线性问题,通过分析核随机矩阵的谱得出。同时,该研究探讨了随机矩阵理论在高维数据建模工具中的相关性。
完成下面两步后,将自动完成登录并继续当前操作。