本文研究了ReLU神经网络的逼近能力，发现深层网络在逼近光滑函数方面优于浅层网络。通过分析超参数和随机初始化，证明了深层网络在优化中具有更强的全局收敛性。此外，过度参数化对优化景观有重要影响，浅层ReLU网络在高维空间中也能有效逼近Hölder函数。

本文通过Lyapunov分析证明了梯度下降法在训练神经网络权重时的动态收敛性，强调了L2正则化在随机噪声下恢复真实目标函数的能力，并探讨了优化方法对泛化性能的影响。研究揭示了过度参数化神经网络的稳定性与风险水平之间的关系，并提出了结合自适应预处理与SGLD的方法以解决过拟合问题。

本文研究了高维线性回归模型中的经典估计方法，如最小范数插值器和岭回归，揭示了预测风险与特征数目和样本大小比的非单调关系，表现出双峰现象。同时探讨了过度参数化模型在插值噪声数据时的行为及其对模型性能的影响。

本文探讨了因子回归模型（FRM）与经典岭回归的性能，利用随机对偶理论对优化问题进行了精确表征。研究发现，过度参数化会导致预测风险的双下降现象，而岭正则化可以缓解这一问题。结果表明，当超参数化比例大于5时，岭平滑效果有限，超过10时几乎无效，强调了“零训练广义良好泛化”的适用性。

本研究分析了过度参数化神经网络的学习与泛化机制，强调图神经网络中对齐和图移位算子的优化重要性。实验证明，采用交叉协方差的图神经网络在多变量时间序列预测中表现优于传统方法。同时，研究探讨了神经切向核在无限宽度下的行为及其与训练过程的关系。

该研究探讨了过度参数化和随机化机器学习算法对训练数据隐私的影响，并通过分析得出了模型分布间的隐私界限。研究发现，隐私界限很大程度上由训练过程中的模型参数相对于期望梯度范数决定。同时，隐私界限的提高或降低取决于所选的初始化分布。该研究还证明了在固定隐私预算下的过度经验风险界限，并展示了隐私效用权衡与深度之间的相互作用同样受到初始化方式的影响。

本文提出了一种对前馈 ReLU 网络的泛化误差进行 PAC 类型边界的方法，通过估计网络集合的 Rademacher 复杂度来解释过度参数化的模型能够在拟合训练数据的同时表现出良好的泛化能力。实验证实了该方法在 MNIST 和 CIFAR-10 数据集上的有效性。

本文研究了前馈神经网络的复杂性，发现通过利用排列不变性可以降低神经网络的复杂性，适当的随机参数初始化策略可以增加优化收敛的概率，过度参数化的网络更容易训练，但增加神经网络的宽度会导致有效参数空间体积的消失。这些发现对深度学习中的一般化和优化有重要的影响。