本研究探讨了过参数化神经网络的泛化能力，证明测试误差与过参数化水平及VP维度无关。提出了一种新方法，通过构建零损失最小化器，发现泛化误差与数据几何、激活函数的光滑性及权重范数相关。

大规模深度学习模型的实证研究发现，随着模型大小和数据规模的增加，训练模型的测试误差呈多项式改进。本研究在无限维线性回归设置下研究了缩放规律的理论，证明了测试误差的可还原部分为Θ(M^{-(a-1)} + N^{-(a-1)/a})。方差错误随M的增加而增加，但由于随机梯度下降的隐式正则化作用，被其他误差所主导从而在界限中消失。

研究发现，使用EBP算法的BMNNs在高维文本数据集上对二元分类任务有良好效果，测试误差为2.12%，实际权重测试误差为1.66%。

通过数据压缩进行存储优化，提出了描述样本大小和每个图像的位数与测试误差共同演变的存储缩放定律。实证验证证明了该定律的有效性，并展示了通过优化压缩级别在给定存储空间下降低测试误差的潜在好处。研究了随机化压缩级别的可能益处。

大规模深度学习模型的实证研究发现，随着模型大小和数据规模增加，训练模型的测试误差呈多项式改进。研究还发现，增加模型大小会单调改善性能，与传统认知不同。研究在无限维线性回归设置下研究了缩放规律的理论，并通过数值模拟验证了该理论。

研究发现机器学习模型在离散组合空间中训练时存在不连续的单调阶跃现象，即特定训练数据阈值时测试误差迅速下降。学习模式取决于训练集中的突变复杂性水平，对于理解可突变离散空间中的机器学习和基本统计学习理论具有重要意义。

本文提出了过度参数化模型的理论，该模型能够插值训练数据。最佳模型是过度参数化的，与模型阶数呈双峰形。文章分析了最小二乘问题的解的内插模型和使用岭回归进行模型拟合的情况，并提出了一个基于回归矩阵最小奇异值行为的结果，可以解释测试误差随模型阶数的峰值位置和双峰形状。