该文综述神经网络隐式偏差研究，指出深度网络因结构冗余而偏好简单、低频、低秩函数，从而具备良好泛化能力。研究涵盖随机插值器、ReLU网络频率偏向、PAC-Bayes泛化保证及训练不变性，并探讨参数扰动对频率表达的影响。

该文综述神经网络梯度下降动态研究，涵盖：两层网络首步更新中的秩1峰值、学习率与特征对齐；过参数化下梯度下降快速达零损失且与核方法一致；随机特征、双下降及三层网络特征学习优势；梯度下降防过拟合、冻结权重子空间，以及无限宽网络的隐式偏差与泛化。

该文综述神经网络优化与泛化研究，涵盖：ReLU网络无虚假局部极小且损失可任意小；DNN收敛速率近最优；常见损失在实现空间凸；提出可微代理函数训练非可微目标；惰性训练不适用于深度卷积网络；研究差分隐私随机优化及梯度下降隐式偏差；指出固定尺寸函数集高度非凸等不良性质；两层网络梯度下降可全局线性收敛。