PAC-Bayesian理论为学习优化问题提供了可证估计、收敛保证和收敛速度权衡的框架。通过转化为一维最小化问题并研究全局最小值的可能性，提供了一个具体算法实现和学习优化的新方法。四个实验支持了该理论，展示了该学习框架对优化算法性能的改进。

本文研究了无穷展开网络中平滑软阈值函数的优化保证，证明了存在满足PL$^*$条件的损失函数空间特定区域，从而保证全局最小值的存在和使用梯度下降方法的指数级收敛。同时，比较了无穷展开网络与标准的全连接前向网络（FFNN）的训练样本数量阈值，并证明无穷展开网络具有更高的阈值，因此预期无穷展开网络的期望误差将优于FFNN。

本文研究了两层神经网络在全局最小值附近的损失函数图景，确定了能够实现完美泛化的参数集，并描述了其梯度流动。通过新颖的技术，揭示了复杂的损失函数图景的简单特征，并解释了过度参数化的神经网络能够很好地泛化的原因。