本研究针对一般参数化的无限时域平均奖励约束马尔可夫决策过程（CMDPs），提出了一种原始-对偶自然演员评论算法，确保全局收敛并降低约束违反率，建立了新的理论基准。

本文研究了经过梯度流训练的单隐藏层ReLU网络在$n$个数据点上的收敛性，发现宽度为$ ext{log}(n)$的网络能够高概率实现全局收敛，并揭示了收敛速度的渐近特征。

本研究提出了一种公平的原始对偶算法框架，解决图像逆问题中的优化模型不足。通过引入平滑项，确保全局收敛并建立收敛速率。实验结果表明，该方法在图像去噪和超分辨率重建方面优于现有技术。

本文探讨了深度残差网络的连续极限，提出了多层神经网络的全局收敛结果及训练方案，展示了在基准数据集上的优异表现。研究表明，当网络足够大时，ResNet可实现近似无误差的解决方案，并分析了梯度下降算法在深度神经网络中的应用及其收敛性。

本文介绍了第一型 Anderson 加速在非光滑固定点问题中的应用，提出了结合保护步骤和正则化方法的全局收敛加速变体。通过数值实验，验证了该算法在一阶算法中的改进效果，尤其在终端收敛方面。该方法已在 SCS 2.0 中实现，显示出其在凸优化中的有效性。

本文综述深度学习优化理论：ReLU网络在随机初始化下用梯度下降可全局线性收敛；过度参数化时，梯度下降能快速达到零训练损失，权重趋近最小范数解且泛化良好；自然梯度下降与K-FAC在深度ReLU网络中也能快速收敛至全局最优；深层线性网络在白化数据上保证线性收敛；SGD可在多项式时间内找到深度网络全局极小值。

本文综述约束马尔可夫决策过程的原始对偶算法，涵盖C-NPG-PD、APDO、DPDL、OPDOP等方法，结合熵正则化、Nesterov加速与自然策略梯度，实现全局收敛和最优复杂度，并应用于机器人运动、库存管理等领域，兼顾安全强化学习与采样效率。

本文提出了新的深度残差网络连续极限，推导出多层神经网络在平均场规则下的全局收敛结果，并提出了几种基于新连续模型的训练方案，其中之一在基准数据集上表现出很强的实证性能。