本研究针对一般参数化的无限时域平均奖励约束马尔可夫决策过程（CMDPs），提出了一种原始-对偶自然演员评论算法，确保全局收敛并降低约束违反率，建立了新的理论基准。

本文研究了经过梯度流训练的单隐藏层ReLU网络在$n$个数据点上的收敛性，发现宽度为$ ext{log}(n)$的网络能够高概率实现全局收敛，并揭示了收敛速度的渐近特征。

本研究提出了一种公平的原始对偶算法框架，解决图像逆问题中的优化模型不足。通过引入平滑项，确保全局收敛并建立收敛速率。实验结果表明，该方法在图像去噪和超分辨率重建方面优于现有技术。

本研究探讨了动量联邦学习在解决分布式数据机器学习问题方面的应用，通过应用动量梯度下降算法加速全局收敛。实验结果表明，动量联邦学习在全局收敛性能上优于仅使用一阶梯度下降的联邦学习。

该论文重新审视了非凸优化设置中随机镜像下降（SMD）的收敛性，并克服了先前结果的限制。通过新的非凸SMD收敛分析，将结果扩展到高概率收敛和全局收敛。研究表明，改进的SMD理论在非凸机器学习任务中具有优势。同时，开发了可证明收敛的随机算法用于训练线性神经网络。

通过梯度下降研究自注意力机制的隐式偏差，证明了全局收敛并量化了关注图的稀疏化速率，同时分析了自适应步长规则对自注意力收敛速度的加速效果。强化了自注意力与线性逻辑回归中的隐式偏差的联系。

本文提出了新的深度残差网络连续极限，推导出多层神经网络在平均场规则下的全局收敛结果，并提出了几种基于新连续模型的训练方案，其中之一在基准数据集上表现出很强的实证性能。