本文提出了一种基于步长的渐变下降加速方法，设计了步长调度方案，确保在光滑非强凸优化中，渐变下降在任意停止时间 $T$ 处实现 $O(T^{-1.03})$ 的收敛保证。

插拔式去噪是一种流行的图像去噪框架，本文概述了正则化理论并调查了新的数据驱动方法作为正则化方案。同时，讨论了插拔式算法和其收敛保证。提出了一种新的谱滤波技术来控制正则化强度，并通过理论分析和数值实验验证了插拔式与线性去噪器的收敛正则化方案。

PAC-Bayesian理论为学习优化问题提供了可证估计、收敛保证和收敛速度权衡的框架。通过转化为一维最小化问题并研究全局最小值的可能性，提供了一个具体算法实现和学习优化的新方法。四个实验支持了该理论，展示了该学习框架对优化算法性能的改进。

本文介绍了一种新的贝叶斯联邦学习算法，使用FA-HMC进行参数估计和不确定性量化。研究发现，FA-HMC在非独立同分布数据集上具有严格的收敛保证，并且收敛和通信成本受到参数空间维数、梯度噪声和动量以及通信频率的影响。实证研究表明，FA-HMC优于现有的FA-LD算法。

KSIVI是SIVI-SM的一种变体，通过核技术消除了底层优化的需求。它通过计算核Stein距离（KSD）实现了对KSIVI的新收敛保证。在合成分布和各种真实数据的贝叶斯推断任务中，KSIVI的有效性和效率得到了证明。

本文提出了一种基于模型的域泛化方法，通过对数据生成过程和同变性条件的建模，将域泛化问题转化为一个无限维的有约束统计学习问题，并利用非凸对偶理论发展了有约束松弛的统计问题，提出了具有收敛保证的域泛化算法，并在基准测试中取得了30个百分点的改进。

Kontorovich和Painsky提出了一种用于估计离散概率分布的新限制，该限制在各种准确度上几乎是最优的，包括实例最优性。所提出的基于数据的最大似然估计的收敛保证显著改进了已知结果。作者利用和创新了各种技术，包括切诺夫型不等式和经验伯恩斯坦界。通过合成和真实世界实验验证了结果。最后，将所提出的框架应用于基本的选择推断问题，即估计样本中最常见的概率。