本文研究了随机梯度下降算法的泛化误差，提出了一种自适应采样算法，结果表明该算法在降低经验风险和提高样本外准确性方面优于均匀采样。同时，探讨了算法的稳定性、随机哈密尔顿方法及其在机器学习中的应用，并提出了新的学习界限和加速方法。

本文研究了联邦学习中的算法稳定性，分析了FedAvg、SCAFFOLD和FedProx在不同损失函数下的性能，并探讨了客户端数据异质性对模型性能的影响。研究发现，完全分散的算法在多种条件下表现良好，但在极度偏斜的数据分布下效果较差。提出了一种新的通信高效算法，提升了收敛速度，并为FedAvg建立了理论基础。

本研究对因果发现方法进行了广泛的基准测试，发现基于分数匹配的方法表现出令人惊讶的性能，并首次尝试评估因果发现算法的稳定性。该研究为因果发现方法的评估树立新标准，并成为对该领域感兴趣的实践者的可访问入口。

本文从算法稳定性的角度出发，对随机梯度方法在凸凹和非凸非凹情形下的泛化能力进行了分析，并建立了稳定性与泛化能力之间的定量联系。研究发现，在凸凹情形下，随机梯度下降算法对于平滑和非平滑的极小极大问题皆可达到最优的泛化界。同时，本文还确定了泛函弱凸弱凹和梯度占主导地位的问题的泛化界。