本文综述差分隐私随机梯度下降（DP-SGD）的研究进展，主要包括：隐私预算与噪声的平衡、动态调整剪裁阈值和噪声、DP-SGD与DP-NSGD的收敛分析、大批量训练性能下降源于SGD隐式偏差被噪声放大、迭代隐私放大的统一框架、缓解剪裁偏差的新方法、个性化采样机制以及隐私泄露的指数收敛。

该文综述扩散模型与概率常微分方程（ODE）求解研究，提出贝叶斯过滤ODE方法降低参数敏感性，改进扩散ODE最大似然估计并在CIFAR-10和ImageNet-32达最优，分析ODE与SDE采样性能发现增大扩散系数可指数级降低误差，提出蒸馏ODE求解器加速采样，并建立分布学习收敛分析及概率流ODE多项式时间收敛保证。

该文综述联邦学习中的动量方法，旨在缓解客户端系统与数据异质性导致的收敛问题。内容涵盖将动量梯度下降引入本地更新以加速全局收敛，提出FedCM、FedBuff、FedLADA等算法，改进FedAvg与SCAFFOLD，并提供收敛分析与实验验证。

该文综述多项联邦学习研究：提出基于原型的框架与正则化策略，在MNIST和Fashion-MNIST上较FedAvg分别提升3.3%和8.9%准确率；并介绍Turbo-Aggregate安全聚合、FedCLG防部分参与、Delta-SGD超参数优化、轻量加密数据混淆系统、聚类联邦多任务学习及CA-Fed收敛分析，兼顾隐私保护、通信效率与异构数据下的收敛性能。

该文综述基于梯度的双层优化方法及其在深度学习中的应用，涵盖随机双层优化的单循环免海森算法、凸双层问题的全局次线性收敛、无需隐式微分的一阶算法、混合变量贝叶斯优化框架MixMOBO、计算机视觉中的单层重构框架，以及首个双层加速优化器AccBiO的收敛率上下界分析，并探讨超参数优化与元知识提取的应用前景。

本文综述非凸正则化优化的理论与算法进展，主要内容包括：基于l_p正则的无约束极小化方法及IRL1/IRL2闭式求解与收敛分析；非凸风险最小化的样本复杂度与泛化性；正则化M估计局部最优解的误差上界及近似全局最优算法；基于信赖域法的全局极小化；正则化路径追踪与避免鞍点的提纯方法、无鞍牛顿法及加权l^p线性反问题的迭代算法。