本研究提出了一种新方法HetPFL，旨在解决联邦学习中的性能与公平性权衡问题。通过自适应客户偏好采样和超网络融合，显著提升了Pareto前沿的质量，并证明了其线性收敛性。

本文研究了一种基于动力学系统模拟的优化方法，能够在更大的凸函数类中实现线性收敛性。提出了无模拟的目标函数和数据驱动学习框架，解决了胶体自组装问题。通过扩展扩散采样和最优控制，提出了适用于无限维空间的随机最优控制理论，并展示了其在多种问题中的有效性。

该研究提出了一种通用框架，通过非凸优化分析，利用局部下降算法寻找深度神经网络的全局最小值。探讨了深度学习模型的优化与层数的关系，提出了自适应优化器的优势，并分析了网络架构对优化的影响，最终证明了自适应梯度方法的线性收敛性。

本文介绍了多种基于随机梯度下降法的优化算法，如RGraSP、MiG和GT-HSGD，强调它们在稀疏约束和非强凸问题中的线性收敛性和计算效率。这些算法在实际应用中表现出更快的收敛速度和更低的计算成本。

PROMISE是一套基于草图的预条件随机梯度算法套件，用于解决大规模凸优化问题。通过理论分析和默认超参数，实验证实了算法的卓越性能。引入二次正则性概念，建立了方法的线性收敛性。

本文提出了一种强大的聚合方法，用于联邦学习，可以有效地应对恶意拜占庭攻击。每个用户通过多个步骤更新模型参数，然后推送到聚合中心。聚合中心利用几何中位数组合用户的模型参数，并通过严格的证明表明，只要恶意攻击者比例低于一半，我们的方法可以达到零最优间隔和线性收敛性。数值结果验证了方法的有效性。