对角化 SGD：通过参数重设和平滑实现快速与收敛的非可微模型 SGD
内容提要
本文综述随机梯度下降（SGD）及其变体的收敛性研究，涵盖偏倚梯度与自适应步长、非光滑激活神经网络、非凸优化收敛率、非可微密度变分推断、统计推断与置信区间、对角线性网络泛化、去中心化在线优化、加速非平滑算法ANSGD、带偏差SGD复杂性及分布式联邦优化统一分析等方向，多数工作证明了收敛性并获实验验证。
延伸解读
偏倚梯度下的自适应步长收敛性
文章指出，即使梯度估计存在偏倚且步长自适应，Adagrad和RMSProp等算法的收敛速率仍与无偏情形相似。这意味着在实际训练中，如果梯度计算因采样或近似引入偏差，只要偏差可控，算法仍能有效收敛。读者可关注超参数调整对减少偏倚影响的作用，这为处理非精确梯度提供了理论支持。
非光滑激活网络的统一SGD框架
针对非光滑激活函数构建的神经网络，文章提出一个统一框架，通过为动量项和变量分配不同时间尺度，证明了单/双时间尺度下的全局收敛性。该框架涵盖heavy-ball SGD、SignSGD、Lion等多种流行方法，并在有限和目标下证明它们收敛到Clarke稳定点。这为理解这些方法在非光滑场景下的行为提供了理论依据。
对角线性网络中的泛化优势
文章研究了对角线线性网络上SGD的动态规律，发现其解比梯度下降具有更好的泛化性能，且收敛速度控制偏见效应的大小。这支持了结构化噪声可带来更好泛化的理论。读者可从中理解SGD在特定结构下的隐式正则化效应，以及收敛速度与泛化之间的关联。
去中心化与联邦优化的统一分析
文章涉及去中心化在线非凸优化和分布式联邦优化。通过梯度跟踪技术，GT-DSGD在Polyak-Lojasiewics条件下实现线性收敛，并具有最优全局亚线性速率。另一工作提出统一假设模型，为分布式/联邦非凸优化提供单一收敛分析，涵盖压缩通讯方法。这些结果有助于理解分布式SGD的收敛保证和通信效率的权衡。
Q&A
带偏倚梯度的自适应步长SGD（如Adagrad和RMSProp）收敛速率如何？
研究表明，带偏倚梯度的Adagrad和RMSProp算法收敛速率与无偏情况下的结果相似，且通过适当的超参数调整可以减少偏倚影响。
非光滑激活神经网络中SGD变体的收敛性有什么新框架？
提出了一种新框架，为更新动量项和变量分配不同的时间尺度，在温和条件下证明了单时间尺度和双时间尺度情况下的全局收敛性，并涵盖heavy-ball SGD、SignSGD、Lion、normalized SGD和clipped SGD等方法，这些方法能以随机步长和初始点找到Clarke稳定点。
非凸优化中SGD的收敛率如何受采样策略和小批量大小影响？
使用类似期望光滑性假设的新方法研究非凸优化收敛率，并探讨了多种采样策略和小批量大小对有限和优化问题的影响。
针对非可微密度模型的随机变分推断算法是如何降低方差并保持偏差不变的？
通过对可微区域应用标准重新参数化技巧、对边界区域应用流形采样，估计梯度，从而降低方差并保持偏差不变。
SGD下如何进行统计推断并构建置信区间？
研究了在SGD下进行统计推断，构建渐近无偏估计和置信区间，并提出了一种高维线性回归算法，可以计算稀疏回归系数和置信区间。
对角线性网络中SGD的动态规律和泛化性能如何？
SGD在对角线性网络上的解比梯度下降具有更好的泛化性能，收敛速度控制偏见效应的大小，支持结构化噪声可以引起更好泛化性能的理论。
去中心化在线随机非凸优化中GT-DSGD的收敛性如何？
通过将梯度跟踪技术集成到去中心化随机梯度下降中，对于满足Polyak-Lojasiewics条件的全局非凸函数，GT-DSGD具有线性收敛性，并在几乎每条路径上具有最优的全局亚线性收敛速度。
加速非平滑随机梯度下降算法ANSGD有什么优势？
ANSGD利用常见非平滑损失函数的结构，实现了一类问题（包括SVM）的最优收敛速率，是第一个达到最优O(1/t)率的随机算法，实证比较表明其明显优于以前的次梯度下降算法包括SGD。
带偏差随机梯度方法的复杂性及其在非凸函数上的收敛性如何？
分析了带偏差随机梯度方法的复杂性，特别是在非凸函数上的收敛性及更好的速率，探究了偏差大小对达到的准确性和收敛速率的影响，并阐述了偏差梯度在分布式学习和无导数优化中的应用广泛性。
分布式联邦优化中SGD变体的统一收敛分析包括哪些内容？
提出了一种通用的假设模型来精确建模随机梯度的二阶矩，给出了所有满足统一假设的方法的单一收敛分析，并提出了两种新的通用算法框架来处理分布式/联邦非凸优化问题，包括许多利用压缩通讯的分布式方法，以及在PL条件下获得更快线性收敛速度的统一分析。
