本文介绍了多种随机优化算法，包括基于随机梯度的非凸优化方法、改进的SMO算法和随机逼近方法及其在神经网络中的应用。这些算法在处理大规模数据集和优化问题时表现出高效性和优越的收敛速度，尤其在无光滑假设下的性能得到了验证，实验结果显示其在实际应用中效果良好。

本文汇编多篇随机逼近研究，涵盖：可微测试函数下平均SGD收敛到正态分布的非渐近速率及非渐近鞅中心极限定理；TD(0)线性逼近的非渐近界与迭代平均变体；双时间尺度随机逼近、马尔可夫链泛函CLT、常数步长SGD不变分布与集中性、顺序蒙特卡罗CLT、线性双时间尺度收敛速度及高维CLT收敛速率。