随机重排的高概率保证
原文中文,约300字,阅读约需1分钟。发表于: 。我们考虑了应对平滑非凸优化问题的具有随机重排特性的随机梯度方法,通过研究其样本复杂度和下降特性,我们提出了一个简单可行的停止准则,并设计了一个扰动随机重排方法,可以有效地避开严格的鞍点并返回一个具有二阶停滞点的迭代解。
该研究探讨了利用随机重排来压缩有限和函数的算法,Random Reshuffling。该算法在凸优化和非凸优化中很有实用性,并且比随机梯度下降更快。研究者通过理论和实验表明,新的方差类型为RR的卓越性能提供了额外的理论依据。同时,他们还展示了Shuffle-Once算法的快速收敛性,并提出了适用于非强凸和非凸目标的多种算法。他们的理论优于现有文献,并揭示了不同类型的随机变量可能在某些情况下产生更大的影响。