零阶随机镜面下降算法用于 minimax 过量风险优化
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本文探讨了高维凸函数的随机零阶查询优化，提出了两种算法，并证明其收敛性优于经典方法。此外，研究还涉及分布鲁棒优化中的新算法，展示了在非凸损失下的有效性和收敛速度。
🔎
延伸解读
零阶优化的高维优势
文章指出，提出的两种随机零阶算法仅依赖于问题环境维度的对数收敛率，这意味着在高维场景下，算法复杂度随维度增长缓慢。实证研究也表明，这些算法优于经典的零阶优化方法，为高维凸函数优化提供了更高效的途径。
分布鲁棒优化的算法进展
文章回顾了分布鲁棒优化（DRO）领域的多项研究，包括针对非凸损失、CVaR设置、KL散度约束以及谱风险不确定性集等提出的算法。其中Prospect算法仅需调整一个学习率超参数，在分布偏移和公平性基准上收敛速度比随机梯度和随机鞍点方法快2-3倍。
随机镜像下降的尾部界限
文章研究了凸函数和Lipschitz目标的随机镜像下降法，提供了新的尾部界限，并扩展到重尾噪声情况。结果的一个显著特点是不需要对定义域的直径设置上界，这增强了算法在更广泛问题中的适用性。
❓
Q&A
零阶随机镜面下降算法的主要优点是什么？
该算法在高维场景中表现优于传统的零阶优化方法，收敛速度更快。
Prospect算法在处理什么问题时表现突出？
Prospect算法在分布偏移和公平性基准上表现突出，收敛速度比随机梯度和随机鞍点方法快2-3倍。
本文提出的算法如何保证收敛性？
文章通过理论证明，展示了算法的收敛性优于经典方法，并提供了新的尾部界限。
分布鲁棒优化中的新算法有什么特点？
新算法适用于一般光滑非凸损失，并与条件风险价值设置相结合，具有良好的收敛保证。
高维凸函数的随机零阶查询优化的研究意义是什么？
该研究为高维凸函数的优化提供了新的方法和理论支持，推动了随机优化领域的发展。
随机镜像下降法在重尾噪声情况下的表现如何？
该方法提供了新的尾部界限，并在重尾噪声情况下展示了良好的优化误差表现。
🏷️
