使用随机零阶预言机最小化 Polyak-Łojasewicz 函数
原文中文,约400字,阅读约需1分钟。发表于: 。应用零阶方案来最小化 Polyak-Łojasewicz (PL) 函数,基于利用随机 oracle 来估计函数的梯度,算法收敛到无约束情况下的全局最小值和约束情况下的全局最小值邻域,附带相应的复杂度界限,并通过数值示例进行了理论结果的证明。
本文介绍了一种新的分析框架,用于分析基于一阶优化算法的统计学习中的泛化误差。该分析适用于多个学习问题,并提供了接近配对的上下界的泛化误差。结果适用于平滑和强凸优化问题,以及满足Polyak-Lojasiewicz假设的平滑非凸优化问题。最后,研究证明,在标准监督学习的情况下,批梯度下降法可以通过增加批次大小和热启动来达到近似最优的泛化误差。