免调节的随机优化
原文中文,约400字,阅读约需1分钟。发表于: 。大规模机器学习问题中,通过松散提示参数信息,提出了能够自动调整的 “无需调参” 的算法,能够与最优调参优化算法在多对数因子上实现性能匹配,特别是对于有界优化领域,证明了这种匹配是可能的,并且多个现有算法已经实现了该特性。然而,在无界领域中,证明了无需调参优化是不可能的,但在噪声分布足够良好的情况下,通过一些算法如 DoG 和...
提出了一种自动调整的无需调参算法,能够在多对数因子上与最优调参优化算法实现性能匹配。在有界优化领域中,证明了该匹配是可能的,并已有多个算法实现了该特性。在无界领域中,证明了无需调参优化是不可能的,但在噪声分布良好的情况下,通过一些算法可以满足无需调参的条件。提出了一种改进的随机梯度下降(SGD)变体,用于查找光滑且可能非凸函数的稳定点,具有多对数成本匹配调参SGD的最佳已知高概率收敛率。然而,证明了任何算法都不可能满足与调参SGD高概率收敛率相匹配的最优期望收敛率。