保障自适应方法:巴基莱 - 波尔温法和其他步长选择的全局收敛

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文介绍了一种自适应的近端梯度方法,不受传统的Lipschitzian假设的限制。通过利用Hölder不等式,该方法在纯粹的局部Hölder梯度连续性下收敛,并且无需线搜索。实验证明该方法在机器学习任务中表现良好。

🎯

关键要点

  • 本文介绍了一种自适应的近端梯度方法,不受传统的Lipschitzian假设的限制。
  • 该方法在纯粹的局部Hölder梯度连续性下收敛,无需线搜索。
  • 分析揭示了一类无需线搜索的方法,适用于连续可微分的半代数函数。
  • 利用Hölder不等式,保持自适应方案的无需线搜索特性。
  • 证明了在不了解局部Hölder常数和Hölder连续性阶的情况下,完全序列的收敛性。
  • 数值实验表明该方法在各种机器学习任务中表现良好。
➡️

继续阅读