在线凸优化下的在线次模最大化

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文提出了针对连续次模函数类的在线优化过程,包括Frank-Wolfe算法的变体和在线随机梯度上升算法。证明了两种算法具有O(T的平方根)的遗憾界,并将结果推广到γ-弱次模函数。演示了算法的效率在几个问题实例上。

🎯

关键要点

  • 本文研究在线优化过程,目标函数属于连续次模函数类。
  • 提出了一种 Frank-Wolfe 算法的变体,能够访问目标函数的全梯度。
  • 该算法对未来最佳可行解的(1-1/e)-近似具有 O(T 的平方根)的遗憾界。
  • 针对只能获得梯度的无偏估计情况,提出了在线随机梯度上升算法。
  • 在线随机梯度上升算法也具有 O(T 的平方根)的遗憾界,但对未来最佳可行解的近似度为 1/2。
  • 结果推广到 γ-弱次模函数,证明相同的次线性遗憾界。
  • 在多个问题实例上演示了算法的效率,包括非凸/非凹二次规划等。
➡️

继续阅读