受约束的双层优化：近端拉格朗日值函数方法与无 Hessian 算法
内容提要
该文综述双层优化研究进展，涵盖FORUM多梯度法、单循环免海森算法、BiO-BreD和BVFIM等方法，应用于多任务学习与计算机视觉，并给出收敛性与复杂度分析。
延伸解读
双层优化算法演进：从多梯度到单循环免Hessian
文章梳理了双层优化领域近年来的算法进展。FORUM针对多目标双层优化，通过约束重构和多梯度聚合实现高效求解；单循环免Hessian算法则避免了计算昂贵的Hessian矩阵，提升了随机双层优化的实用性。这些方法在理论收敛性和复杂度上均有突破，为多任务学习等场景提供了新工具。
非光滑下层问题的可微化处理与Bregman距离应用
对于下层问题非光滑且解不唯一的双层优化，文章提到一种通过迭代算法和近端距离函数使更新映射可微的技术。此外，BiO-BreD利用Bregman距离降低计算复杂度，处理外部非凸非光滑、内部强凸的问题。这些方法扩展了双层优化在超清理等任务中的适用性。
理论保证：收敛速度与复杂度分析
文章强调了多项研究的理论贡献。例如，基于罚函数的一阶算法在非凸光滑设定下达到ε-稳定点，复杂度为O(ε^{-3})和O(ε^{-7})，随机版本可降至O(ε^{-5})。FSLA和Bi-Sub-Gradient方法也分别提供了单循环实现和亚线性收敛保证，为算法选择提供了依据。
应用场景：多任务学习与计算机视觉
双层优化已成功应用于多任务学习和计算机视觉。FORUM在三个多任务学习基准上取得最先进性能；BVFIM通过值函数内点法解决复杂学习问题；单层重构框架则统一了计算机视觉中的BLO问题。这些实证结果展示了双层优化在实际任务中的潜力。
Q&A
FORUM方法是什么？它主要解决什么问题？
FORUM是一种针对多目标双层优化问题的高效一阶多梯度方法。它将多目标双层优化问题重新构造为约束的多目标优化问题，并通过一种新颖的多梯度聚合方法解决具有挑战性的约束多目标优化问题。
有哪些双层优化算法可以避免计算Hessian矩阵？
文章提到了一种完全单循环且免除海森矩阵的算法框架，用于随机双层优化；还提到了基于Hessian但不需要求逆的完全单循环算法（FSLA）。
BiO-BreD和SBiO-BreD算法有什么特点？
BiO-BreD和SBiO-BreD是使用Bregman距离、具有低计算复杂度的增强型双层优化方法，用于解决外部子问题非凸且可能非光滑、内部子问题强凸的双层优化问题。
BVFIM方法是如何求解双层优化问题的？
BVFIM是一种基于值函数内点法的双层优化模型求解方法。它通过对正则化值函数进行惩罚，获得一个连续可微的无约束逼近问题序列，从而解决复杂的学习问题。
双层优化在计算机视觉和机器学习中有哪些应用？
文章提到双层优化被用于多任务学习、计算机视觉和机器学习领域的问题，例如在三个多任务学习基准数据集上取得了最先进的性能，以及用于数据超清理任务和超表征学习任务。
双层优化的一阶算法有哪些收敛性保证？
文章提到，对于目标函数在两个层次上都是光滑但可能非凸的双层优化问题，通过罚函数方法，算法以O(ε^{-3})和O(ε^{-7})的复杂度达到ε-稳定点；在随机预言机假设下，单循环方式可分别达到O(ε^{-3})和O(ε^{-5})的优化复杂度。
