多目标双层优化的一阶多梯度算法
内容提要
该文综述基于梯度的双层优化方法及其在深度学习中的应用，涵盖随机双层优化的单循环免海森算法、凸双层问题的全局次线性收敛、无需隐式微分的一阶算法、混合变量贝叶斯优化框架MixMOBO、计算机视觉中的单层重构框架，以及首个双层加速优化器AccBiO的收敛率上下界分析，并探讨超参数优化与元知识提取的应用前景。
延伸解读
算法设计的两条路径：单循环与免海森
文章综述了随机双层优化的两类改进方向：一是完全单循环算法，避免传统嵌套循环带来的计算负担；二是免除海森矩阵的算法，降低对二阶信息的依赖。这两类设计在标准光滑性假设下获得了更紧密的分析，并展示了算法在不同场景下的普遍性。读者可关注这些假设是否适用于自己的问题，以及单循环是否以牺牲收敛速度为代价。
收敛率保证的层次与条件
不同工作给出的收敛保证差异明显：凸双层问题可获得全局次线性收敛率；非凸双层问题则多只能保证收敛到驻点或局部最小值。此外，AccBiO 给出了首个双层加速优化器的复杂度上界与更紧的下界，并指出双层优化在某些情况下比极大极小问题更难。实际选用算法时，需先明确问题是否满足凸性或光滑性条件，再判断理论保证是否成立。
从理论到应用：超参数优化与元学习
综述将双层优化与深度学习中的超参数优化和元知识提取联系起来，并提及计算机视觉中的单层重构框架以及混合变量贝叶斯优化框架 MixMOBO。这些应用表明双层建模能统一处理多任务优化问题。但文章也指出，部分方法依赖近似解算器或梯度估计器，在闭环函数非凸时仅能保证局部收敛，落地时需留意这些限制。
Q&A
随机双层优化有哪些免海森矩阵的算法？
文章提到一种完全单循环且免除海森矩阵的算法框架，用于随机双层优化，并在标准光滑性假设下给出了更紧密的分析，展示了算法的普遍性。
凸双层优化的一阶方法收敛率如何？
对于凸双层优化问题（内层最小化平滑函数和非凸函数的和，外层在内层最优解集合上最小化平滑强凸函数），基于不动点算法的一阶方法通过内部目标函数值建立了全局次线性收敛率。
深度学习中的双层优化如何避免隐式微分？
文章提出一种基于一阶梯度信息的简单双层优化算法，适用于深度学习中大规模非凸函数，无需隐式微分，并有收敛性分析证明其收敛于驻点，实验表现优越。
MixMOBO 是什么？它有什么特点？
MixMOBO 是一种混合变量、多目标贝叶斯优化框架，能高效找到混合变量设计空间的最优帕累托前沿，同时确保多样解，在合成问题上表现良好。
双层优化在计算机视觉中有什么应用框架？
文章介绍了使用双层优化（BLO）解决计算机视觉和机器学习问题，建立了一个单层重构和统一算法框架，并讨论了其潜力和未来研究方向。
AccBiO 是什么？它在双层优化收敛率方面有什么贡献？
AccBiO 是首个双层加速优化器，文章给出了无梯度边界假设的复杂度上限和更紧的下限，并证明在某些情况下双层优化比极大极小问题更具挑战性。
