非凸双层优化的 Moreau 包络：一种单循环且无 Hessian 的解决策略
内容提要
该研究提出了一种基于Moreau包络的双层优化算法MY-HPO，旨在解决超参数选择问题，并验证了其有效性。通过设计平滑的Lagrangian值函数，将问题转化为等价优化形式，显著改善了损失值。此外，研究还探讨了多目标双层优化问题，提出了一种高效的一阶多梯度方法FORUM，展示了其在多任务学习中的优越性能。
延伸解读
Moreau包络如何提升双层优化效率
文章指出，Moreau包络被用于设计平滑的Lagrangian值函数，将非凸非光滑的双层优化问题转化为等价的光滑优化形式。这种转化使得算法无需计算Hessian矩阵，仅依赖一阶梯度信息，从而降低了计算复杂度。MY-HPO算法正是基于此，在超参数优化中实现了单循环更新，避免了传统方法中耗时的内层优化。
MY-HPO在超参数优化中的实证优势
实证结果表明，与最先进的双层超参数优化求解器相比，在固定计算预算下，MY-HPO在损失值上取得了显著改进。这得益于Moreau-Yosida包络对求解器收敛行为的稳定作用，以及算法对下层问题弱凸性假设的放宽。该算法为超参数选择提供了一种更高效且稳定的解决方案。
FORUM：多目标双层优化的新方法
针对多目标双层优化问题，文章提出了FORUM方法，将问题重构为约束多目标优化，并采用新颖的多梯度聚合策略。理论分析给出了复杂度保证和非渐近收敛结果。在三个多任务学习基准数据集上，FORUM取得了最先进的性能，展示了其处理多目标冲突时的有效性和高效性。
Q&A
MY-HPO算法的主要目的是什么？
MY-HPO算法旨在解决超参数选择问题。
Moreau包络在双层优化中有什么作用？
Moreau包络用于将下层问题转化为等价优化形式，从而改善损失值。
FORUM方法在多任务学习中的表现如何？
FORUM方法在多任务学习中展示了优越性能，尤其在多个基准数据集上取得了最先进的结果。
该研究如何改善双层优化的收敛性？
研究通过设计平滑的Lagrangian值函数来处理约束下层问题，从而改善收敛性。
MY-HPO算法与其他双层HPO求解器相比有什么优势？
MY-HPO算法在固定计算预算下，损失值上实现了显著改进。
多目标双层优化问题的解决方法是什么？
提出了一种高效的一阶多梯度方法FORUM来解决多目标双层优化问题。
