学习带约束优化的深度增广 Lagrangian 方法
内容提要
本文介绍了一种基于数学原理的学习优化（L2O）模型，验证了其在连续优化问题中的优越性。研究了现有方案并进行了基准测试，提出了新的算法和自监督训练方法，展示了在噪声环境下的有效性和鲁棒性，同时探讨了机器学习与优化方法的结合，推动了这一新兴领域的发展。
延伸解读
L2O 与经典优化方法的融合趋势
文章展示了学习优化（L2O）与拟牛顿法、增广拉格朗日法等经典优化方法结合的多项工作。例如 LODO 将 L2O 与拟牛顿法结合，学习对称矩阵向量积的神经表示，无需元训练即可适应损失景观的局部特征；PDL 则模仿增广拉格朗日方法的轨迹，直接逼近约束优化问题的最优解。这些尝试表明，L2O 并非要取代经典方法，而是通过机器学习增强其性能，形成混合优化策略。
约束处理与鲁棒性成为研究重点
多篇工作聚焦于约束优化和鲁棒性。PDL 在非线性优化基准中表现出极小的约束违规和微小的最优性差距；LADO 针对分散式在线凸优化，实现了鲁棒性保证，并揭示了平均性能与最坏情况鲁棒性之间的权衡；Safe-L2O 框架则结合优化算法和数据驱动算法，提供收敛保证。这些研究说明，在将 L2O 应用于实际约束问题时，如何保证可行性和鲁棒性是关键挑战。
自监督训练与可重复基准的推进
文章提到 PDL 是一种自监督训练方法，无需预先求解实例集合或优化程序，即可同时训练原始和对偶神经网络。此外，Open-L2O 包发布了实现和数据，以支持可重复研究和公平基准测试。这些进展降低了 L2O 研究的门槛，促进了不同方法之间的比较，有助于推动该领域的标准化和实际应用。
Q&A
什么是学习优化（L2O）模型？
学习优化（L2O）模型是一种基于数学原理的优化方法，旨在通过学习算法来解决连续优化问题。
文章中提出了哪些新的算法？
文章提出了新的机器学习优化器LODO、学习增强的分散式在线优化（LADO）算法和自监督训练方法Primal-Dual Learning（PDL）。
LODO优化器与其他L2O方法有什么不同？
LODO优化器不需要在训练任务分布上进行元训练，能够适应损失景观的局部特征。
什么是Safe-L2O框架，它有什么优势？
Safe-L2O框架结合了优化算法和数据驱动算法的优势，具有收敛保证，能够实现快速的数据驱动优化。
自监督训练方法Primal-Dual Learning（PDL）是如何工作的？
PDL方法同时训练原始神经网络和对偶神经网络，以模仿增广Lagrangian方法的轨迹，直接逼近受约束优化问题的最优解。
文章中提到的分散在线凸优化有什么特点？
分散在线凸优化通过个体代理人基于本地在线信息选择动作，具有强大的鲁棒性保证，与集中式算法形成对比。
