双内点优化学习
内容提要
该文综述了机器学习与优化结合的多项研究，包括：用对数障碍项替代二次惩罚训练神经网络求解优化问题；提出自监督原始-对偶学习PDL逼近约束优化最优解；针对交流最优潮流采用凸松弛与对偶架构；提出内点策略优化IPO处理累积约束强化学习；结合混合整数规划的Neural Diving与Neural Branching；加速半定规划内点法；用凸优化与双层优化实现神经符号端到端学习；零阶内点法求解约束马尔可夫决策；以及双层规划的半无限多项式转化与半定松弛求解。
延伸解读
内点法成为机器学习与优化交叉的新工具
文章综述的多项研究显示，内点法的核心思想——对数障碍函数——正被广泛用于机器学习与优化的结合。例如，用对数障碍项替代二次惩罚项训练神经网络求解优化问题，以及内点策略优化（IPO）处理累积约束强化学习。这表明内点法不再局限于传统凸优化，而是成为处理约束、提升学习算法可行性的通用框架。
自监督与对偶学习降低约束优化的数据依赖
原始-对偶学习（PDL）和零阶内点法等方法强调自监督训练，无需预先求解实例集合或优化程序。PDL同时训练原始和对偶网络模仿增广拉格朗日轨迹，在非线性基准中约束违规极小。这降低了训练数据准备成本，使方法更易扩展到新问题，但文章未说明其在大规模问题上的可扩展性。
混合整数规划与半定规划的内点加速
文章提到将机器学习与混合整数规划结合，通过Neural Diving和Neural Branching生成变量分配与分支策略，实验效果优于传统方法。同时，针对半定规划的内点法加速研究，解释了运行时间与矩阵乘法精度之间的关系。这些工作表明内点法在离散和半定优化中仍有改进空间，但具体加速比和适用规模未在文中详述。
神经符号与双层规划的优化新路径
神经符号端到端学习利用凸优化和双层优化框架，解决了符号参数学习的挑战，如NeuPSL所示。双层规划则通过Fritz John条件和Jacobi表示转化为半无限多项式规划，并结合半定松弛求解。这些方法为复杂结构优化提供了理论工具，但文章未讨论其计算成本或实际部署难度。
Q&A
如何用对数障碍项替代二次惩罚项来训练神经网络求解优化问题？
通过使用对数障碍项而不是二次惩罚项和神经网络的优化问题解决方案，实现了优化问题的解决方案，结果表明其效果与基于二次规划任务损失的公式以及 SPO 方法一样好，甚至更好。
Primal-Dual Learning (PDL) 是什么？它有什么优势？
PDL 是一种自监督训练方法，用于训练机器学习模型直接逼近受约束优化问题的最优解。它不需要预先解决实例集合或优化程序来进行训练和推理，而是同时训练原始神经网络和对偶神经网络来模仿增广 Lagrangian 方法的轨迹。实验证明 PDL 在非线性优化基准测试中表现出极小的约束违规和微小的最优性差距，与 ALM 优化非常接近，并且在最优性差距、约束违规和训练时间方面表现出更好或相似的性能。
内点策略优化（IPO）在强化学习中如何处理累积约束？
IPO 是一种新的一阶策略优化方法，使用对数障碍函数扩展了目标函数，灵感来自内点法。它旨在解决现实世界中的决策问题，同时最大化长期回报并满足累积约束。该算法比基线算法表现更好，在奖励最大化和约束满足方面都优于基线算法，并可处理一般类型的累积多约束设置。
Neural Diving 和 Neural Branching 是什么？它们如何与混合整数规划结合？
Neural Diving 和 Neural Branching 是两个神经网络组件，用于将机器学习与混合整数规划相结合。它们通过生成高质量的联合变量分配和绑定目标值差异，在实验中比传统方法得到了更好的结果。
如何加速半定规划的内点法？
本文介绍一种更快的内点法，用于求解具有变量大小的一般半定规划问题，并解释了算法的运行时间和矩阵乘法的指数和相对精度之间的关系。
如何利用凸优化和双层优化实现神经符号系统的端到端学习？
通过利用凸优化和双层优化技术，开发出一种基于梯度的通用框架，用于端到端神经和符号参数学习。该框架的适用性得到了 NeuPSL 的证明，这是一种最先进的神经符号体系结构。
零阶内点法如何求解约束马尔可夫决策过程？
在无限时间、约束的马尔科夫决策过程中，通过零阶内点方法实现约束满足，以最大化预期累积奖励，确保策略在学习过程中的可行性，并具有样本复杂度 O(ε^(-6))。
基于多项式函数的双层规划问题如何转化为半无限多项式规划并求解？
本文研究基于多项式函数的双层规划问题（BPPs），利用 Fritz John 条件和 Jacobi 表示将 BPPs 等价地转换为半无限多项式规划（SIPPs）。结合交换技术和 Lasserre 半定松弛方法，提出了求解简单和一般 BPPs 的数值方法。对于简单 BPPs，证明了其全局最优解的收敛性，数值实验表明了所提算法的高效性。
