线性二次问题的 ADMM 及过松弛 ADMM 参数的优化
内容提要
该文综述交替方向乘子法（ADMM）的改进研究：通过优化步长、松弛参数与罚项参数最小化收敛因子，提出自适应松弛ADMM、自适应罚项ADMM及加速线性化ADMM等方法，并分析非凸共识与共享问题的收敛性，数值实验验证其收敛更快、更自动化。
延伸解读
参数调优是ADMM加速的关键
文章指出，通过优化步长、松弛参数和罚项参数来最小化收敛因子，可以定量表征参数对收敛时间的影响。在L2正则化最小化和约束二次规划中，最优参数选择规则显著优于现有替代方案。这表明，对于ADMM的实际应用，参数调优不是经验性的试错，而是有理论依据的优化问题，合理选择参数能直接提升收敛速度。
自适应方法降低人工干预
针对ADMM参数需要手动调节的问题，文章介绍了自适应松弛ADMM和自适应罚项ADMM。前者自动调节关键参数以实现最佳性能，无需用户监管；后者自适应调整罚项参数，缓解惩罚因子调节的困难，同时保持较快收敛。这些方法提高了算法的自动化水平和可靠性，尤其适合计算机视觉和机器学习中非可微目标函数的优化场景。
非凸问题的收敛性有前提
文章分析非凸共识和共享问题时发现，经典ADMM在惩罚参数足够大时会收敛到静止解集合；对于共享问题，无论变量块数量多少都收敛。但这一结论依赖于惩罚参数足够大的条件，且分析未对迭代施加强假设，广泛适用于近端更新和灵活块选择规则的变体。读者需注意，非凸场景下的收敛保证并非无条件，参数选择仍影响理论保障。
加速与扩展的多种途径
除了自适应参数，文章还提及加速线性化ADMM（AADMM）在凸复合优化中比线性化ADMM更快，且能处理无界可行域；半迭代ADMM对凸组合优化具有线性收敛性；以及利用ADMM求解SDP松弛问题，表现出鲁棒性和效率。这些变体表明，ADMM的改进不限于参数调节，算法结构本身的调整也能带来收敛加速和适用范围的扩展。
Q&A
ADMM算法的收敛速度受哪些参数影响？如何优化这些参数？
ADMM的收敛速度主要受步长、松弛参数和罚项参数影响。通过寻找最优算法参数以最小化迭代的收敛因子，可以定量表征参数对收敛时间的影响。在L2正则化最小化和约束二次规划背景下，可得出最优参数选择规则，数值实验表明这些规则显著优于现有替代方案。
自适应松弛ADMM（ARADMM）是什么？它有什么优势？
ARADMM是一种针对非可微目标函数和约束优化问题的自适应松弛ADMM方法，旨在通过自动调节关键算法参数实现最佳性能而无需用户监管。详细的收敛性分析和应用实例表明其具有快速的实际收敛性能。
如何为分布式二次规划问题优化ADMM的缩放参数？
针对一类分布式二次规划问题，通过优化ADMM步长、松弛参数以及通信图中的边权重，可以得到算法的最小收敛因子。推导出了步长、松弛参数和相应收敛因子的显式表达式，数值模拟验证了结果并强调了优化缩放ADMM的好处。
自适应罚项ADMM（AADMM）如何提高收敛速度和自动化水平？
AADMM通过自适应调节罚项参数使ADMM快速收敛，提高了可靠性和自动化水平。该方法能缓解惩罚因子调节的问题，同时保持较快的收敛速度。此外，还有方法通过自动决定每次迭代的约束惩罚和自适应确定更新惩罚的最大迭代次数来加速收敛。
ADMM在非凸共识和共享问题上的收敛性如何？
研究表明，当增广拉格朗日乘数的惩罚参数足够大时，经典ADMM算法会收敛到静止解的集合。对于共享问题，ADMM无论变量块的数量如何都是收敛的。该分析不对算法生成的迭代强加任何假设，广泛适用于涉及近端更新规则和各种灵活块选择规则的ADMM变体。
加速线性化ADMM的AADMM框架是什么？它有什么特点？
AADMM是一种用于加速线性化ADMM的新颖框架，针对一类具有线性约束的凸复合优化问题。其收敛速度比线性化ADMM更快，且当相应的鞍点问题有解时，能够处理无边界的可行域。此外，还提出了一种回溯算法来提高实际性能。
