基于交替方向乘子法的分布式马尔可夫链蒙特卡罗采样
内容提要
本文综述了交替方向乘子法（ADMM）的多项研究进展，包括随机异步分布式优化、加速线性化ADMM、非凸优化全局收敛、去中心化二次逼近（DQM）、隐私保护扰动方法及蒙特卡罗采样算法，并分析了各方法的收敛性与数值性能。
延伸解读
ADMM的异步与随机扩展
文章介绍了将ADMM推广到异步设置的工作，其中随机高斯-塞德尔迭代用于寻找两个单调算子之和的零点，并在连接性条件下保证收敛。此外，还有随机ADMM算法通过在线性化ADMM公式上逐步逼近全梯度，在凸优化问题上实现了比现有随机和批量ADMM更快的收敛速度。这些进展表明ADMM在分布式优化中正朝着更灵活、更高效的方向发展。
非凸优化与全局收敛的突破
针对非凸优化问题，文章提到基于ADMM的算法通过通用双重步长方法、特殊潜函数和简单初始化策略，实现了全局收敛。另一项分析表明，当增广拉格朗日乘数的惩罚参数足够大时，经典ADMM会收敛到静止解集合，且对于共享问题，无论变量块数量如何都收敛。这些结果扩展了ADMM的理论适用范围，减少了对其迭代的强假设。
隐私保护与计算效率的改进
在隐私保护方面，文章提出了一种基于改进ADMM的扰动方法，可同时提高实用性和隐私性，并给出了收敛性条件和收敛速率下界。在计算效率方面，去中心化二次逼近（DQM）方法旨在减少DADMM求解子问题的计算时间，以线性速率收敛于最优解。这些工作表明ADMM在应对实际分布式场景中的隐私和效率挑战时具有潜力。
加速技术与采样应用
文章还涉及加速线性化ADMM的框架AADMM，对于一类凸复合优化问题，其收敛速度比线性化ADMM更快，并能处理无界可行域。此外，基于优化驱动的蒙特卡罗算法通过变量分割和数据增强，提供了更快、更高效的采样方案，生成的样本可用于近似贝叶斯估计，并以较低成本提供置信区间。这些应用展示了ADMM在信号处理和统计推断中的价值。
Q&A
ADMM在分布式优化中如何扩展到异步设置？
通过将标准ADMM推广到异步设置，使用随机的高斯-塞德尔迭代来寻找两个单调算子求和的零点，并在连接性条件下保证收敛性。
基于ADMM的蒙特卡罗采样算法有什么优势？
通过变量分割和数据增强，获得更快、更高效的采样方案，生成的样本可用于近似贝叶斯估计，并能以较低成本提供置信区间。
AADMM如何加速线性化ADMM？
AADMM通过逐步逼近全梯度，对于一类具有线性约束的凸复合优化问题，收敛速度比线性化ADMM更快，且能处理无界可行域，并采用回溯算法提高实际性能。
ADMM在非凸优化中能否保证全局收敛？
是的，通过使用通用的双重步长方法、构建特殊的潜函数以及简单的初始化策略，ADMM可以实现非凸优化问题的全局收敛，并在实际应用中表现良好。
DQM方法如何减少ADMM子问题的计算时间？
DQM是一种去中心化二次逼近方法，以线性速率收敛于最优解，其线性收敛系数随时间呈线性趋势，从而减少计算时间。
ADMM如何用于隐私保护？
通过基于改进的ADMM算法的扰动方法，可以同时提高实用性和隐私性，并得到收敛性条件和收敛速率下界。
