本研究解决了脉冲神经网络（SNN）缺乏高效训练算法的问题。我们提出了一种基于交替方向乘子法（ADMM）的新训练方法，能够应对SNN步进函数的非可微性。研究结果表明，该方法具有良好的收敛性和潜在的改进方向，能够为未来的研究提供新思路。

本文探讨了联邦学习中ADMM与变分贝叶斯（VB）方法的关系，提出了一种结合两者优势的新变体。研究发现，ADMM的对偶变量与VB的各向同性高斯协方差参数相关，数值实验验证了这种联系能提升联邦学习的性能。

本文探讨了利用交替方向乘子法（ADMM）进行深度神经网络（DNN）的权值剪枝和量化，提出了UCNN和ADMM-NN等优化框架，以提高模型性能和能效。研究表明，结构化剪枝在保持准确性的同时，显著降低了模型大小和能耗。

本研究解决了传统基于梯度下降的分层联合学习算法在隐私保护和学习收敛性方面的不足。我们提出了一种基于交替方向乘子法（ADMM）的新型分层联合学习框架，并提出了两种新算法，实验结果表明这些算法在学习收敛性和准确性上超过了传统算法。该研究的发现表明，ADMM在两个层面上的应用显著提升了算法性能。

本文提出了一种新方法，通过自适应调整约束惩罚和最大迭代次数，加速ADMM收敛，提升分布式优化效率。研究涵盖异步ADMM算法、随机原始-对偶算法及去中心化在线随机非凸优化，验证了算法在多种数据集上的优越性能和收敛性。

个性化联邦学习（PFL）是一种解决异构数据收敛性差的方法。本文提出了使用Moreau包络（FLAME）的交替方向乘子方法进行训练PFL模型的方法，实现亚线性收敛率。实验结果表明，FLAME在模型性能和通信效率方面优于最先进的方法。 Nov, 2023

通过重新表述低秩矩阵补全问题为凸问题，并实施分离分支限界方案，提出了一种新的收敛松弛方法。数值实验表明，该方法在最优性方面有显著改进。同时，展示了分离分支限界方案在矩阵完成问题中的优异表现。

本论文研究了协作对等网络中学习代理的个性化模型，提出了两种异步流言算法，分别是平滑预训练的本地模型和共同学习和传播模型。算法基于ADMM，旨在优化目标。

广义随机 ADMM 是一种统一的算法框架，通过对随机 ADMM 及其变种进行连续时间分析，证明在适当缩放下，随机 ADMM 的轨迹弱收敛到带有小噪声的随机微分方程的解，同时提供了为什么松弛参数应选择在 0 到 2 之间的理论解释。

我们提出了展开的D-ADMM算法，通过深度展开方法减少了通信数量，保持了算法的可解释性和灵活性。应用于分布式估计任务和分布式学习场景，显著减少了通信开销。

该论文提出了一种新颖的FL算法（FedIns），用于处理FL框架中的内部客户数据异质性。实验证明FedIns在Tiny-ImageNet上比现有FL算法表现更好，性能提升多于6.64%，通信成本不到15%。代码和模型将在2023年8月公开发布。

本文介绍了一种名为Group Alternating Direction Method of Multipliers (GADMM)的分布式机器学习框架，能够在分布式网络中解决问题，并实现更快的收敛和更高的通讯效率。同时，还介绍了GADMM的变体Dynamic GADMM (D-GADMM)，并证明了其在时间变化的网络拓扑下的收敛性。

本文提出了一种通用方法来优化惩罚参数的值，并在线性二次问题的背景下，提出了一种新的封闭形式公式来计算最佳松弛参数。该方法在图像配准、去模糊和MRI重建等应用中经过实验证明了其有效性。

通过使用 ADMM 和深度学习模型进行分布式优化，本研究通过采用两层分层结构的方法，将建筑物的总功率限制为对应的各个区域的局部功率目标，从而有效地规划室内温度设定点，并成功管理需求响应的高峰事件。

该研究提出了一种新的神经网络架构CRNN，用于监督影像的心脏磁共振成像重建。该模型结合了单图像超分辨率细化模块，提高了单线圈重建的质量。使用高通滤波器强调原始数据中缺失的高频细节，相较于基准案例有显著改进，并具有进一步提高心脏磁共振成像重建的潜力。

FeDEQ是一种先驱性的联邦学习框架，利用深度均衡学习和一致性优化有效地在边缘节点之间利用紧凑的共享数据表示，允许派生个性化模型，并通过采用交替方向法解（ADMM）一致性优化的新型分布式算法，理论上证明了其收敛性。

本文研究了无穷展开网络中平滑软阈值函数的优化保证，证明了存在满足PL$^*$条件的损失函数空间特定区域，从而保证全局最小值的存在和使用梯度下降方法的指数级收敛。同时，比较了无穷展开网络与标准的全连接前向网络（FFNN）的训练样本数量阈值，并证明无穷展开网络具有更高的阈值，因此预期无穷展开网络的期望误差将优于FFNN。

本文介绍了一种基于ADMM算法的方法，用于解决包含多元仿射约束条件和非凸、非光滑目标函数的优化问题。该方法在特定条件下收敛于受约束的稳定点解集合，并在Kurdyka-Lojasiewicz性质成立的情况下进一步收敛于单个受约束的稳定点。作者应用该方法解决了矩阵分解、风险均衡投资组合优化、凸优化问题的非凸化以及神经网络训练等问题，并证明算法子问题可以有封闭式解。

本文分析了DRS、PRS和ADMM算法在不同正则性假设下的收敛速率。研究发现，放松的PRS和ADMM能够自动适应问题的正则性并提高收敛速率。

本文总结了分布式优化技术的发展历程，重点介绍了凸问题的拉格朗日松弛和分解策略，以及ADMM和近端中心方法的改进。ALADIN算法在非凸场景下具有收敛性保证，与传统增广技术不同。分布式优化在机器学习和图像等领域具有广泛应用。