SCAFFLSA: 量化和消除联邦式线性随机逼近和时序差异学习中的异质性偏差
内容提要
本文综述了多种联邦学习优化算法：SCAFFOLD通过控制变量缓解非独立同分布数据的收敛问题；FedSARSA实现联邦强化学习；Quantised Langevin算法结合梯度压缩加速收敛；FedLin应对异质性并保证线性收敛；FedSpeed解决本地偏差；FedMSA节省通信轮次；FedLALR实现线性加速。
延伸解读
联邦优化中的异质性挑战
文章指出，联邦学习面临数据非独立同分布（non-iid）和系统异质性等挑战，导致传统FedAvg收敛不稳定且通信成本高。SCAFFOLD通过控制变量技术缓解了这一问题，并利用客户端数据相似性加速收敛。FedLin则同时应对目标异质性、系统异质性和通信限制，在强凸光滑条件下保证线性收敛。这些方法从不同角度提升了联邦优化在异构环境下的鲁棒性。
通信效率与收敛加速策略
为降低通信开销，文章介绍了多种策略：Quantised Langevin结合梯度压缩和方差缩减；FedMSA通过多耦合序列节省通信轮次；FedLALR利用本地历史梯度平方自适应调整学习率，实现线性加速。这些方法在保证收敛性的同时，显著减少了通信轮数，适用于资源受限的联邦场景。
联邦强化学习的进展
文章综述了联邦强化学习算法FedSARSA和联邦Q学习。FedSARSA采用线性函数逼近，收敛到接近最优的策略，且接近程度与异质性水平成正比，并随代理数量增加实现线性加速。联邦Q学习通过重要性加权平均，在不共享数据的情况下合作学习，加速收敛并降低样本复杂度。这些工作推动了联邦强化学习在隐私保护下的应用。
算法稳定性与偏差消除
文章探讨了联邦学习算法的稳定性，比较了FedAvg、SCAFFOLD和FedProx在凸和非凸损失下的性能，并分析了数据异质性对收敛行为的影响。FedSpeed通过prox-correction项和扰动方法解决了本地不一致最优和过拟合引起的非消失偏差。这些研究有助于理解算法在异构环境中的通用性能，并为设计更稳定的联邦优化方法提供依据。
Q&A
SCAFFOLD 算法是如何解决联邦学习中的数据异质性问题的？
SCAFFOLD 通过引入控制变量技术，减轻了 FedAvg 在异构数据（non-iid）上的不稳定性和慢收敛问题，从而大大减少了所需的通信轮次，并证明了可以利用客户端数据的相似性加速收敛。
FedSARSA 在联邦强化学习中有什么特点？
FedSARSA 是一种新颖的联邦在线政策强化学习方案，通过引入线性函数逼近方法应对 FRL 算法的挑战，并提供全面的有限时间误差分析。它收敛于对所有代理都接近最优的政策，接近程度与异质性水平成正比，并利用代理协作实现线性加速。
Quantised Langevin Stochastic Dynamics 算法是如何优化联邦学习性能的？
该算法结合了梯度压缩和方差缩减技术，优化了联邦学习框架下的性能，并给出了收敛性保证，应用于多种贝叶斯联邦学习基准测试中。
FedLin 框架能解决分布式学习中的哪些挑战？
FedLin 框架应对分布式学习中的目标异质性、系统异质性和不频繁不准确的通信挑战。当客户端的本地损失函数是光滑且强凸时，FedLin 保证线性收敛并最终收敛到全局最小点，并且在压缩比例下仍然保持线性收敛速度。
FedSpeed 方法如何解决联邦学习中的偏差问题？
FedSpeed 通过应用 prox-correction term 和混合随机梯度下降和额外梯度上升步骤的扰动方法，解决了分布式学习框架中由于本地不一致的最优和过度拟合引起的非消失偏差问题。实验表明 FedSpeed 在真实数据集上的效率显著快于几种基线算法，并实现了最先进的性能。
FedMSA 算法在通信效率上有什么优势？
FedMSA 针对 Federated Stochastic Approximation With Multiple Coupled Sequences (MSA) 算法问题，广泛应用于机器学习，包括 BLO、MCO 和强化学习（特别是演员-评论家方法）。实验演示表明，相对于先前的联邦 BLO 方案，FedMSA 在通信轮数上实现了数量级的节省。
