基于低秩训练的高效通信联邦推荐系统
内容提要
该文综述联邦学习中的通信效率与隐私保护研究，采用结构化更新、草图更新、残差稀疏量化、安全聚合压缩及低秩模型压缩等方法降低通信成本，并提出隐私保护新闻推荐、联邦表示学习、FedRec+、UC-FedRec等框架，兼顾隐私与异构性，实验表明可大幅降低通信开销并保持性能。
延伸解读
通信压缩的两条技术路线
文章梳理了降低联邦学习通信成本的多种方法，可归纳为两类：一是结构化更新与草图更新，实验表明可将通信成本降低两个数量级；二是残差稀疏量化、安全聚合压缩及低秩模型压缩等。这些方法分别从更新表示、传输编码和模型结构入手，为不同场景提供了可选方案。
隐私保护与通信效率的协同设计
文章中的多个框架试图同时兼顾隐私与效率。例如隐私保护新闻推荐通过分解模型降低客户端成本，并用安全聚合保护梯度；UC-FedRec则让用户灵活选择隐私需求，以最小准确度代价实现保护。这表明隐私与通信并非只能取舍，可通过架构设计协同优化。
异构性处理与聚合权重优化
FedRec+利用Wasserstein距离估计客户端异构性和贡献，通过优化问题获得最佳聚合权重，从而减少噪声并降低通信成本。这提示在联邦推荐中，单纯压缩通信可能不够，还需考虑客户端数据分布差异对聚合效果的影响，权重设计是平衡效率与性能的关键环节。
低秩压缩的优化实现
文章介绍了一种低秩模型压缩的流形优化公式，无需放松低秩约束，并引入共识惩罚支持OTA聚合。配套的交替黎曼优化算法在真实数据集上优于多个基线。这说明低秩压缩不仅能减少通信量，其数学形式也可与无线聚合方式结合，为实际部署提供更完整的方案。
Q&A
联邦学习里有哪些降低通信成本的方法？
文章提到结构化更新和草图更新可将通信成本降低两个数量级；此外还有残差稀疏量化（ResFed框架）、基于安全聚合的压缩方法、稀疏随机图拓扑设计、定期压缩通信的本地梯度追踪方案，以及低秩模型压缩的流形优化公式。
FedRec+ 是怎么解决联邦推荐中的异构性问题的？
FedRec+ 通过基于特征相似性的最优子集选择生成近似最优的伪评分，利用用户本地信息减少噪声；同时利用 Wasserstein 距离估计每个客户端的异构性和贡献，通过求解优化问题获得最佳聚合权重，从而有效降低沟通成本并提升性能。
UC-FedRec 如何平衡用户隐私和推荐准确率？
UC-FedRec 是一种用户许可的联合推荐系统，能够灵活满足用户不同的隐私需求，以最小的推荐准确度代价实现隐私保护。实验表明，该框架在不同真实数据集上相比基线更加高效和灵活。
联邦学习中的低秩模型压缩是怎么实现的？
文章提出一种新颖的低秩模型压缩流形优化公式，不需要放松低秩约束，并引入共识惩罚来支持OTA聚合。基于该公式，提出交替黎曼优化算法，在实现有效OTA聚合的同时不影响训练性能，实验验证了其有效性。
联邦表示学习在通信和隐私限制下可行吗？
可行。文章证明了自监督对比本地训练的鲁棒性，并基于此提出一种新的联邦表示学习框架，使用相似度蒸馏训练全局模型。实验表明，尽管受到更严格的通信和隐私限制，该方法在多种数据集上仍能以可比较的结果实现多种设置下的性能。
ResFed 框架是如何提升无线网络中联邦学习的通信效率的？
ResFed 是一种基于残差的联邦学习框架，通过对残差进行稀疏化和量化来提高通信效率，从而大大减少在无线网络中应用联邦学习所需的大量通信成本。
