Apple Machine Learning Research
·
异步私有联邦学习中的动量近似
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
本文探讨了异步联邦学习中动量方法的挑战，发现异步性会引入隐性偏差。为此，提出了一种动量近似方法，通过优化历史模型更新的加权平均来最小化偏差。该方法兼容安全聚合和差分隐私，易于在生产环境中集成，且通信和存储成本低。实验证明，该方法在基准数据集上可提升1.15至4倍的收敛速度。
🎯
关键要点
- 本文探讨了异步联邦学习中动量方法的挑战，异步性引入隐性偏差。
- 提出了一种动量近似方法，通过优化历史模型更新的加权平均来最小化偏差。
- 该方法兼容安全聚合和差分隐私，易于在生产环境中集成。
- 动量近似方法的通信和存储成本低。
- 实验证明，该方法在基准数据集上可提升1.15至4倍的收敛速度。
➡️
