BriefGPT - AI 论文速递
·
FedDD: 以差分参数丢弃实现高效的通信节约联邦学习
💡
原文中文，约200字，阅读约需1分钟。
📝
内容提要
本文介绍了一种基于贝叶斯推理的自适应辍学方法（FedBIAD），通过将局部模型权重转化为概率分布，并根据本地训练损失趋势辍掉部分权重行，从而提高准确性并减少上行通信成本。理论分析表明，FedBIAD 的平均泛化误差收敛速度最快，甚至在非独立同分布数据上可以提高2.41%的准确率，并缩短最多72%的训练时间。
🎯
关键要点
- 提出了一种基于贝叶斯推理的自适应辍学方法（FedBIAD）。
- 通过将局部模型权重转化为概率分布，逐行辍掉部分权重行。
- 根据本地训练损失趋势相关的重要性指标自适应辍学。
- 提高了模型的准确性，减少了上行通信成本。
- 理论分析表明，FedBIAD 的平均泛化误差收敛速度最快。
- 在非独立同分布数据上，准确率提高了 2.41%。
- 训练时间最多缩短 72%。
➡️
