集群挤压:跨设备联邦学习中每个集群超过一个通信轮

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

CPFL提出了一种新的学习方法,通过将网络划分为较小的分区或队列,每个队列独立地使用FL来培训全局模型,然后使用知识蒸馏和无标签的数据集将各队列生成的模型统一起来。实验结果显示,CPFL在减少训练时间和资源使用方面具有优势。

🎯

关键要点

  • CPFL提出了一种新的学习方法,通过将网络划分为较小的分区或队列。
  • 每个队列独立地使用FL来培训全局模型,直到收敛。
  • 使用知识蒸馏和无标签的数据集将各队列生成的模型统一起来。
  • 在CIFAR-10数据集上进行实验,研究队列数量、模型准确性、训练时间和资源之间的平衡。
  • 与传统FL相比,CPFL在四个队列、非IID数据分布和CIFAR-10的情况下,减少了约1.9倍的训练时间和约1.3倍的资源使用。
  • CPFL方法仅导致微小的测试准确率下降。
➡️

继续阅读