BriefGPT - AI 论文速递
·
通过交替最小化LoRA实现基础模型的鲁棒联邦微调
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
FedLoRA是一个基于LoRA调优的模型异构个性化联邦学习框架，实验结果显示其在测试准确性、计算开销和通信成本方面均优于六种最先进的基准方法，准确性提高了1.35%，计算开销减少了11.81倍，通信成本降低了7.41倍。
🎯
关键要点
- FedLoRA是一个基于LoRA调优的模型异构个性化联邦学习框架。
- FedLoRA为每个联邦学习客户端设计了同质化小适配器。
- 该框架允许客户端在低计算和通信成本下训练异构化的本地模型。
- 实验结果显示，FedLoRA在测试准确性方面优于六种最先进的基准方法，准确性提高了1.35%。
- FedLoRA的计算开销减少了11.81倍，通信成本降低了7.41倍。
➡️
