面向异构通信的联邦低秩自适应
原文中文,约400字,阅读约需1分钟。发表于: 。通过提出一种新的基于复制的填充策略来解决传统的联邦低秩适应方法中的稳定性问题,以实现在联邦细调过程中更好地利用高质量数据集,加速收敛速度并提高全局模型的预测质量。
本研究展示了Low-Rank Adaptation方法在联邦学习中的应用,通过FLoCoRA方法减少通信成本4.8倍,对于CIFAR-10分类任务的ResNet-8模型准确度损失小于1%。引入仿射量化方案后,通信成本减少18.6倍,对于ResNet-18模型测试准确度损失不到1%。该研究提供了一个强有力的基准,减少了训练内存需求。