面向异构通信的联邦低秩自适应

BriefGPT - AI 论文速递 · 2024-06-25T00:00:00Z

本研究展示了Low-Rank Adaptation方法在联邦学习中的应用，通过FLoCoRA方法减少通信成本4.8倍，对于CIFAR-10分类任务的ResNet-8模型准确度损失小于1%。引入仿射量化方案后，通信成本减少18.6倍，对于ResNet-18模型测试准确度损失不到1%。该研究提供了一个强有力的基准，减少了训练内存需求。