FLoCoRA：具有低秩适应性的联邦学习压缩
原文中文，约400字，阅读约需1分钟。发表于：。在此研究中，我们展示了 Low-Rank Adaptation 方法在从头开始训练小尺寸视觉模型的联邦学习中的应用，通过提出一种聚合不可知方法 FLoCoRA，我们证明该方法能够减少通信成本 4.8 倍，并且对于具有 ResNet-8 模型的 CIFAR-10 分类任务的准确度损失小于 1%。同时，我们还展示了通过引入仿射量化方案扩展该方法，将通信成本缩减 18.6...
本研究展示了Low-Rank Adaptation方法在联邦学习中的应用，通过FLoCoRA方法减少通信成本4.8倍，对于CIFAR-10分类任务的ResNet-8模型准确度损失小于1%。引入仿射量化方案后，通信成本缩减18.6倍，对于ResNet-18模型测试准确度损失不到1%。该研究提供了一个强有力的基准，减少了训练内存需求。
