FedBiOT: LLM 局部微调的联邦学习无需完整模型
原文中文，约300字，阅读约需1分钟。发表于：。在联邦学习中，我们提出了一种资源高效的大型语言模型细调方法，通过引入压缩模型和适配器的概念，在减少资源消耗的同时实现与全模型可比的性能水平。
FlexLoRA是一种用于LLM fine-tuning的聚合方案，通过动态调整本地LoRA等级并使用奇异值分解（SVD）进行权重重新分配，提高了联邦全局模型在下游NLP任务性能方面的表现。实验结果证实了FlexLoRA的有效性，平均提高了3.1%。FlexLoRA与现有的基于LoRA的联邦学习方法无缝集成，提供了可扩展的、隐私保护的LLM联邦调整路径。
