个性化协作微调用于设备上的大型语言模型

BriefGPT - AI 论文速递 · 2024-04-15T00:00:00Z

FlexLoRA是一种用于LLM fine-tuning的聚合方案，通过动态调整本地LoRA等级并使用奇异值分解（SVD）进行权重重新分配，提高了联邦全局模型在下游NLP任务性能方面的表现。实验结果证实了FlexLoRA的有效性，平均提高了3.1%。FlexLoRA与现有的基于LoRA的联邦学习方法无缝集成，提供了可扩展的、隐私保护的LLM联邦调整路径。