基于排名的LoRA聚合方法用于异构模型的微调
发表于: 。本研究针对联邦学习服务中,异构模型微调过程中模型聚合性能退化的问题,提出了一种新的模型聚合方法——基于排名的LoRA聚合(RBLA)。通过保持低排名和高排名特征,RBLA有效解决了现有填充方法导致的模型性能下降,展现出更优的聚合效果。实验结果表明,RBLA在各种模型上的应用效果显著优于当前最先进的方法。
本研究针对联邦学习服务中,异构模型微调过程中模型聚合性能退化的问题,提出了一种新的模型聚合方法——基于排名的LoRA聚合(RBLA)。通过保持低排名和高排名特征,RBLA有效解决了现有填充方法导致的模型性能下降,展现出更优的聚合效果。实验结果表明,RBLA在各种模型上的应用效果显著优于当前最先进的方法。