具有参数高效的提示调整和自适应优化的大规模语言模型联合学习
原文中文,约300字,阅读约需1分钟。发表于: 。FedPepTAO 是一种参数高效的提示调优方法,采用自适应优化来实现高效且有效的大语言模型的联邦学习,通过改进性能和效率的同时解决设备和服务器端的客户漂移问题。
FedPrompt是一种结合了prompt tuning和federated learning的新方法,以提高FL方法的效率并保护数据隐私。该方法使用模型拆解聚合的方式来使用prompt tuning,减小了通信成本,同时在IID和Non-IID数据分布上保证准确性,并在实验中证明了其可靠性。