具有参数高效的提示调整和自适应优化的大规模语言模型联合学习
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
FedPrompt是一种结合了prompt tuning和federated learning的新方法,以提高FL方法的效率并保护数据隐私。该方法使用模型拆解聚合的方式来使用prompt tuning,减小了通信成本,同时在IID和Non-IID数据分布上保证准确性,并在实验中证明了其可靠性。
🎯
关键要点
- FedPrompt是一种结合了prompt tuning和federated learning的新方法。
- 该方法旨在提高FL方法的效率并保护数据隐私。
- 使用模型拆解聚合的方式来实现prompt tuning。
- FedPrompt减小了通信成本。
- 在IID和Non-IID数据分布上保证了准确性。
- 实验结果证明了该方法的可靠性。
➡️