具有参数高效的提示调整和自适应优化的大规模语言模型联合学习

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

FedPrompt是一种结合了prompt tuning和federated learning的新方法,以提高FL方法的效率并保护数据隐私。该方法使用模型拆解聚合的方式来使用prompt tuning,减小了通信成本,同时在IID和Non-IID数据分布上保证准确性,并在实验中证明了其可靠性。

🎯

关键要点

  • FedPrompt是一种结合了prompt tuning和federated learning的新方法。
  • 该方法旨在提高FL方法的效率并保护数据隐私。
  • 使用模型拆解聚合的方式来实现prompt tuning。
  • FedPrompt减小了通信成本。
  • 在IID和Non-IID数据分布上保证了准确性。
  • 实验结果证明了该方法的可靠性。
➡️

继续阅读