本研究探讨了联邦大语言模型(FLLM)在可行性、鲁棒性和安全性方面的挑战,并提出了在分布式数据上有效训练大型语言模型的方法,强调隐私保护和数据孤岛问题。
本研究提出了FedEAT框架,旨在提高联邦大语言模型在数据异质性、恶意客户端和对抗攻击等方面的鲁棒性。通过对抗训练和几何中位数聚合,FedEAT有效提升了模型的鲁棒性,且性能损失最小。
本研究比较了三种先进的联邦大语言模型框架,分析了在资源受限场景下微调的精度、通信开销和计算负载等性能差异,为实际应用提供指导。
完成下面两步后,将自动完成登录并继续当前操作。