本研究解决了大语言模型在联合环境中部署时面临的数据隐私和计算需求问题。提出的FL-LLaMA框架通过引入高斯噪声和并行训练策略,显著提升了安全性与效率,并允许根据具体任务动态调整数据分区点。实验结果表明,FL-LLaMA在性能上与集中式LLaMA2相当,并在训练和推理速度上实现了显著提升。
本研究提出FL-LLaMA框架,旨在解决大语言模型在联合环境中的数据隐私和计算需求问题。通过引入高斯噪声和并行训练策略,提升了安全性和效率。实验结果表明,该框架的性能与LLaMA2相当,且训练和推理速度显著提高。