本研究提出了一种结合联邦微调和合作推理的方法,以解决在网络边缘部署大型人工智能模型时的数据隐私、计算资源和延迟问题。该方法有效降低微调损失,提高通信和操作效率,具有广泛应用潜力。
本研究提出了DropPEFT框架,旨在解决联邦微调在资源受限设备上的计算和内存负担问题。通过随机停用层和自适应dropout比率,显著提升了模型的收敛速度并降低了内存占用。
本研究提出一种两阶段随机方法,解决联邦微调大型语言模型中的信息泄漏问题,实现端到端的隐私保护。结果表明,该方法在效率和准确性上显著提升,并进行了全面的隐私分析。
本文提出了一种新的异构自适应联邦低秩适应(HAFL)框架,旨在解决联邦微调大语言模型在多样化数据集上适应特定任务时的计算和通信挑战。研究表明,该方法通过重要性参数截断和冻结方案,实现了快速收敛和低通信成本,同时保持了模型性能。
本研究提出FedPT框架,通过仅访问模型输出预测,解决大型预训练语言模型微调时的隐私和计算负担问题,适用于资源有限设备。实验表明,FedPT在保持性能的同时,大幅降低计算、通信和内存开销,具有广泛应用潜力。
完成下面两步后,将自动完成登录并继续当前操作。