DP-DyLoRA: 动态低秩适应下,基于变换器的模型在设备上进行差分隐私联邦学习时的微调
发表于: 。该研究评估了差分隐私对于联邦学习系统中使用大规模本地化 Transformer 模型进行精调的实用性,发现全精调普遍会导致性能严重下降,但通过参数高效的精调方法能够缓解这一问题,而 DP-DyLoRA 方法在现有的 DP-PEFT 方法中表现出色。
该研究评估了差分隐私对于联邦学习系统中使用大规模本地化 Transformer 模型进行精调的实用性,发现全精调普遍会导致性能严重下降,但通过参数高效的精调方法能够缓解这一问题,而 DP-DyLoRA 方法在现有的 DP-PEFT 方法中表现出色。