差分隐私学习需要更好的模型初始化和自我蒸馏

BriefGPT - AI 论文速递 · 2024-10-23T00:00:00Z

本研究提出DPRefine方法，解决差分隐私随机梯度下降在语言模型训练中的效用和质量下降问题。通过数据合成、私有数据微调和自我蒸馏，DPRefine有效减少语言错误，展示了隐私保护语言模型的潜力。