差分隐私学习需要更好的模型初始化和自我蒸馏
原文中文，约300字，阅读约需1分钟。发表于：。本研究解决了差分隐私随机梯度下降（DPSGD）在训练语言模型时引发的效用、多样性和语言质量下降的问题。提出了一种三阶段的方法DPRefine，通过小型预训练语言模型的数据合成进行初始化，在私有数据上进行差分隐私微调，并进行自我蒸馏以改善输出。研究表明，DPRefine在降语言错误方面有效，减少了常见的语法和拼写错误，并在所有数据集中78.4%的案例中被优选，展现了其在隐私保护语言模型部署中的潜力。
本研究提出DPRefine方法，解决差分隐私随机梯度下降在语言模型训练中的效用和质量下降问题。通过数据合成、私有数据微调和自我蒸馏，DPRefine有效减少语言错误，展示了隐私保护语言模型的潜力。
