BriefGPT - AI 论文速递 · 2024-10-23T00:00:00Z

差分隐私学习需要更好的模型初始化和自我蒸馏

📝

内容提要

本研究提出DPRefine方法，解决差分隐私随机梯度下降在语言模型训练中的效用和质量下降问题。通过数据合成、私有数据微调和自我蒸馏，DPRefine有效减少语言错误，展示了隐私保护语言模型的潜力。

🏷️

标签

DPRefine 差分隐私 数据合成 自我蒸馏 语言模型