大规模嵌入模型的稀疏保持差分私有训练

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

使用预训练的语言模型和DP优化技术,在中等规模的语料库上获得胜过强基线和同一隐私预算下的NLP模型。提出了内存节省技术来解决大型Transformers上运行DP-SGD的计算难题。

🏷️

标签

➡️

继续阅读