使用预训练的语言模型和DP优化技术，在中等规模的语料库上获得胜过强基线和同一隐私预算下的NLP模型。同时提出了一种内存节省技术来解决大型Transformers上的计算难题。

使用预训练的语言模型和DP优化技术，在中等规模的语料库上获得胜过强基线和同一隐私预算下的NLP模型。提出了内存节省技术来解决大型Transformers上运行DP-SGD的计算难题。