使用预训练的语言模型、非标准化超参数和DP优化技术，在中等规模语料库上获得优于DP-trained模型的NLP模型。提出了内存节省技术来解决DP-SGD计算难题，成本与非隐私训练相当。