本文研究了对预先训练的语言模型应用局部差分隐私的隐私保护方法，并提出了隐私适应性的语言模型预训练方法，可以提高BERT的实用性和隐私保护水平。

研究发现，预先训练的语言模型通过从少量反例中进行泛化来提高对数据中偶然现象的鲁棒性。多任务学习（MTL）可以显著提高性能，而不会影响分布内性能。MTL 带来的增益主要是从极少数情况的改善泛化能力中获得的。