本文研究了流行模型中预训练表示的个人信息程度，发现复杂模型和大量数据可能导致数据泄露。作者比较和评估了多语言数据集上的情感分析特征，强调了隐私保护方法的重要性。作者还发现高度隐私保护的技术可能会对模型效用产生严重影响，建议使用混合或度量隐私方法来解决。

微调预训练语言模型在广泛任务上有希望的结果，但在新任务上更依赖通用预训练表示还是任务特定解决方案？研究发现微调模型在较后层次上严重依赖预训练表示，而从头开始训练的模型则开发了更具任务特定性的机制。这突出了预训练在任务泛化中的优势和限制，并强调了进一步研究任务特定机制的必要性。