本文研究了流行模型中预训练表示的个人信息程度，发现复杂模型和大量数据可能导致数据泄露。作者比较和评估了多语言数据集上的情感分析特征，强调了隐私保护方法的重要性。作者还发现高度隐私保护的技术可能会对模型效用产生严重影响，建议使用混合或度量隐私方法来解决。