大型语言模型中实体级记忆的量化与分析

本文提出了一种细粒度、基于实体级别的定义来量化语言模型的记忆能力，并提供了一种从自回归语言模型中高效提取敏感实体的方法。实验结果显示，语言模型在实体级别上具有较强的记忆能力，并能够在部分泄露情况下重新生成训练数据。这些发现要求语言模型的训练者在模型记忆方面更加谨慎，采用记忆减轻技术以防止隐私侵犯。