BriefGPT - AI 论文速递
·
探索微调语言模型中的记忆化
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文提出了一种基于实体级别的方法来量化语言模型的记忆能力，并提供了一种高效提取敏感实体的方法。实验结果显示，语言模型在实体级别上具有较强的记忆能力，需要采用记忆减轻技术以防止隐私侵犯。
🎯
关键要点
-
大型语言模型通过提示提取训练数据，存在隐私风险。
-
需要量化语言模型的记忆能力以评估隐私风险。
-
提出细粒度、基于实体级别的定义来量化记忆。
-
提供了一种高效提取自回归语言模型中敏感实体的方法。
-
实验结果显示语言模型在实体级别上具有较强的记忆能力。
-
语言模型能够在部分泄露情况下重新生成训练数据。
-
训练者需在模型记忆方面更加谨慎，采用记忆减轻技术以防止隐私侵犯。
➡️
