大规模预训练语言模型的达芬奇密码：解读退化知识神经元

BriefGPT - AI 论文速递 · 2024-02-21T00:00:00Z

DEPN框架用于检测和编辑预训练语言模型中的隐私神经元，以降低数据泄漏风险。该方法通过引入隐私神经元探测器定位相关神经元，并通过编辑激活为零来去除隐私信息。实验证明该方法有效降低私人数据泄漏风险，且不影响模型性能。研究还展示了模型记忆和隐私神经元之间的关系，证明该方法的稳健性。