FaithUn:通过研究知识的相互关联性迈向语言模型中的可靠遗忘

📝

内容提要

本研究针对语言模型中敏感知识的删除问题,指出现有方法未能充分考虑知识的复杂相互联系,导致删除过程不够可靠。论文引入了“表面遗忘”的新概念,并基于此提出了新的基准FaithUn,评估真实知识问答环境中的遗忘效果,同时提出了一种新的遗忘方法KLUE,实验证明其在实际应用中的有效性显著高于现有方法。

🏷️

标签

➡️

继续阅读