遗忘还是不遗忘?针对大型语言模型的实用知识消除
原文中文,约300字,阅读约需1分钟。发表于: 。LLM 上的大型语言模型锤炼了丰富的文献,不可避免地保留了敏感数据,如个人隐私信息和受版权保护的材料。本研究旨在评估目前的去学习过程是否会无意中抹掉重要的知识,并提出了一种名为 MemFlex 的简单而有效的方法,该方法利用梯度信息来精确地针对和去学习敏感参数。实验证明 MemFlex 在 LLM 的精确知识去学习和一般知识保留方面优于现有方法。
LLM上的大型语言模型锤炼了丰富的文献,但可能保留了敏感数据。研究提出了一种名为MemFlex的方法,利用梯度信息来精确地去学习敏感参数。实验证明MemFlex在精确知识去学习和一般知识保留方面优于现有方法。