仅使用遗忘数据进行损失调整的LLM遗忘
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了大型语言模型(LLM)在隐私泄露、偏见、安全性和法规演变等领域的伦理使用问题。我们提出了一种新的“仅使用遗忘数据损失调整”(FLAT)方法,消除了对保留数据或参考模型的依赖,通过优化响应和遗忘数据之间的差异,显著提高了模型的遗忘性能,同时保持高效能。实验结果证明,该方法在多个任务中表现优异,确保了模型能力的最大保留。
大型语言模型可能会记住和传播敏感信息,机器遗忘技术因此被提出。该技术通过选择性丢弃数据,解决隐私和法律问题,无需重新训练模型。本文回顾了最新研究,介绍了文本和分类数据的遗忘方法,展示了其在删除特定数据时保持模型高效性的有效性,并强调了其在推动负责任人工智能方面的重要性。