通过机器遗忘实现更安全的大型语言模型
内容提要
本文综述大语言模型的知识遗忘研究，目标是在无需完全重训的前提下消除敏感、有害或受版权内容。方法分为参数优化、参数合并和上下文学习三类，并涉及评估指标、安全向量、知识消毒与隐私保护，最后指出遗忘范围、数据与模型交互等挑战及未来方向。
延伸解读
三类遗忘方法的核心区别
文章将LLM知识遗忘方法分为基于参数优化、参数合并和上下文学习三类。参数优化通过调整模型权重实现遗忘，如梯度上升；参数合并则结合多个模型参数；上下文学习在推理时提供特定输入来临时抑制信息。三类方法在资源消耗、持久性和适用场景上各有侧重，读者可根据需求选择。
评估指标与安全向量实践
文章提到评估遗忘效果需关注敏感信息提取可能性（S-EL）和记忆准确性（S-MA）等指标。安全向量方法在微调时激活，使模型对有害样本产生一致性响应，仅用100个有害样本即可防止学习1000个有害样本，且推理时可关闭以恢复正常行为，展示了高效的安全干预思路。
遗忘技术的应用与局限
知识遗忘可应用于版权保护、隐私保护和减少幻觉。例如，通过微调让模型对特定查询回答“我不知道”以降低隐私泄漏。但文章指出，遗忘范围、数据与模型交互等挑战仍存，且顺序遗忘优于一次性遗忘，表明遗忘策略需细致设计，并非一劳永逸。
Q&A
什么是大语言模型的知识遗忘？
知识遗忘是指在大语言模型中消除敏感、有害或受版权内容的影响，而无需完全重新训练模型。它旨在维持基本知识生成的完整性，同时消除不良数据的影响。
大语言模型的知识遗忘方法主要分为哪几类？
主要分为三类：基于参数优化的方法、基于参数合并的方法和基于上下文学习的方法。
知识遗忘在隐私保护方面有什么应用？
知识遗忘可用于减轻隐私问题，例如通过微调模型使其在查询特定信息时生成无害回答（如“我不知道”），从而最小化知识泄漏并保留整体性能。此外，它还能防御提取攻击和减少幻觉。
安全向量在知识遗忘中起什么作用？
安全向量在微调过程中激活，使大语言模型产生一致性响应，防止其学习有害行为。在推断时，可以关闭安全向量以恢复正常行为。实验表明，使用100个有害样本生成的安全向量足以防止模型学习1000个有害样本。
知识遗忘与RLHF相比有什么优势？
在资源有限的情况下，如果优先级是停止生成不受欢迎的输出而非生成理想输出，知识遗忘尤其吸引人。消融研究显示，仅使用2%的计算时间，遗忘就能实现比RLHF更好的对齐性能。
知识遗忘面临哪些挑战和未来方向？
挑战包括遗忘范围、数据与模型交互以及多方面功效评估等。未来方向涉及建立与模型编辑、影响函数、模型解释、对抗训练和强化学习等领域的联系，并开发有效的评估框架。
