TOFU：一项针对 LLMs 的虚构遗忘任务
内容提要
本文综述机器遗忘研究，涵盖：结合Transformer的轻量级遗忘层，无需重训即可更新大模型以保护隐私；通过梯度上升遗忘目标序列的知识遗忘，顺序遗忘优于一次性遗忘；首个可证明且保持公平的实例消除方法；联邦遗忘的分散性与隐私挑战及现有算法与指标综述；删除数据对公平性的潜在损害及SISA的公平性优势；从LLM训练数据子集中遗忘；性能与任务感知的遗忘算法；以及准确与近似方法、攻击与验证的评估调查。
延伸解读
遗忘技术路线分化：从轻量层到梯度上升
文章综述了多种机器遗忘技术路线。一类方法在Transformer中引入轻量级遗忘层，无需重训整个模型即可更新大模型，侧重效率与隐私合规。另一类知识遗忘则对目标标记序列进行梯度上升，直接削弱模型对特定内容的记忆，且顺序遗忘优于一次性遗忘。这些路线在实现成本、隐私保证和适用场景上各有侧重，读者需根据任务类型和资源约束选择。
公平性成为遗忘算法的隐性代价
文章指出，数据删除可能从公平性角度损害AI伦理。在三种删除策略的对比实验中，SISA方法比ORTR和AmnesiacML更公平。这意味着单纯追求遗忘效果可能加剧模型对不同群体的偏差，而SISA在保持公平性上具有优势。对于关注可信AI的从业者，评估遗忘方案时不应只看删除是否彻底，还需考察其对公平性的影响。
联邦遗忘的特殊挑战：分散与隐私
联邦遗忘与常规机器遗忘的关键差异在于联邦学习的分散化和隐私保护特性。客户端共同训练全局模型而不共享原始数据，使得选择性遗忘特定信息更加复杂。文章综述了现有算法、目标和评价指标，并指出非IID删除模型可能加剧公平性问题。这提示在联邦场景下实施被遗忘权，需要专门设计兼顾分散架构与隐私约束的遗忘机制。
评估遗忘效果需兼顾攻击与验证
文章中的调查对机器遗忘技术进行了简明评估，涵盖准确与近似方法、可疑攻击和验证方法，并比较了各方法的优点与局限。这表明遗忘并非一劳永逸，模型可能仍残留可被攻击利用的信息。因此，在实际部署遗忘方案时，除了关注遗忘完整性，还应引入验证手段和攻击测试，以确认敏感信息确实无法被恢复。
Q&A
机器遗忘中如何高效更新大模型而不重新训练？
可以引入轻量级的取消学习层并与Transformer结合，在不对整个模型重新训练的情况下有效更新大型语言模型，以解决用户数据隐私与数据保护法规的问题。实验证明该方法在分类和生成任务上有效。
知识遗忘为什么顺序遗忘比一次性遗忘更好？
知识遗忘通过对目标标记序列进行梯度上升来遗忘它们，研究发现顺序遗忘优于尝试一次性遗忘所有数据，对于特定领域的数据，知识遗忘具有更强的实证隐私保证，同时更加高效和鲁棒。
联邦遗忘面临的主要挑战是什么？
联邦遗忘的主要挑战在于联邦学习的分散化和保护隐私的特性，客户端共同训练全局模型而不共享原始数据，使得有选择地遗忘特定信息变得更加复杂。现有调查提供了算法、目标、评价指标，并确定了挑战。
机器遗忘会损害AI公平性吗？哪种方法更公平？
是的，机器去学习算法可能从公平性角度妥协AI伦理。实验发现SISA方法比ORTR和AmnesiacML方法更加公平，为解决软件工程的重要研究问题提供了帮助。
如何从大语言模型中遗忘特定训练数据子集？
提出了一种新技术，可以从LLM中遗忘训练数据的子集而无需重新训练它，该技术在Harry Potter相关内容的生成或召回方面具有有效能力，这是首篇呈现生成式语言模型中遗忘有效技术的论文。
机器遗忘算法如何权衡遗忘完整性和性能衰减？
提出了一种性能感知算法来权衡遗忘完整性和性能衰减，并且还提出了任务感知的机器遗忘算法来考虑调度和再调度问题，通过模拟验证了遗忘算法在负载预测器上的性能。
机器遗忘技术有哪些评估方法和攻击风险？
调查提供了机器遗忘技术的简明评估，概述了准确和近似方法、可疑攻击和验证方法，并比较了每种方法的优点和局限性，评估了它们的性能，突出了挑战性的需求。
