在没有主题标签的 LLM 中编辑任意命题
内容提要
本文综述大语言模型知识编辑问题，界定其定义并提出统一分类：利用外部知识、将知识合并入模型、编辑内在知识。研究构建新基准KnowEdit，实证评估代表性方法，发现编辑可提升事实性但会损害模型通用能力。文章还分析知识定位与内在知识结构，介绍KnowledgeEditor、EasyEdit、MELO、MALMEN等方法，并讨论知识编辑的应用与意义。
延伸解读
知识编辑的三类路径与权衡
文章将知识编辑方法分为三类：利用外部知识、将知识合并到模型中、编辑内在知识。这种分类有助于理解不同方法在实现难度、更新灵活性和对模型原有能力的影响上的差异。例如，外部知识利用可能无需改动模型参数，而内在知识编辑则直接修改模型内部计算，但后者可能带来更大的通用能力损失风险。
编辑提升事实性但损害通用能力
实证研究发现，对大型语言模型进行知识编辑虽能提高模型的事实性，但会显著损害其通用能力。这意味着在实际应用中，编辑操作可能带来副作用，需在更新知识与保持模型整体性能之间寻求平衡。文章呼吁研究如何最小化预训练获得的通用能力损失，并在编辑过程中保留这些能力。
知识定位为编辑提供机制基础
通过因果干预技术，研究发现自回归语言模型中的实际关联存储于中间层前馈模块，且这些关联对应本地化的可直接编辑的计算。这一发现为模型编辑提供了直接操作计算机制的方法，使得针对特定知识的精准修改成为可能，而非盲目调整全部参数。
实用工具与多事实编辑进展
文章介绍了EasyEdit框架，支持多种前沿知识编辑方法，在可靠性和推广性上超过传统微调。此外，MELO方法通过动态激活LoRA块，在文档分类、问答和幻觉修正任务上达到最先进水平，且所需可训练参数和计算成本最少。MALMEN则能同时编辑多个事实，在知识密集型任务上表现优于特定于GPT的编辑器。
Q&A
什么是大语言模型的知识编辑？
知识编辑是指对大型语言模型进行高效轻量级的修改，以纠正过时信息或整合新知识，而无需重新训练整个模型。文章将其定义为即时修改模型的方法，并提出了统一的分类准则。
知识编辑方法可以分为哪几类？
文章将知识编辑方法分为三类：利用外部知识、将知识合并到模型中以及编辑内在知识。这一分类受到教育和认知研究理论的启发。
KnowEdit 基准是什么？
KnowEdit 是一个新的基准数据集，用于对代表性的知识编辑方法进行综合实证评估，以帮助研究社区选择适合特定任务的方法。
知识编辑对模型性能有什么影响？
实证研究发现，知识编辑能够提高模型的事实性，但会显著损害模型的通用能力。因此，文章呼吁研究如何最小化通用能力的损失并在编辑过程中保留它们。
有哪些代表性的知识编辑方法？
文章介绍了多种方法，包括 KnowledgeEditor（使用超网络预测权重更新）、EasyEdit（易于使用的知识编辑框架）、MELO（基于神经元索引的动态 LoRA）、MALMEN（通过超网络生成参数移位）等。
知识编辑在模型中的知识定位有什么发现？
通过因果干预技术研究发现，自回归转换语言模型中的实际关联对应于本地化的可直接编辑的计算，中间层前馈模块在存储实际关联方面具有重要作用，这为模型编辑提供了直接操作计算机制的方法。
