Transformer 前馈层中关键值记忆更新的实证研究

BriefGPT - AI 论文速递 · 2024-02-19T00:00:00Z

本文提出了一个新任务，即在不降低模型在未修改信息方面的性能的情况下，显式修改 Transformer 模型中特定的事实知识，并基准化了几种方法。发现了用于知识修改的 Transformer 模型的关键组件，并提供了关于不同训练阶段对记忆和知识修改的见解。