Transformer 前馈层中关键值记忆更新的实证研究
原文中文，约200字，阅读约需1分钟。发表于：。通过在大型语言模型中的知识编辑和微调任务中比较更新键或值的两种方法，我们对 transformer 中的前馈网络进行了实证消融研究，从而更好地理解前馈网络作为一组键值神经存储器来恢复抽象高层知识。
本文提出了一个新任务，即在不降低模型在未修改信息方面的性能的情况下，显式修改 Transformer 模型中特定的事实知识，并基准化了几种方法。发现了用于知识修改的 Transformer 模型的关键组件，并提供了关于不同训练阶段对记忆和知识修改的见解。
