多语言知识编辑与语种无关的事实神经网络
原文中文,约400字,阅读约需1分钟。发表于: 。多语种知识编辑 (MKE) 旨在同时修订大型语言模型 (LLMs) 中的事实知识。我们研究了 LLMs 如何表示多语种事实知识,并发现不同语言中的相同事实知识通常激活一组共享的神经元,我们称之为语言不可知事实神经元。基于此发现,我们提出了一种通过定位和修改语言不可知事实神经元来同时编辑多语种知识的新方法。在 Bi-ZsRE 和 MzsRE 基准上的实验结果表明,我们的方法优于现有的 MKE...
多语种知识编辑 (MKE) 旨在修订大型语言模型 (LLMs) 中的事实知识。研究发现不同语言中的相同事实知识通常激活一组共享的神经元,称为语言不可知事实神经元。通过定位和修改语言不可知事实神经元来同时编辑多语种知识的新方法优于现有的 MKE 方法,并取得了显著的编辑性能。