本文介绍了O-Edit算法,用于解决大型语言模型知识更新不及时的问题。该算法通过正交子空间编辑,减少多次编辑的干扰,显著提升编辑性能,达到现有方法的4.2倍,同时保持模型在下游任务中的表现。
多语种知识编辑 (MKE) 旨在修订大型语言模型 (LLMs) 中的事实知识。研究发现不同语言中的相同事实知识通常激活一组共享的神经元,称为语言不可知事实神经元。通过定位和修改语言不可知事实神经元来同时编辑多语种知识的新方法优于现有的 MKE 方法,并取得了显著的编辑性能。
完成下面两步后,将自动完成登录并继续当前操作。