预训练 Transformer 中的知识传递
原文中文，约300字，阅读约需1分钟。发表于：。研究人员通过深入研究语言模型的计算图，发现知识电路在表达特定知识方面起到了重要作用。他们还评估了当前知识编辑技术对这些知识电路的影响，并利用知识电路分析和解释语言模型的行为。这些研究为我们理解 Transformer 的工作原理以及指导知识编辑的改进设计提供了深入的见解。
本文研究了Knowledge Neurons框架中的知识神经元在Transformer网络中的作用。研究发现，事实知识主要归属于网络的中高层，而关系信息则由中间层次处理。实验结果证明了该模型可以处理不同语言的提示，并提供类似的信息。研究还发现，语法知识比事实知识更为分散。
