本文研究了Knowledge Neurons框架中的知识神经元在Transformer网络中的作用。研究发现，事实知识主要归属于网络的中高层，而关系信息则由中间层次处理。实验结果证明了该模型可以处理不同语言的提示，并提供类似的信息。研究还发现，语法知识比事实知识更为分散。