本研究探讨了多语言模型中是否存在独立于特定语言的通用概念表征。通过激活修补技术，研究发现可以在不改变语言的情况下更改概念，并且对不同语言的激活平均处理能够提升翻译性能，证实了语言无关的概念表征的存在。

本研究揭示了多语种预训练语言模型中事实知识存储的机制，并提出了架构适应性多语种集成梯度方法，定位知识神经元更准确。发现了存储跨语言事实知识的语言无关知识神经元和退化知识神经元，为多语种预训练语言模型中事实知识存储的机制提供了宝贵的见解。