本文探讨了多语言自然语言推理（NLI）的归因方法，评估其合理性和忠实度。研究发现，知识神经元在Transformer网络中对事实和关系知识的归因表现不同。提出了知识感知语言模型归因（KaLMA）任务，改进了传统归因模型，并通过实证分析探讨了大型语言模型的写作特征及其在跨语言问答系统中的应用，旨在提高归属度和可靠性。

该文综述多语种预训练语言模型的事实知识存储，提出架构适应性多语种集成梯度法，以更准确定位知识神经元，并发现语言无关神经元和退化知识神经元。相关方向包括知识神经元、知识编辑、隐私神经元检测与编辑、知识增强预训练模型以及知识图与语言模型结合。

该文综述Transformer前馈网络（FFN）研究：FFN可视为键值记忆，存储事实知识并影响预测。研究提出知识神经元概念，可定位和编辑特定事实；通过MoEfication将FFN分区为专家，仅用10%–30%参数保持性能；Kformer注入外部知识提升知识密集型任务表现；全ReLU模型在长序列任务中更优；共享FFN可减少参数并提升效率。

该文综述Transformer模型可解释性研究，涵盖Siamese编码器局部归因、自注意力归因、句子转换器名词偏差、BERT决策解释、知识神经元事实与语法知识归因，以及合成图像溯源验证框架，揭示模型内部信息处理机制。

本研究揭示了多语种预训练语言模型中事实知识存储的机制，并提出了架构适应性多语种集成梯度方法，定位知识神经元更准确。发现了存储跨语言事实知识的语言无关知识神经元和退化知识神经元，为多语种预训练语言模型中事实知识存储的机制提供了宝贵的见解。