本文探讨了多语言自然语言推理(NLI)的归因方法,评估其合理性和忠实度。研究发现,知识神经元在Transformer网络中对事实和关系知识的归因表现不同。提出了知识感知语言模型归因(KaLMA)任务,改进了传统归因模型,并通过实证分析探讨了大型语言模型的写作特征及其在跨语言问答系统中的应用,旨在提高归属度和可靠性。
本研究揭示了多语种预训练语言模型中事实知识存储的机制,并提出了架构适应性多语种集成梯度方法,定位知识神经元更准确。发现了存储跨语言事实知识的语言无关知识神经元和退化知识神经元,为多语种预训练语言模型中事实知识存储的机制提供了宝贵的见解。
完成下面两步后,将自动完成登录并继续当前操作。