语言模型中学习事实的关键因素是什么？多元化多提示数据的多方面知识探测
内容提要
本文调研了预训练语言模型的事实知识探测方法，提出了基于输入、输出和模型适应性的分类方案。研究创建了多语言基准测试，评估语言模型的知识检索能力，并提出了知识提示范式和KP-PLM框架，展示了其在自然语言理解任务中的优越性。此外，设计了基准测试Pinocchio，评估模型的事实知识广度，发现现有模型存在知识缺失和虚假相关性。
延伸解读
事实知识探测的分类框架
文章提出了一种基于输入、输出和模型适应性的分类方案，系统梳理了预训练语言模型事实知识探测的方法。这一框架有助于研究者理解不同探测技术的设计思路和适用场景，为后续研究提供了结构化的参考。
多语言知识检索的挑战与改进
研究创建了覆盖23种语言的多语言基准测试，评估语言模型的事实知识检索能力，并提出了基于语言切换的方法来提高多语言模型获取知识的能力。这表明跨语言知识迁移仍存在障碍，而语言切换策略可能是一种有效的改进方向。
知识估计与模型差异
文章提出了一种利用上下文学习能力估计模型潜在知识的方法，并对多种开源大模型进行了大规模评估。结果发现不同模型家族和规模之间的事实知识存在差异，某些关系普遍更熟知，且基本模型与微调模型之间也存在知识差异。
事实可靠性评估与基准测试
文章设计了Pinocchio基准测试评估大模型事实知识的广度和范围，发现现有模型仍缺乏事实知识并存在虚假相关性。同时提出了MONITOR度量方法，通过概率分布距离评估模型一致性，以直接衡量事实可靠性，且计算开销较低。
Q&A
预训练语言模型的事实知识探测方法有哪些？
本文提出了一种基于输入、输出和模型适应性的分类方案来探测事实知识。
如何评估语言模型的知识检索能力？
通过创建一个跨23种语言的多语言基准测试来评估语言模型的知识检索能力。
Pinocchio基准测试的目的是什么？
Pinocchio基准测试旨在评估大型语言模型中的事实知识广度，发现模型存在知识缺失和虚假相关性。
MONITOR度量方法的作用是什么？
MONITOR度量方法用于直接衡量大型语言模型的事实可靠性，评估模型输出的一致性。
KP-PLM框架的创新之处在哪里？
KP-PLM框架通过多种连续提示规则将知识子图转化为自然语言提示，提升了自然语言理解任务的表现。
研究中发现的模型知识差异有哪些？
研究发现不同模型家族和大小之间的事实知识存在差异，某些关系比其他关系更为熟知。
