本文调研了预训练语言模型的事实知识探测方法，提出了基于输入、输出和模型适应性的分类方案。研究创建了多语言基准测试，评估语言模型的知识检索能力，并提出了知识提示范式和KP-PLM框架，展示了其在自然语言理解任务中的优越性。此外，设计了基准测试Pinocchio，评估模型的事实知识广度，发现现有模型存在知识缺失和虚假相关性。