该研究探讨了预训练语言模型在事实知识探测中的应用，提出了基于模型适应性的分类方案，并分析了知识保留和提示优化问题。研究讨论了采用语言模型作为知识库的障碍和未来研究方向。

该文介绍了一种生成知识提示的方法，通过从语言模型中产生知识并将其作为额外输入用于回答问题，提高了大规模、最先进模型在四个常识推理任务中的性能。这凸显了大规模语言模型作为提高常识推理的外部知识的灵活来源。

该研究提出了基于知识提示的KP-PLM框架，通过多种连续提示规则将知识子图转化为自然语言提示，并提出了两个新的知识感知无监督任务。实验结果表明，KP-PLM在多个自然语言理解任务中表现优异。