本文研究了大型语言模型记忆的知识与预训练数据中信息之间的关系。结果发现，语言模型回答基于事实的问题的能力与预训练期间看到的相关问题文档数量有强相关性和因果关系。同时，更大的模型能学习更长尾的知识，但需要将模型规模增加数个数量级才能在缺乏支持数据的问题上实现具有竞争性的问答表现。最后，对相关文档数量依赖进行检索增强，能够有效捕捉长尾知识。