本文探讨了BERT模型如何获取和利用关系知识，发现中间层对知识的贡献显著。研究表明，预训练模型有助于保持知识，而非预训练模型易于遗忘。通过实验提出了防止知识遗忘的方法，并强调了理解知识获取过程的重要性。此外，增加预训练数据量并未显著提升知识保持能力，提出了新方法以提高语言模型的知识学习效率。