本文探讨了大语言模型（LLMs）在记忆事实知识方面的挑战，并提出通过训练数据修剪来提高事实准确性。研究表明，当训练数据中的信息量超过模型容量时，事实准确性会下降。作者提出了一种基于训练损失的数据选择方案，能够有效提升模型的事实记忆能力，甚至使小模型的表现接近大模型。