Apple Machine Learning Research
·
减少灌输以容纳更多：训练数据修剪提升事实记忆能力
💡
原文英文，约400词，阅读约需2分钟。
📝
内容提要
本文探讨了大语言模型（LLMs）在记忆事实知识方面的挑战，并提出通过训练数据修剪来提高事实准确性。研究表明，当训练数据中的信息量超过模型容量时，事实准确性会下降。作者提出了一种基于训练损失的数据选择方案，能够有效提升模型的事实记忆能力，甚至使小模型的表现接近大模型。
🎯
关键要点
- 大语言模型（LLMs）在记忆事实知识方面存在挑战，常导致幻觉和在知识密集型任务上的表现不佳。
- 当训练数据中的信息量超过模型容量时，事实准确性会下降，且当事实频率分布不均时，这种情况会加剧。
- 提出了一种基于训练损失的数据选择方案，旨在限制训练数据中的事实数量并平滑其频率分布。
- 在包含高熵事实的半合成数据集上，该选择方法有效提升了事实准确性，达到了模型的容量极限。
- 在从头开始对标注的维基百科语料库进行预训练时，该选择方法使得GPT2-Small模型能够记忆比标准训练多1.3倍的实体事实，表现接近于10倍参数量的模型。
❓
延伸问答
大语言模型在记忆事实知识方面面临哪些挑战？
大语言模型在记忆事实知识时常常导致幻觉，并在知识密集型任务上表现不佳。
训练数据的容量如何影响事实准确性？
当训练数据中的信息量超过模型容量时，事实准确性会下降，尤其是当事实频率分布不均时。
文章中提出了什么方法来提高模型的事实记忆能力？
文章提出了一种基于训练损失的数据选择方案，旨在限制训练数据中的事实数量并平滑其频率分布。
该选择方法在实验中表现如何？
在包含高熵事实的半合成数据集上，该选择方法有效提升了事实准确性，达到了模型的容量极限。
GPT2-Small模型在使用该选择方法时的表现如何？
使用该选择方法时，GPT2-Small模型能够记忆比标准训练多1.3倍的实体事实，表现接近于10倍参数量的模型。
训练数据修剪对大语言模型的影响是什么？
训练数据修剪可以提高模型的事实记忆能力，减少幻觉现象，并提升在知识密集型任务上的表现。
➡️
