Apple Machine Learning Research
·
TiC-LM：一个用于时间连续大型语言模型预训练的网络规模基准
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
本文探讨了如何评估和更新大型语言模型（LLMs），以解决历史数据过时的问题。我们引入了基于114个Common Crawl数据集的时间连续预训练数据集，并设计了时间分层评估方法。研究表明，自回归元调度结合固定比例的旧数据重放，可以在计算上显著节省，同时保持与从头训练相当的效果。不同领域对新旧数据的平衡需求各不相同。
🎯
关键要点
- 大型语言模型（LLMs）在历史网络数据上训练，容易过时。
- 本文探讨了评估策略和更新方法，以适应新数据的出现。
- 引入了基于114个Common Crawl数据集的时间连续预训练数据集，规模远超以往的基准。
- 设计了时间分层评估方法，以评估不同持续学习方法在适应新数据时保留过去知识的能力。
- 研究表明，自回归元调度结合固定比例的旧数据重放，可以在计算上显著节省，同时保持与从头训练相当的效果。
- 不同领域对新旧数据的平衡需求各不相同，重放旧数据对通用网络数据至关重要，但对特定领域则不然。
❓
延伸问答
大型语言模型（LLMs）为什么会过时？
因为它们是基于历史网络数据训练的，随着时间推移，这些数据变得不再准确或相关。
如何评估大型语言模型的更新效果？
通过设计时间分层评估方法，评估不同持续学习方法在适应新数据时保留过去知识的能力。
什么是时间连续预训练数据集？
这是基于114个Common Crawl数据集构建的，规模远超以往的基准，用于时间连续的大型语言模型预训练。
自回归元调度结合旧数据重放有什么优势？
这种方法可以在计算上显著节省，同时保持与从头训练相当的效果。
不同领域对新旧数据的平衡需求有什么不同？
在通用网络数据中，重放旧数据至关重要，但在特定领域中则不那么重要。
研究中提到的计算节省有多大？
研究表明，使用自回归元调度和旧数据重放可以实现2.6倍的计算节省。
➡️
