数据压缩语言模型（DataComp-LM）：寻找下一代语言模型训练集
内容提要
本文介绍了数据压缩语言模型（DCLM），通过标准化语料库和有效的预训练策略提升语言模型性能。DCLM提供了240T标记的数据集和53种下游评估，强调数据筛选在高质量训练集构建中的重要性。实验结果显示，DCLM-Baseline在MMLU上实现了64%的5-shot准确率，相较于之前的最佳模型提高了6.6个百分点，同时计算资源减少40%。
延伸解读
DCLM基准的标准化设计
DCLM提供了一个标准化的240T标记语料库、基于OpenLM的预训练配方和53种下游评估，使数据筛选策略可在412M到7B参数规模上受控实验。这种设计让不同研究在相同条件下比较去重、过滤和数据混合方法，从而更可靠地识别高质量训练集的关键因素。
数据筛选的核心作用
实验表明，基于模型的过滤是构建高质量训练集的关键。DCLM-Baseline通过这种过滤策略，使7B模型在MMLU上达到64%的5-shot准确率，相比之前的最佳开放数据模型MAP-Neo提升了6.6个百分点，同时训练计算量减少了40%。这突显了数据设计对模型性能的显著影响。
与主流模型的效率对比
DCLM-Baseline在MMLU上的表现与Mistral-7B-v0.3（63%）和Llama 3 8B（66%）相当，在53个自然语言理解任务上的平均表现也相似，但训练计算量仅为Llama 3 8B的约1/6.6。这表明通过优化数据集，可以在大幅降低计算成本的同时达到相近的模型能力。
Q&A
数据压缩语言模型（DCLM）有什么主要目标？
DCLM旨在通过标准化语料库和有效的预训练策略提升语言模型的性能。
DCLM提供了多少标记的数据集？
DCLM提供了240T标记的数据集。
DCLM-Baseline在MMLU上的5-shot准确率是多少？
DCLM-Baseline在MMLU上实现了64%的5-shot准确率。
DCLM-Baseline相比于之前的最佳模型提高了多少个百分点？
DCLM-Baseline相比于之前的最佳模型提高了6.6个百分点。
DCLM在训练过程中计算资源减少了多少？
DCLM在训练过程中计算资源减少了40%。
数据筛选在构建高质量训练集中的重要性是什么？
数据筛选是组装高质量训练集的关键，能够显著提升模型性能。
