斯坦福/苹果等23所机构发布DCLM基准测试，高质量数据集能否撼动Scaling Laws？基础模型与Llama3 8B表现相当
内容提要
OpenAI的Scaling Laws被视为大语言模型的摩尔定律。清华大学博士指出，为了提升模型性能，需要增加数据量至少10个数量级。华盛顿大学等机构提出了实验测试平台DCLM，通过固定训练代码，鼓励研究人员提出新的训练集来进行创新。DCLM-BASELINE是一个高质量训练集，通过基于模型的过滤达到了64%的准确性。DCLM提供了新的思考范式和可能性。
延伸解读
DCLM基准：数据质量的新标尺
DCLM基准测试的核心在于通过固定训练代码，让研究人员专注于数据集的改进。它提供了从400M到7B参数的多个计算规模，并基于Common Crawl构建了240T tokens的候选池。参与者可以通过过滤或混合数据来创建数据集，并在53个下游任务上评估模型性能。这种设计使得数据管理策略的效果可以被量化比较，为语言模型训练集的优化提供了标准化平台。
基于模型的过滤：高质量数据的关键
DCLM-BASELINE的构建表明，基于模型的过滤是提升数据质量的有效手段。研究人员比较了7种过滤方法，发现基于fastText的分类器优于其他方法。通过使用指令格式数据（如OpenHermes 2.5和ELI5）作为参考，并采用严格的阈值（保留前10%的文档），最终在MMLU上达到了64%的5-shot准确率。这一结果凸显了数据筛选策略对模型性能的重要影响。
性能与效率的平衡：DCLM-BASELINE的竞争力
基于DCLM-BASELINE训练的7B模型在MMLU上表现与Mistral-7B-v0.3和Llama3 8B相当，但训练计算量显著减少。与之前最先进的开放数据模型MAP-Neo相比，DCLM-BASELINE在MMLU上提高了6.6%，同时训练计算量减少了40%。这表明，通过优化数据集质量，可以在不增加计算成本的情况下提升模型性能，为资源有限的研究者提供了新的可能性。
Scaling Laws的争议与数据策略的转向
文章引用了多位专家对Scaling Laws未来走向的不同观点。比尔·盖茨认为Scaling Laws接近尽头，未来进步在于元认知能力；李开复、张亚勤等则认为Scaling Laws仍有效，但需避免盲目堆算力。DCLM基准测试的出现，呼应了“数据scale down”的思路，即通过高质量数据和小模型逼近大模型的效果，为语言模型的下一代训练集探索提供了新方向。
Q&A
DCLM基准测试的主要目标是什么？
DCLM基准测试旨在通过固定训练代码，鼓励研究人员提出新的训练集，以提升语言模型的性能。
Scaling Laws对大语言模型的影响是什么？
Scaling Laws被视为大语言模型的摩尔定律，模型性能随着模型大小、数据集大小和计算浮点数的增加而提高。
DCLM-BASELINE数据集的准确性如何？
DCLM-BASELINE通过基于模型的过滤达到了64%的准确性。
清华大学博士对数据量的看法是什么？
清华大学博士指出，为了提升模型性能，数据量需要增加至少10个数量级。
DCLM的工作流程包括哪些步骤？
DCLM的工作流程包括选择计算规模、建立数据集、训练模型和模型评估四个步骤。
比尔·盖茨对Scaling Laws的看法是什么？
比尔·盖茨认为Scaling Laws快要走到尽头，未来的进步在于实现更接近人类的元认知能力。
