Weights, Code, and Datasets Fully Open-Sourced: Apple's Small Model Surpasses Mistral-7B
内容提要
OpenAI上线GPT-4o-mini，苹果发布DCLM-7B开源模型，性能超越Mistral-7B，接近其他领先模型。DCLM是开源的最佳模型，提供模型权重、训练代码和预训练数据集。DCLM是语言模型新基准，通过高质量数据集提高模型性能。DCLM-7B在多任务上表现优秀，计算量仅为Llama 3 8B的1/6。
延伸解读
DCLM 的“真开源”意味着什么
DCLM 不仅开源了模型权重，还开源了训练代码和预训练数据集，这与多数仅开放权重的模型形成对比。这种全面开源让研究者能复现训练过程，并基于相同数据与代码进行可控实验，从而更清晰地分析影响模型性能的因素。
高质量数据比模型规模更关键
DCLM 项目发现，基于模型的过滤是构建高质量训练集的关键。通过自动筛选高质量数据，DCLM-7B 在 MMLU 上达到 64% 的 5-shot 准确率，与 Mistral-7B-v0.3 和 Llama 3 8B 相当，而计算量仅为 Llama 3 8B 的 1/6，说明数据质量可能比单纯增加计算更有效。
小模型竞争的新焦点
OpenAI 上线 GPT-4o-mini，苹果发布 DCLM-7B，小模型赛道竞争加剧。DCLM-7B 在 53 个自然语言理解任务上表现与 Mistral-7B 和 Llama 3 8B 相媲美，且计算效率更高。这提示业界，在有限算力下，通过优化数据整理也能获得有竞争力的模型。
Q&A
DCLM-7B模型的主要特点是什么？
DCLM-7B是一个开源模型，性能超越Mistral-7B，接近Llama 3和Gemma，提供模型权重、训练代码和预训练数据集。
DCLM-7B在MMLU基准上的表现如何？
DCLM-7B在MMLU基准上5-shot准确率达到64%，与Mistral-7B和Llama 3 8B相媲美。
DCLM模型如何提高语言模型的性能？
DCLM通过设计高质量数据集和使用标准化框架进行实验，找出最佳的数据整理策略来提高模型性能。
DCLM-7B与其他模型相比有什么优势？
DCLM-7B的计算量仅为Llama 3 8B的1/6，同时在多个自然语言理解任务上表现优异，且完全开源。
为什么DCLM被称为真正开源的最佳模型？
因为DCLM不仅开源了模型权重，还开源了训练代码和预训练数据集，而大部分其他模型虽然开放权重但封闭数据。
DCLM-7B的训练数据集是如何构建的？
DCLM-7B使用基于模型的过滤方法，从较大的数据集中自动选择高质量数据，构建了高质量数据集DCLM-BASELINE。
