4个大语言模型训练中的典型开源数据集
内容提要
本文介绍了四种开源数据集：Pile、ROOTS、RefinedWeb和SlimPajama。Pile是一个多样性的大规模文本语料库，包含22个子集，涵盖了不同领域和主题。ROOTS是BigScience项目使用的数据集，包含59种语言，总大小约1.6TB。RefinedWeb是由TII开发的数据集，主要由高质量的CommonCrawl数据组成。SlimPajama是由CerebrasAI清洗和去重后的RedPajama数据集。文章还介绍了这些数据集的处理流程和方法。
延伸解读
数据集规模与语言覆盖对比
Pile、ROOTS、RefinedWeb和SlimPajama在规模与语言覆盖上差异明显。Pile为825GB英文文本，ROOTS约1.6TB且涵盖59种语言，RefinedWeb包含5万亿词元但仅开源6千亿，SlimPajama为6270亿词元。ROOTS的多语言特性适合跨语言任务，而其他数据集以英文为主，选择时需根据模型的语言需求权衡。
数据清洗与保留率揭示质量优先
RefinedWeb经过文档准备、过滤和去重后仅保留约11.67%的原始数据，SlimPajama也从1.21万亿词元缩减至6270亿。这种大幅过滤表明高质量训练数据需牺牲数量。文章提到RefinedWeb在零样本评测中远好于未充分过滤的版本，说明严格清洗对模型泛化能力有积极影响。
处理流程的工程挑战与资源消耗
SlimPajama的处理使用64个CPU耗时60多小时，内存峰值达1.4TB，且所有步骤假定数据无法全部载入内存。这反映了大规模数据集预处理对计算资源和工程实现的极高要求。读者在复现或使用类似流程时，需提前规划分布式处理和内存管理，避免因资源不足导致中断。
采样权重与数据混合策略
Pile对不同子集赋予不同采样权重，例如Pile-CC虽数据量大但仅采样1轮，而Wikipedia数据量小却采样3轮。SlimPajama默认从每个语料库采样1轮，但允许通过更新采样权重调整混合比例。这种策略说明数据质量而非单纯数量更影响训练效果，读者可借鉴以优化自己的数据配比。
Q&A
大语言模型训练中常用的开源数据集有哪些？
常用的开源数据集包括Pile、ROOTS、RefinedWeb和SlimPajama。
Pile数据集有什么特点？
Pile是一个多样性的大规模文本语料库，包含22个不同领域的子集，总大小为825GB英文文本，涵盖Common Crawl、Wikipedia、ArXiv、PubMed等来源。
ROOTS数据集支持多少种语言？
ROOTS数据集包含46种自然语言和13种编程语言，总计59种语言，总大小约1.6TB。
RefinedWeb数据集是如何构建的？
RefinedWeb由TII开发，主要从CommonCrawl数据中过滤高质量数据，经过文档准备、过滤和去重三个阶段，最终仅保留约11.67%的数据，包含5万亿词元，开源部分6千亿词元。
SlimPajama数据集相比RedPajama有什么改进？
SlimPajama是CerebrasAI对RedPajama进行清洗和去重后的版本，解决了RedPajama中缺少数据文件和大量重复数据的问题，最终包含6270亿词元，并开源了预处理脚本。
为什么数据质量和多样性对大语言模型训练很重要？
数据质量和多样性对于提高大语言模型的性能至关重要，高质量数据集能显著提升模型效果，如RefinedWeb在零样本泛化能力上远好于未过滤的数据。
