FineWeb 数据集：对网络进行精细分离以获取大规模最佳文本数据
内容提要
本文探讨了利用过滤和去重的网络数据训练大型语言模型的有效性，提出了 EvalWeb 工具链和高质量中文文本数据集 ChineseWebText。研究综述了多个语言和领域的大型语言模型数据集，旨在为研究人员提供全面的文本数据集视角，并探讨了通过搜索引擎增强模型性能的方法及多语言微调数据集的构建，推动语言模型的研究与发展。
延伸解读
网络数据训练大模型的有效性
文章指出，仅使用经过过滤和去重的网络数据，也能训练出性能良好的大型语言模型，训练数据量可达万亿级别，减少对高质量非网络数据的依赖。这为降低数据获取成本提供了新思路，但需注意过滤和去重是关键步骤，否则噪声数据可能影响模型效果。
中文高质量数据集的构建与意义
研究提出了EvalWeb工具链，用于从嘈杂网络数据中提取中文干净文本，并发布了ChineseWebText数据集，包含1.42 TB文本且每个文本有质量评分，还提供了600 GB质量超过90%的子集。这为中文大模型研究提供了重要资源，方便研究者按质量阈值选择数据。
大模型数据集的全面综述
文章对大型语言模型数据集进行了综述和分类，涵盖预训练语料库、微调数据集、偏好数据集、评估数据集和传统NLP数据集五个方面，统计了444个数据集，超过774.5 TB的预训练语料和7亿个其他数据实例。这为研究者提供了数据资源的全貌，有助于未来研究的数据选择。
多语言与领域特定数据集的进展
文章介绍了多个领域特定和多语言数据集的工作，包括数学网页数据集提升推理能力、搜索引擎增强方法、多语言监督微调数据集UltraLink提升文化特定知识获取，以及针对Indic LLMs的资源套件。这些工作推动了语言模型在多语言和特定领域的发展，并强调了开源和跨语言转移的重要性。
Q&A
EvalWeb工具链的主要功能是什么？
EvalWeb工具链用于从嘈杂的网络数据中提取中文干净文本，支持大型语言模型的研究。
ChineseWebText数据集的特点是什么？
ChineseWebText数据集包含1.42 TB的高质量中文文本，并为每个文本分配质量评分。
如何通过搜索引擎增强大型语言模型的性能？
通过自适应搜索引擎辅助学习和基于重要区间预测的知识学习任务，可以显著提升模型在知识密集型任务中的表现。
该研究对大型语言模型数据集进行了哪些分类？
研究对大型语言模型数据集进行了预训练语料库、微调数据集、偏好数据集、评估数据集和传统自然语言处理数据集等五个方面的分类。
如何提高大型语言模型的推理能力？
通过基于大规模数学文档的预训练，可以提高大型语言模型的推理能力，并引入开放的数学网页数据集。
该研究如何解决毒性对齐问题？
研究通过生成多种情景的有毒提示，并将其输入经过校对的LLaMa2模型中生成非有毒响应，来解决毒性对齐问题。
