DataComp-LM: 寻找下一代语言模型训练集
内容提要
DataComp 基准测试围绕 128 亿个图像文本对的数据集，旨在提升模型性能。研究综述了大型语言模型的数据集，包括预训练和微调数据，提供了 774.5 TB 的统计信息。Dolma 是一个包含三万亿标记的英文语料库，支持 OLMo 模型训练。文章探讨了数据污染问题及其对基准测试的影响，并提出了评估方法和最佳实践，以确保 LLM 评估的可靠性。
延伸解读
数据污染：评估可靠性的关键挑战
文章指出，随着GPT-4、Claude-3等模型的发展，基准数据污染（BDC）已成为一个重大问题。研究通过纵向分析证实数据污染现象显著存在，并探讨了缓解传统基准风险的替代评估方法。这提醒读者，在依赖基准测试结果时，需警惕模型可能因训练数据包含测试集而表现虚高，确保评估的可靠性需要创新解决方案。
基于压缩的评估：衡量泛化与鲁棒性
文章提出一种基于无损数据压缩的评估方法，利用模型训练截断后的预测能力来测试泛化。通过收集2017至2023年的83个月测试数据，以测试期压缩性能衡量对未见数据的泛化，以训练期与测试期的性能差距衡量鲁棒性。实验发现许多模型在截断日期后压缩率显著降低，但Mistral和Llama-2在性能与鲁棒性间取得了良好平衡。
开源数据与工具：推动语言模型研究
文章介绍了多个开源资源，如Dolma（三万亿标记的英文语料库）及其数据整理工具包，已用于训练OLMo模型；还有针对Indic LLMs的资源套件，涵盖22种语言、251亿词汇和7480万指令-响应对。这些工作旨在弥合资源稀缺语言的差距，并提供开源蓝图，促进语言模型研究的可复现性和扩展性。
Q&A
DataComp 基准测试的主要目标是什么？
DataComp 基准测试旨在通过提出新的训练集来提升模型性能，围绕 128 亿个图像文本对的数据集进行实验。
Dolma 语料库的特点是什么？
Dolma 是一个包含三万亿个标记的英文语料库，混合了各种网络内容、科学论文、代码等，支持 OLMo 模型训练。
数据污染问题对大型语言模型的评估有什么影响？
数据污染现象显著存在，影响了基准测试的可靠性，需采取创新解决方案以确保评估的有效性。
如何评估模型训练截断后的预测能力？
提出了一种基于无损数据压缩的评估方法，通过测试期的压缩性能和训练期与测试期之间的性能差距来进行测量。
文章中提到的最佳实践是什么？
文章提出了在大型语言模型时代进行基准测试的最佳实践，包括数据整理、质量过滤和去重等。
研究中提到的统计信息有多大？
研究提供了超过 774.5 TB 的预训练语料库数据和 7 亿个实例的其他数据集数据的统计信息。
