DataComp 基准测试围绕 128 亿个图像文本对的数据集，旨在提升模型性能。研究综述了大型语言模型的数据集，包括预训练和微调数据，提供了 774.5 TB 的统计信息。Dolma 是一个包含三万亿标记的英文语料库，支持 OLMo 模型训练。文章探讨了数据污染问题及其对基准测试的影响，并提出了评估方法和最佳实践，以确保 LLM 评估的可靠性。