万亿token！史上最大多模态数据集诞生
内容提要
华盛顿大学、Salesforce Research和斯坦福大学等机构联合构建了规模空前的开源多模态数据集MINT-1T，包含一万亿文本token和三十亿张图像。该数据集经历了多个步骤，包括数据收集、过滤和去重。实验结果显示，在MINT-1T数据集上训练的模型在多个基准任务上表现优于之前的数据集。这个超大规模的开源多模态数据集有望成为多模态大模型的起点。
延伸解读
规模跃升与来源扩展
MINT-1T 包含一万亿文本 token 和三十亿张图像，相比此前最大的开源多模态数据集 OBELICS（1150 亿 token、3.53 亿图像），规模提升近十倍。其来源不再局限于 HTML，还加入了 PDF 和 ArXiv 文档，这有助于提升数据的广度和多样性，为多模态大模型提供更丰富的训练素材。
数据处理成本与过滤流程
构建 MINT-1T 耗费了约 420 万 CPU 小时，经过文本质量过滤、图像过滤、安全过滤（去除 NSFW 图像和可识别个人信息）以及去重等多步处理。最终数据集由 9220 亿 HTML token、1060 亿 PDF token 和 90 亿 ArXiv token 组成，体现了大规模数据清洗的工程投入。
实验表现：优势与局限
在视觉问答任务上，基于 MINT-1T HTML 部分训练的模型优于 OBELICS，但在视觉描述任务上稍差，平均表现略逊。使用包含 HTML、PDF 和 ArXiv 的混合数据后，模型在大多数基准上超越 OBELICS 和纯 HTML 版本，但在 Mantis-Eval 多图像推理基准上不及 OBELICS，说明其优势并非全面。
对开源多模态生态的意义
MINT-1T 填补了开源多模态数据集在规模和多样性上的空白，有望降低开源 LMM 与闭源 LMM 之间的差距。论文指出该数据集可能成为多模态大模型发展的起点，类似 Llama 系列对文本大模型的推动，但其实际影响仍需后续研究验证。
Q&A
MINT-1T数据集的规模有多大？
MINT-1T数据集包含一万亿文本token和三十亿张图像。
MINT-1T数据集的来源有哪些？
MINT-1T的数据来源包括HTML、PDF和ArXiv等多种格式。
MINT-1T数据集的构建过程是怎样的？
构建过程包括数据收集、文本和图像过滤、安全过滤以及去重，耗费了约420万CPU小时。
使用MINT-1T训练的模型表现如何？
在多个基准任务上，使用MINT-1T训练的模型表现优于之前的数据集OBELICS，尤其在视觉问答任务上。
MINT-1T数据集的优势是什么？
MINT-1T填补了现有数据集规模和多样性不足的空白，提升了多模态推理能力。
MINT-1T数据集对多模态大模型的发展有什么影响？
MINT-1T有望成为多模态大模型发展的起点，推动类似Llama系列模型的出现。
