本研究提出了一种高效的数据验证策略，优化大语言模型训练中的种子数据选择，构建数据过滤管道，提高过滤效率和分类器质量，创建了包含1万亿英语标记和1200亿中文标记的高质量数据集。

本研究探讨高质量监督微调数据集对大型语言模型训练的重要性，尤其是“傻问题”数据集。分析显示，某些规则能提升模型性能，但在其他任务上可能导致性能下降，强调在构建数据集时需考虑任务的多样性。

通过比较简单和复杂的数据质量评估方法，发现困惑度方法有效去除数据噪声和提升预训练数据集质量。只使用30%的原始训练数据即可改进基准模型，为自动筛选高质量数据集提供新方法。

本文介绍了RAGTruth数据集，用于评估RAG大型语言模型中词级幻觉的检测方法。研究发现使用高质量数据集可以提高幻觉检测性能。

本研究提出了自动数据集构建（ADC）方法，通过利用大型语言模型实现样本收集和类别设计，解决了高质量数据集创建中的挑战。该方法大幅提高了数据生成效率，减少了人工注释的需求，并展示了在提升训练数据质量和模型训练稳健性方面的潜力。

通过比较不同方法的数据质量评估，发现困惑度方法在去除噪声和提升数据集质量方面效果好。只使用原始训练数据的30%进行训练，能改进基准模型，为筛选高质量数据集提供新方法。预训练数据的大部分可删除而保持性能。

该研究介绍了一种基于大型语言模型的可伸缩的AQA数据生成流程，生成了高质量的AQA数据集，并提供了三个广泛和高质量的AQA基准数据集。该框架和数据集推动了AQA研究的进展，训练的模型在性能上优于现有的最先进模型，并表现出更强的泛化能力。

北京人工智能研究院发布了中文语料库互联网数据集，包含1000个重要中文网站的内容，总共104GB。该数据集填补了中文领域高质量数据集的空白。

本文介绍了使用熵和EL2N评分来评估训练样本的有用性和难度，并展示了如何选择重要样本。结果显示，通过筛选高质量数据集并进行评分选择，语义错误率下降2%，领域分类错误率下降4%-7%。