通过比较简单和复杂的数据质量评估方法，发现困惑度方法有效去除数据噪声和提升预训练数据集质量。只使用30%的原始训练数据即可改进基准模型，为自动筛选高质量数据集提供新方法。

通过比较不同方法的数据质量评估，发现困惑度方法在去除噪声和提升数据集质量方面效果好。只使用原始训练数据的30%进行训练，能改进基准模型，为筛选高质量数据集提供新方法。预训练数据的大部分可删除而保持性能。

该研究比较了不同数据质量评估方法，发现困惑度方法效果最佳。研究提出了一种新方法，只需使用原始训练数据的30%即可改进基准模型。